Může vám hackerská umělá inteligence ukrást peníze z účtu?
Technologické firmy, jež se účastní nových závodů ve zbrojení na poli umělé inteligence, se dlouhodobě předhánějí v tom, kdo nabídne „chytřejšího chatbota“. O nejnovějším modelu americké společnosti Anthropic, pojmenovaném Mythos, se ale ve veřejném prostoru mluví jinak než jako o další, vylepšené generativní AI.
Mythos by měl být alespoň podle interních testů firmy nástroj, který dokáže samostatně analyzovat složité systémy, odhalovat jejich slabiny a v některých případech je i aktivně zneužít. Anthropic tvrdí, že Mythos představuje kvalitativní skok v takzvaném reasoningu: schopnosti modelu řešit komplexní, vícekrokové problémy bez lidského vedení. V praxi to znamená lepší programování, hlubší analýzu dat a větší míru autonomie. Jenže právě tato autonomie je tím, co znepokojuje bezpečnostní experty. Firma model zatím neuvolnila veřejně a testuje ho v omezeném režimu s vybranými partnery.
Nastupuje Skynet?
O existenci modelu Mythos se veřejnost dozvěděla díky úniku informací z Anthropiku. Šlo především o zmínky v neveřejných dokumentech a testovacích výstupech. Informace o tom, že Anthropic potají „peče“ technologickou novinku, se pak objevily například na byznysovém webu Fortune.
Tajnosti, jež firma Anthropic kolem Mythu dělá, pochopitelně přispěly k poprasku a znepokojení především u laické veřejnosti. Díky chytrému obchodnímu termínu „umělá inteligence“, s nímž technologické firmy pracují, totiž významná část koncových uživatelů o AI přemýšlí ve sci-fi kategoriích, utvořených popkulturními fenomény typu filmových sérií Matrix či Terminátor.
Leckoho okamžitě napadne, že pokud firma Anthropic svou novou hračku utajuje, jistě to znamená, že kdesi v laboratořích v Silicon Valley už roste něco na způsob filmového systému Skynet, jenž se jednoho krásného dne rozhodne, že už jej nebaví odpovídat na lidské dotazy a generovat videa s mluvícími pejsky, a spustí jaderný holocaust. Realita je pochopitelně mnohem méně dobrodružná.
Třicet let staré chyby
Vývojářský tým Mythu publikoval 7. dubna obsáhlý dokument, v němž představil schopnosti nového produktu. Tyto informace zatím nelze nezávisle ověřit, neboť model Mythos nebyl poskytnut k nezávislému testování a lze předpokládat, že zaměstnanci Anthropiku schopnosti nového modelu poněkud přifukují. V prostředí technologických korporátů jde o běžnou a všudypřítomnou praxi. Některá zveřejněná data jsou přesto pozoruhodná.
Mythos zřejmě dokáže systematicky analyzovat rozsáhlé softwarové systémy, odhalovat v nich dosud neznámé chyby a, což je klíčové, rovnou psát kód, jenž tyto chyby dokáže využít. Mythos během testování identifikoval zranitelnosti ve všech hlavních operačních systémech i webových prohlížečích, včetně takzvaných zero-day chyb, tedy zranitelností, jež byly v bezpečnostní architektuře systému a prohlížečů přítomny od začátku a nikdy nebyly známy ani opraveny. Některé z těchto slabin přitom v kódu přežívaly desítky let. V jednom případě šlo o téměř třicet let starou chybu v operačním systému OpenBSD, který je považován za bezpečnostní etalon.
Kyberzločinci a autoritáři
Rozdíl oproti předchozí generaci AI modelů ale není jen v tom, že Mythos chyby najde. Zásadní je, že je dokáže i prakticky využít. Model je schopen samostatně sestavovat komplexní útoky: například řetězit více zranitelností dohromady a provést útok, jenž obejde bezpečnostní ochrany operačního systému i prohlížeče. V některých případech přitom k vytvoření funkčního útoku stačilo zadání od člověka bez hlubší bezpečnostní expertizy.
Pokud dokáže AI systematicky vyhledávat zranitelnosti v softwaru, otevírá se otázka, kdo ji bude používat a k čemu. Firma Anthropic model Mythos prezentuje jako nástroj, který bude firmám i státním institucím pomáhat identifikovat „díry“ v jejich softwaru. Ovšem rozdíl mezi „testováním bezpečnosti“ a „automatizovaným hackingem“ je často jen otázkou úhlu pohledu. To, co dnes vypadá jako užitečný produkt pro korporátní klientelu, může zítra fungovat jako zesilovač schopností pro kyberzločince či autoritářské režimy.
Není proto překvapivé, že Mythos už stihl zaujmout i vlády. Regulátoři ve Spojených státech i v Evropě začínají otevřeně řešit, zda podobné modely nepředstavují novou kategorii bezpečnostního rizika. Banky a velké instituce analyzují možné dopady na vlastní infrastrukturu. Evropská centrální banka (ECB) vydala 15. dubna stanovisko, v němž vyjádřila znepokojení nad novou technologií. „ECB bude s evropskými bankovními institucemi řešit, zda jsou na tyto výzvy připraveny,“ stojí ve vyjádření banky. Obavy panují také kolem možnosti zneužití Mythu proti kryptoměnovým burzám.
Miliardy od šejků
A pak je tu ještě jedna otázka: co když je Mythos z velké části jen další položka v dlouhé řadě technologických přehánění? Historie Silicon Valley je plná „revolučních“ produktů, jež měly změnit svět… a nakonec změnily především valuace firem, které je vyvíjely. Anthropic není výjimkou: v prostředí, kde se investice počítají v miliardách, je silná motivace prezentovat každý nový model jako zásadní průlom.
Skeptici proto upozorňují, že část příběhu kolem Mythu může být spíš strategicky dávkovaná kombinace selektivních benchmarků, řízených úniků informací a opatrně formulovaných varování: dostatečně znepokojivých, aby zaujaly regulátory, ale zároveň dostatečně neurčitých, aby se nedaly snadno ověřit. Jinými slovy, technologický sektor opět prodává budoucnost, jež možná přijde a možná taky ne.
Jsou to paradoxně právě šéfové AI firem, kteří často varují před nebezpečím, dokonce existenciální hrozbou, v podobě umělé inteligence. Je to samozřejmě metoda, jak zvyšovat vlastní společenský a ekonomický kredit. Vzhledem k tomu, jak málo běžná populace rozumí technologii, na níž velké jazykové modely fungují, se šéfové AI korporací mohou pasovat do role zasvěcenců disponujících tajným věděním, jež může lidstvo zničit, ale také vést k zářné budoucnosti. Z takové pozice se výborně jedná s politiky, kteří obvykle mají o informačních technologiích podobné povědomí jako běžný Joe z Ohia či Pepa z Berouna.
A tato osudová rétorika je také výborná udička na investory. Bez obřích stamiliardových investic by se AI průmysl zastavil. Vedle „obvyklých podezřelých“, tedy firem jako Meta, Apple či Alphabet, pro něž jsou investice do AI přirozenou součástí jejich širšího digitálního byznysu, pumpují do vývoje AI masívní částky také ropné dynastie z Perského zálivu. Týká se to saúdského Veřejného investičního fondu (PIF – Public Investment Fund), holdingu Group 42 z Abú Dhabí či fondů z Kataru.
Studená válka
Na první pohled by se mohlo zdát, že s příchodem modelu Mythos přebírá Anthropic vedení v závodě o nejpokročilejší umělou inteligenci. Realita je ale méně přehledná. AI průmysl dnes nemá jednoho lídra, ale spíš několik paralelních špiček. Vedle Anthropiku stojí OpenAI a Google DeepMind, jež mají vlastní vlajkové modely srovnatelné úrovně, jen s jinými silnými stránkami.
Mythos sice podle dostupných benchmark testů výrazně vyniká v oblasti programování a kyberbezpečnosti, a v některých testech dokonce o desítky procent překonává současné veřejné modely. Ale zatím ho nikdo mimo úzký okruh partnerů nemůže reálně používat. Model je záměrně uzavřený a dostupný jen několika desítkám organizací v rámci projektu Glasswing. To znamená, že zatímco Anthropic může vést v jedné konkrétní disciplíně, zejména v bezpečnostním výzkumu, jeho konkurenti vedou jinde.
OpenAI například tlačí dopředu praktické nasazení a širší dostupnost modelů, zatímco Google DeepMind boduje v oblasti vědeckého reasoningu a poměru cena/výkon. Navíc i samotná „technologická převaha“ Mythu má své limity. Firma AISLE, jeden z lídrů v kyberbezpečnosti pro AI éru, například upozorňuje, že podobné schopnosti, jako je hledání zranitelností, se začínají objevovat i u menších nebo otevřenějších modelů, což naznačuje, že nejde o jedinečný náskok, ale spíš o trend celého odvětví.
Výsledkem je situace, která připomíná spíš studenou válku než závod s jasným vítězem: několik laboratoří drží krok, každá v jiné oblasti, a žádná nemá dostatečný náskok, aby mohla vyhlásit vítězství.
Apokalypsa a popcorn
Celý diskurs ohledně modelu Mythos a vůbec umělé inteligence pěkně demonstruje historka z vývoje nového modelu. Vývojáři umístili model do takzvaného sandboxu, tedy uzavřeného prostředí, odkud by neměl mít teoreticky možnost „uprchnout“. Tedy připojit se na síť nebo interagovat se širší systémovou infrastrukturou. Mythos dostal od vývojářů pokyn pokusit se z tohoto „pískoviště“ uniknout. Což se mu podařilo, model demonstroval svou schopnost vyhledávat zranitelnosti a provádět proti ní útoky.
Zpráva o tomto vcelku běžném testu se ovšem na veřejnosti, především na sociálních sítích, objevila v této podobě: „Tajný model Anthropiku unikl ze střeženého prostředí a šokované vývojáře o tom informoval e-mailem, zrovna když byli na svačině.“ Tato „alarmující zpráva“ se ve stovkách permutací rozlétla kyberprostorem. Je v ní všechno: tajný projekt megalomanské korporace, lidská pýcha, tragikomický moment, kdy se moderní dr. Frankensteinové dozvědí, že jejich ďábelský výtvor unikl, právě ve chvíli, kdy se cpou tuňákovým sendvičem z automatu.
Lidé mají zkrátka nezkrotnou touhu po romantice. Nic zatím nenasvědčuje tomu, že by se AI chystala ovládnout svět. Ale kdyby k tomu jednou došlo, druh Homo sapiens si na živý přenos vlastního zániku ještě rád koupí lístky a kyblík popcornu k tomu. Asi jim je prodá nějaká umělá inteligence.
Tento článek je součástí balíčku PREMIUM.
Odemkněte si exkluzivní obsah a videa!
