Robot s povolením zabíjet: Budou stroje rozhodovat samy? Je to etický problém, nebo budoucnost válčení?
Drony předvádějí, že mohou ve válkách bojovat místo lidí, ale mají Achillovu patu: dálkové ovládání. To je možné rušit nebo nad strojem převzít nepřátelskou kontrolu. Vede se proto diskuse o válečných robotech, kteří by sami rozhodovali, kdy, kde a koho zabít – a není vyloučeno, že leckde se na nich už pracuje. Jedni to považují za etický problém, jiní za budoucnost válčení.
V laboratoři špičkové japonské robotické společnosti tento týden zabili čtyři roboti vyvíjení pro vojenské aplikace 29 osob, říká americká autorka Linda Moulton Hoveová na videu, jež se objevilo na sociálních sítích koncem roku 2017. „Stříleli kovové projektily. Vědci dva roboty vypnuli a třetího rozebrali, čtvrtý se ale spojením přes satelit dostal k informacím, jak se znovu obnovit, aby se stal ještě ničivější...“
Vraždící hejna
Na první pohled téma pro sci-fi ve stylu Terminátora, jenže to bylo myšleno naprosto vážně. A vážně to vzaly i tisíce uživatelů internetu. Možná i proto, že slavný filmový zabijácký robot v podání Arnolda Schwarzeneggera měl přijít z roku 2029. Tým agentury Reuters pro ověřování zpráv ze sociálních sítí (Reuters Fact Check) proto oslovil jak Lindu Moulton Hoveovou, tak japonské ministerstvo hospodářství, obchodu a průmyslu. Autorka videa neodpověděla, úřad pro robotiku japonského ministerstva po delším váhání konstatoval, že o žádném takovém incidentu nemá důkazy. Negativně vyznělo také další pátrání v Japonsku a v Jižní Koreji i důkladné prohledávání Googlu.
„Bez důkazů,“ zněl závěr, který Reuters Fact Check zveřejnil v lednu letošního roku.
Podobný případ měl ještě větší ohlas. Nezisková organizace Future of Life Institute nahrála na YouTube sedmiminutové video Slaughterbots, v němž nepřátelská letadla vysadí mračna mikrodronů, z nichž každý nese pár gramů výbušniny. Proti tisícím strojků velikosti vážky vybavených umělou inteligencí není žádná obrana. I v tomto případě se z videa velmi rychle stal úspěšný virál, který zaznamenal více než dva milióny zhlédnutí. Přestože šlo o sci-fi daleko před možnostmi současné techniky, veřejnost to přijala za reálnou hrozbu a Slaughterbots se promítaly i na odzbrojovacích akcích OSN (Convention on Certain Conventional Weapons v Ženevě 2017).
Široký ohlas rezonuje s rostoucími obavami z robotických zabijáků, kteří se nejspíš opravdu vyvíjejí. Izraelský ministr Ajúb Kará roce 2017 prohlásil, že v jeho zemi se pracuje na robotických zbraních proti teroristům. Podrobnosti vynechal, pouze dodal, že nasazení do akce je otázkou několika málo let. Čínský prezident Si Ťin-pching na loňském sjezdu komunistické strany oznámil, že v rámci modernizace armády je věnována mimořádná pozornost pokročilým zbraňovým systémům, včetně útočných zbraní vybavených umělou inteligencí. Ale opět bez detailů.
Mnoho senzačních zpráv o „inteligentních válečných strojích“ vzniklo kvůli tomu, že jejich autoři nerozlišují mezi skutečným robotem a dálkově ovládanou zbraní. Například izraelský bezpilotní sebevražedný letoun IAI Harop, jenž je v některých médiích vydáván za jeden z nejdokonalejších robotických zabijáků současnosti, je ve skutečnosti pod dohledem operátora. Teprve když operátor zaznamená cíl a odsouhlasí jej, dron k němu zamíří.
Stejné je to i s většinou ostatních zpráv na toto téma: jde o směs propagandy, neodbornosti a cílených dezinformací. To ale neznamená, že riziko neexistuje.
Ničivý potenciál
Varování zaznělo, ještě než video Lindy Moulton Hoveové spatřilo světlo světa. Roku 2016 na konferenci IJCAI (International Joint Conference on Artificial Intelligence) v Melbournu inicioval Elon Musk dopis 116 odborníků na IT z 26 zemí adresovaný OSN, v němž mimo jiné stálo: „Jakmile budou smrticí autonomní zbraně vyvinuty, umožní vést ozbrojený konflikt v mnohem větším měřítku než kdy předtím a v tak krátkém čase, že to vyloučí možnost jakékoliv lidské reakce. Mohou se stát také zbraněmi teroristů nebo despotů… Nastal čas jednat, protože jakmile se tato Pandořina skříňka jednou otevře, bude těžké ji zavřít.“
Signatáři dopisu proto chtěli, aby zbraně využívající umělou inteligenci (AI) byly přiřazeny k systémům, které zakazuje Úmluva o některých konvenčních zbraních.
Ministerstvo obrany USA vydalo směrnici, jež vyžaduje, aby „operátor zůstal v rozhodovacím procesu, pokud jde o odebrání života prostřednictvím autonomních zbraňových systémů“. Tato směrnice byla však původně platná pouze do konce roku 2017. Vysoce postavený generál Paul Selva tehdy obhajoval před senátory její prodloužení, současně ale dodal, že nepřátelé nemusí mít takové zábrany. „Měli bychom proto systémy s AI studovat, abychom byli schopni v případné válce využít jejich slabiny,“ dodal.
Diskuse probíhá i o tom, co si vlastně pod „rozhodovacím procesem“ představovat. Například materiál amerického Kongresu US Policy on LAW z listopadu loňského roku konstatuje, že to nemusí znamenat průběžnou kontrolu operátorem, ale spíš lidské rozhodování o tom, kdy, jak a proti komu bude systém nasazen. Odpůrci regulace naopak argumentují, že by potlačila rozvoj AI, která může být užitečná v mnoha jiných oblastech.
Například Toby Walsh, přednášející o AI na University of New York, to naznačil slovy: „Skoro každá technologie může být využita k dobrým i ke zlým věcem a umělá inteligence není výjimkou. Může nám pomoci s mnoha problémy, s rostoucí sociální nerovností, se změnami klimatu nebo se světovou finanční krizí.“
Tehdy ještě vypadaly samostatně zabíjející stroje jako hudba budoucnosti, ale Ryan Gariepy, zakladatel společnosti Clearpath Robotics, k tomu poznamenal: „Přestože všechna ostatní uplatnění AI zatím jsou z oblasti sci-fi, zrovna o jejich válečných aplikacích to neplatí. Pracuje se na nich už teď a mají obrovský ničivý potenciál. Mohou způsobit smrt velkého množství nevinných lidí a destabilizovat celý svět.“
Od té doby se ve snaze zakázat vývoj robotických zabijáků nic významného nestalo. Dá se předpokládat, že současná válka na Ukrajině naopak povede k mohutným finančním injekcím do vojenských laboratoří a stranou toků peněz nezůstanou ani vědci vyvíjející autonomní válečné stroje.
Neublížíš člověku
Americký spisovatel Isaac Asimov ve 40. letech minulého století formuloval tři zákony robotiky, jež mají zajistit, že stroje se neobrátí proti nám. První říká, že robot nesmí ublížit člověku a lidstvu ani svou nečinností újmu způsobit. Podle druhého musí vždy poslechnout člověka, pokud tím neporuší první přikázání. Třetí pak opravňuje robota zabránit svému poškození v případě, že to není v rozporu s prvním a druhým zákonem. Asimovovy zákony se sice staly slavné, jenže realita je přesně opačná: nejpokročilejší roboty dnes produkuje armádní výzkum, včetně systémů, které umějí zabíjet. Oficiálně se pro ně používá výraz lethal autonomous weapons – smrticí nezávislé zbraně (LAW nebo LAWS).
Ošidnost téhle definice ale naznačuje, že se do ní vejdou i obyčejné „hloupé“ miny, jež se používají už pár set let. Naproti tomu pojem „killer robots“ (zabijáčtí roboti) je sice poněkud bulvární a v oficiálních materiálech ho nenajdete, přesto je výstižnější, protože se na první pohled týká zbraní, v nichž se uplatňuje AI. Mimochodem právě protipěchotní miny jsou ukázkou, jak by nejspíš dopadl pokus zakázat zbraňové systémy vybavené AI: miny byly sice zakázány roku 1997 Ottawskou dohodou, ale nepodepsala ji žádná velmoc, takže se používají dál – a ještě dlouho po skončení konfliktu zabíjejí tisíce civilistů.
V kategorii obranných autonomních zbraní dnes už najdeme řadu sofistikovanějších systémů, včetně takových, které obsahují prvky AI. Označují se jako aktivní ochranné systémy (active protection systems, APS). Příkladem jsou především zbraňové systémy používané pro ochranu plavidel nebo pozemních objektů, kdy je třeba tak bleskové reakce, že není čas na rozhodování člověka.
Jedním z nejznámějších APS je Phalanx CIWS, vyráběný americkou společností General Dynamics Corporation a používaný námořnictvy patnácti států. Skládá se z rychlopalného kanónu Vulcan, radaru, počítačové jednotky a řady podsystémů. Představuje poslední linii obrany lodi před letadly, raketami, drony nebo malými plavidly, přičemž dokáže samostatně vyhodnotit rychlost i manévrování vetřelce a na základě toho rozhodnout, zda se jedná o cíl, proti němuž zahájí palbu. Obsluha ovšem může nastavit minimální a maximální rozmezí hodnot, při nichž systém zasáhne. Prvky umělé inteligence je vybaven také slavný izraelský protiraketový „deštník“ Iron Dome.
Ty, kdo se bojí, že si pro ně přijde Terminátor nebo Robocop, však víc zajímají útoční zabijáci.
Nespoléhat na satelity
Nejblíže ke skutečně inteligentnímu samostatnému útočnému systému mají dnes drony. Současné bezpilotní létající stroje už předvedly, že se s nimi musí v konfliktech počítat, zatím ale mají i své slabiny. Kromě zmíněného dálkového ovládání je to také závislost na satelitní navigaci. Dokonce i dražší létající hračky je sice možné naprogramovat, aby letěly zcela nezávisle – ale jen tam, kde je k dispozici signál GPS. Ve válce ovšem provozovatel systému satelitní navigace jeho přesnost omezí nebo bude rušen nepřítelem. Ale nejen to: zabijáčtí roboti (nejen ti létající) musí často operovat v budovách, v podzemních prostorách, pod korunami stromů i v jiných prostředích, kde je signál nedostupný už dnes.
První problém LAWS proto představuje navigace, která není závislá na kosmickém segmentu. Říká se tomu inerciální navigační jednotky (inercial navigation units, INU). Obsahují velmi přesné hodiny společně se sadou gyroskopů a akcelerometrů. Ty do počítačové paměti přidávají údaje o pohybu vůči přesné počáteční poloze, která byla změřena jiným způsobem, a generují tak informace o pozici v každém okamžiku.
INU vznikly už v 60. letech pro potřeby jaderných ponorek, ale šlo o rozměrné a nepříliš přesné zařízení, protože i malé chyby se postupně sčítaly. Kromě miniaturizace se proto dnes konstruktéři snaží o jejich doplnění dalšími zdroji informací o poloze, například údaji o lokálních odchylkách magnetického pole Země, o vysílání rozhlasových a televizních stanic atd. Některé zdroje také zmiňují rozmisťování speciálních malých vysílačů s omezeným dosahem v zájmových oblastech. Koncepci se říká ASPN (all source positioning and navigation, navigace ze všech zdrojů) – a o podrobnostech se pochopitelně moc nemluví.
Neméně důležitým předpokladem pro vývoj LAWS jsou systémy rozpoznávání obrazu. Teprve stroj, který bude naprosto přesně vědět, kde je, a dokonale se zorientuje v prostoru, bude moci řešit bojové úkoly – včetně likvidace živé síly nepřítele. Problém ovšem je, aby šlo opravdu o nepřítele.
Zatím se proto testují spíš takzvaně semiautonomní (částečně samostatné) systémy. Například bojový experimentální dron Northrop Grumman XB-47B dokázal bez účasti člověka odstartovat a přistát na letadlové lodi nebo doplnit palivo za letu. Za první dron, jenž samostatně zabil člověka, bývá vydáván turecký výrobek STM Kargu, údajně nasazený roku 2020 v Libyi. Jde o malý sebevražedný stroj vybavený prvky AI. Operátor vybere cíl, přepne do autonomního režimu a dron pak pronásleduje cíl až do jeho zničení. Opět tedy nejde o plnou autonomii, navíc výrobce tyto schopnosti nikdy veřejně nepředvedl. Roku 2020 měl Izrael poprvé zaútočit na teroristy Hamásu rojem malých dronů vybavených AI, detaily o nasazení ale chybějí.
Existují i pozemní semiautonomní roboti. Futuristicky vyhlížející pozemní stroj Themis společnosti Milrem Robotics, sloužící k podpoře pozemních jednotek a k průzkumu, je vybaven velkou mírou autonomie a může nést i střelné zbraně – ty jsou ale dálkově ovládány. To je i případ mnoha dalších takových systémů.
Dát útočnému robotovi plnou kontrolu nad zbraní se v západním světě dosud nikdo neodvážil. Jsou zamýšlené jako podpůrné systémy tam, kde je to pro vojáky nebezpečné (transport na bojišti, průzkum, odminování, manipulace s výbušninami a podobně). Robotické psy od Boston Dynamics si můžete dokonce koupit, přestože nejsou právě levní. Používají je také armády, ale střílet neumějí. Na sociálních sítích ovšem kolují ruská a čínská videa, na nichž se předvádějí pokusy vybavit je střelnou zbraní. Boston Dynamics a další robotické společnosti se od těchto snah distancovaly a varovaly před nimi, ale to bylo tak všechno, co mohly udělat. Speciálně pro podporu vojenských jednotek je určená „inteligentní“ robotická mula MUTT, která unese téměř půl tuny nákladu, ta však naštěstí není na volném trhu.
Meze umělých vojáků
Vyvinout plně autonomního robotického zabijáka je ve skutečnosti mnohem složitější, než to na první pohled vypadá. První potíž představuje už to, že entita, jíž poněkud nadneseně říkáme umělá inteligence, ve skutečnosti inteligence není. AI jen napodobuje lidskou schopnost učit se, jenže naše skutečná mysl je mnohem komplexnější. Dodnes například nevíme téměř nic o vědomí sebe samých. Je velmi nejisté, k čemu by dospěla strojová napodobenina učení vytržená z těchto souvislostí, která drží zbraň. Jinak řečeno: chování AI může být z lidského hlediska naprosto nepředvídatelné i pro její tvůrce – až tak, že kachna o zabitých výzkumnících od Lindy Moulton Hoveové může být proti realitě jen nevinnou pohádkou na dobrou noc. To je skutečné a největší riziko útočných LAWS.
Další problém představují náklady. Je otázka, o kolik by svými schopnostmi musel robotický zabiják předčít živého vojáka, aby se vyplatily extrémní částky na vývoj a výrobu stejně jako složitá údržba, zatímco živý branec je v některých zemích skoro zadarmo. Totalitní režimy, jež úspěšně vítězily nad armádami s velkou technologickou převahou pomocí téměř neozbrojených lidských vln (Rudá armáda proti Wehrmachtu, korejská válka, válka Íránu s Irákem...), koncepci útočných autonomních strojů dost zpochybňují. Stejně jako živému kulometčíkovi i robotovi dříve nebo později dojde munice, když je cílů příliš mnoho. Proti dostatečně početnému davu nemá šanci jeden ani druhý.
Dalším problémem jsou limity AI. Jon Lindsay ze School of Cybersecurity and Privacy a Avi Goldfarb z University of Toronto proto v časopise International Security zveřejnili článek, v němž tvrdí, že AI vojáky nenahradí, ale doplní.
„Stroje jsou dobré v predikci, ale záleží také na datech a úsudku,“ uvádějí v textu. „Jsou velmi užitečné třeba v obchodě, ale v prostředí vojenského konfliktu panují odlišné podmínky, pro něž je příznačná nepředvídatelnost.“
Autoři se proto domnívají, že AI je užitečná především v „byrokraticky stabilizovaném“ prostředí, zatímco pro válku jsou typické nedostatek spolehlivých dat, klamání, nejistota, úloha intuice a podobně. Protivník stojící proti AI by dokonce mohl této její slabiny využít ve svůj prospěch cíleným vypouštěním klamavých informací. V takových podmínkách bude lidský zásah možná ještě nezbytnější než dřív. Autoři upozorňují na to, že zatím ani neznáme dokonale mechanismus lidské intuice a úsudku.
„Existují nějaké jejich součásti, které nejde automatizovat?“ ptají se v závěru článku. „Dokud to nezjistíme, zůstává taktické a strategické rozhodování nejdůležitějším aspektem válčení.“
Jisté je zatím jen jedno: umělá inteligence se dotkne i armád. Navzdory pochmurným scénářům nepříliš poučených fantastů je ale zatím těžké odhadnout jak.
