Americká vláda na konci minulého týždňa šokovala trhy, keď nariadila AI spoločnosti Anthropic, aby zabránila všetkým cudzincom v prístupe k jej novým modelom Claude Fable 5 a Mythos 5. Razantný krok Washington zdôvodnil obavami o národnú bezpečnosť.
To rozoberáme s expertmi na umelú inteligenciu Adamom Hankom, spoluautorom podcastu „Uhlík vs. Křemík“ a riaditeľom pre dáta a AI v spoločnosti Creative Dock, a s Filipom Dřímalkom, zakladateľom spoločnosti Aibility a autorom knihy o umelej inteligencii a digitálnej ekonomike „Budoucnost nepráce“.
Dřímalka: Frontier modely ako Fable 5 sú zatiaľ neprekonané, či už podľa rebríčkov (napríklad na artificialanalysis.ai), alebo podľa našich vlastných skúseností. Niektoré takzvané open-weight modely (modely, ktoré môžu firmy prevádzkovať na vlastnom hardvéri – pozn. red.) ich však dobiehajú. Nie je to jednoduché, pretože prevádzka týchto modelov je náročná na hardvér. Investície tak môžu byť pomerne vysoké, a to pri nižšom výkone a horších schopnostiach.
Hanka: Ázijské a najmä čínske modely typu DeepSeek, Qwen, Kimi alebo GLM sa veľmi rýchlo približujú západnej špičke. A v niektorých oblastiach sú s nimi dokonca porovnateľné. Avšak z porovnania vyplýva, že skôr postupne dosahujú úroveň modelov ako GPT/Gemini, nie úroveň modelov ako Mythos. Existuje však možnosť, že niekde v Číne existujú laboratóriá s pokročilejšími modelmi. Tie nie sú bežnému používateľovi dostupné.
Ktoré konkrétne kybernetické schopnosti Mythos 5 v súčasnosti naháňajú vládam najväčšie obavy?
Hanka: Ide hlavne o to, že Mythos bol cielene vytrénovaný a urobený tak, aby dokázal prečítať a analyzovať veľké množstvo kódu a pracovať autonómne dlhší čas. Vďaka tomu môže pracovať aj niekoľko dní bez zásahu človeka a jeho kontroly.
Model si dokáže vytvoriť hypotézu o zraniteľnostiach. Túto hypotézu následne otestovať, napríklad tým, že v prostredí servera vytvorí a spustí testovaciu inštanciu daného kódu. A po otestovaní tejto hypotézy pokračuje na ďalšiu hypotézu. Bežný používateľ si dnes predstavuje pokrok v modeloch ako „lepšie odpovede v ChateGPT“, v tomto prípade však ide o komplexné agentové workflow, ktoré vyzerá, ako keď ten chat zavoláte napríklad tisíckrát za sebou.
Model vďaka tomu zvláda prechádzať rozsiahle projekty a hľadať vzorce, ktorých nájdenie by tímu ľudí bez AI trvalo týždne. Lenže pri tom sa to nekončí, vzorce následne dokážu skombinovať, otestovať a analyzovať výsledky a prepájať čiastkové nájdené slabiny do väčších celkov. Inými slovami, do reálneho scenára útoku na systém.
Môžeme teda Anthropicu veriť, že je Fable bezpečný?
Hanka: Tu si treba povedať, že dokonalá bezpečnosť neexistuje. A to ani pri AI modeloch, ani pri nožoch u vás v kuchyni. Anthropic však dokonalú bezpečnosť modelov nedeklaruje. Tvrdí, že riziká spojené so zapojením modelu Fable sú porovnateľné s rizikami iných modelov, ktoré sú už dnes produkčne nasadené.
Dřímalka: Každá firma vám bude hovoriť, že jej produkty sú bezpečné, takže to treba brať s rezervou. Ak však na trhu existuje firma, ktorá k AI pristupuje zodpovedne, je to podľa mňa Anthropic.
Ako účinné sú poistky a klasifikátory implementované vo variante Fable 5?
Hanka: Žiadne poistky nie sú stopercentne účinné, ale to nie je nič nové. Zároveň platí, že úspešný jailbreak (postup, pri ktorom sa obchádzajú ochranné mechanizmy softvéru – pozn. red.) automaticky neznamená, že poistky nefungujú. Musíme rozlišovať medzi prekonaním jednej alebo niekoľkých poistiek a prekonaním veľkého množstva či dokonca všetkých poistiek naraz.
Čo sa týka prekonania ochrany, kvôli ktorej vláda Spojených štátov nechala modely Fable a Mythos vypnúť, Anthropic tvrdí, že išlo o úzky jailbreak a týkal sa niekoľkých známych zraniteľností. V tom by som oveľa viac veril firme než administratíve prezidenta Donalda Trumpa.
Anthropic uvádza, že model Fable prešiel tisíckami hodín testovania tímami, ktoré sa pokúšali jeho ochranu prelomiť. Boli medzi nimi, okrem iného, tímy z vlády USA, britského vládneho inštitútu pre bezpečnosť umelej inteligencie a ďalšie. Tie možno považovať za nezávislých expertov. Žiadnemu z nich sa počas týchto tisícok hodín testovania nepodarilo nájsť spôsob, ako ochranu modelu plošne obísť.
Dřímalka: Prípadov, keď ľudia dokázali obísť guardrails (technické a procesné mechanizmy, ktoré vymedzujú bezpečné správanie systémov umelej inteligencie – pozn. red.) veľkých firiem, je však celý rad, takže by som bol opatrný aj v tomto prípade.
Hanka: Tento argument je do istej miery pravdivý, no dvojsečný. Kybernetická bezpečnosť je hra na mačku a myš a obrancovia sú v tejto hre vždy v nevýhode. Tí totiž musia postupne opravovať všetky chyby, zatiaľ čo útočníkovi stačí nájsť jednu zraniteľnosť.
Takže áno, platí argument, že útočník používa rovnaký nástroj na hľadanie zraniteľností a obranca naopak na ich zaplátanie. Ak však budeme vychádzať z toho, že momentálne existuje veľké množstvo zraniteľností, dáva silnejší nástroj do rúk väčšiu moc útočníkom – práve preto, že tým stačí objaviť prvú dostupnú zraniteľnosť.
Dřímalka: Rovnaké schopnosti, ktoré dnes pomáhajú hľadať zraniteľnosti a testovať ich dopad, môžu pomáhať aj s ich opravou. Keď prístup k nim vypnete, obranca, ktorý si ho zabudoval do procesov, o nástroj príde, zatiaľ čo útočníkom často zostanú alternatívy.
V našom regióne máme silné zázemie aj talenty a mali by sme na tom stavať, pretože nejde len o modely, ale hlavne o ich dostupnosť a kontrolu. Kľúčové je však ešte niečo iné. Z hľadiska bezpečnosti prestáva byť využívanie najnovších frontier modelov a špičkových bezpečnostných služieb voliteľným doplnkom. Je to pevná súčasť riadenia rizík s plnou zodpovednosťou manažmentu firiem.
A čo by si z uvedeného incidentu mala vziať Európa?
Hanka: Vláda Spojených štátov prekročila pomyselnú hranicu, keď zasahuje do toho, ktorý model bude komu dostupný. Potvrdila tým obavy, že závislosť od mimoeurópskej technológie je pre nás obrovským bezpečnostným rizikom a veľkou zraniteľnosťou.
Ďalším veľkým problémom je, samozrejme, to, s akou svojvôľou americká vláda koná, a nemožno vylúčiť, že ide o pomstu Anthropicu za to, že odmietol podpísať zmluvu na vojenské využitie umelej inteligencie.
Dřímalka: Vývoj top modelov už dávno nestojí len na kapitáli a talente. Čoraz viac ide o to, využiť najlepšie modely na vývoj ďalších generácií, a tam sa náskok doháňa veľmi ťažko. K tomu sa pridáva hardvér, teda dátové centrá a energie, pri ktorých sa už dnes riešia podobné geopolitické reštrikcie ako pri samotných modeloch. A potom je tu Európa, ktorá namiesto toho, aby využila svoj kapitál a prilákala najlepšie talenty, trávi čas stavaním bariér.
Hanka: Európa musí do technológií, vedy a výskumu investovať viac, to je jasné, ale súčasná situácia je spôsobená tiež tým, že v Európe jednoducho chýba spoločný kapitálový trh, kde sa dá zhromaždiť dostatočný kapitál pre súkromné subjekty, ktoré by vyvíjali AI – napríklad tak, ako sa to podarilo Anthropicu a ďalším americkým firmám.
Dřímalka: Nie je to však rozhodne dôvod na rezignáciu. Je možné, že lokálne alebo open-weight modely časom úroveň špičkových modelov dobehnú. Ako sa navyše ukazuje už dnes, podobnú kvalitu možno dosiahnuť aj inteligentným kombinovaním viacerých modelov. Aj preto by sme sa mali ako Európa snažiť získať aspoň čiastočnú technologickú nezávislosť.
Článok vyšiel na Forbes.cz a jeho autorom je Karel Wolf.
