Stačí jediný prompt. Zamestnanec do ChatGPT nahrá zmluvu, zdrojový kód alebo databázu klientov, aby si ušetril pár minút práce. O niekoľko sekúnd neskôr už firma nemusí mať svoje najcennejšie dáta plne pod kontrolou. Práve tak vzniká fenomén shadow AI, ktorý sa ticho šíri firmami. Čo všetko môže spôsobiť jediná neuvážená otázka a kto za ňu napokon ponesie zodpovednosť?
Keď sa pred pár rokmi začali vo firmách masovo objavovať prvé generatívne nástroje umelej inteligencie, väčšina manažérov riešila jedinú otázku: povoliť, alebo zakázať? Dnes už je jasné, že bola zle položená. Zamestnanci totiž na rozhodnutie vedenia nečakali. Umelú inteligenciu začali používať rovnako prirodzene ako internetový vyhľadávač alebo prekladač.
Práve tomu odborníci hovoria shadow (tieňová) AI. Ide o situáciu, keď ľudia pri práci používajú verejne dostupné nástroje umelej inteligencie mimo schváleného firemného prostredia, často cez vlastné účty, bez vedomia zamestnávateľa a bez jasných pravidiel pre prácu s citlivými dátami.
Na prvý pohľad pritom nejde o nič dramatické. Zamestnanec požiada ChatGPT o zhrnutie zmluvy. AI pomôže pripraviť prezentáciu pre klienta. Opraví časť zdrojového kódu alebo navrhne lepšiu formuláciu obchodnej ponuky.
Umelá inteligencia síce dokáže ušetriť čas, zároveň však môže otvoriť cestu k úniku dát mimo prostredia, ktoré má firma pod kontrolou. Cena za niekoľko minút navyše potom môže byť prekvapujúco vysoká – od právnych komplikácií cez bezpečnostný incident až po poškodenú reputáciu.
Nejde o zlý úmysel
Odhaliť shadow AI nie je podľa právnikov jednoduché. Väčšinou za ňou totiž nestojí zlý úmysel, ale snaha zamestnancov pracovať rýchlejšie a efektívnejšie.
„Fenomén shadow AI považujeme za veľmi reálny a vo firmách bude výrazne častejší, než si ich vedenie pripúšťa,“ konštatuje Dalibor Kovář z advokátskej kancelárie Havel & Partners.
Pred mesiacom sme ukázali, že umelá inteligencia dokáže preniknúť do firemnej siete za 21 hodín zvonka.
„Je to masívny fenomén. Keby sme urobili anonymnú anketu, zistili by sme, že shadow AI je v podstate v každej firme, kde sa na prácu používa mobilný telefón alebo počítač. Využívanie verejných nástrojov AI je dnes rovnakou samozrejmosťou, ako bolo v minulosti ukladanie pracovných súborov na súkromné USB flash disky alebo ich preposielanie na súkromný e-mail, aby ich mal človek poruke,“ potvrdzuje Michal Nulíček, advokát a partner Rowan Legal a špecialista na ochranu osobných údajov.
Firmy často nevedia, kto aký nástroj používa, aké informácie doň vkladá, kde sú tieto dáta uložené, či môžu byť využité na ďalšie zlepšovanie služby a či má organizácia vôbec zmluvne a bezpečnostne ošetrené odovzdávanie týchto dát tretej strane.
Fenomén
„Pokiaľ organizácie blokujú inštaláciu neschválených desktopových aplikácií, majú maximálne prehľad o tom, koľkokrát zamestnanec pristúpil z pracovného zariadenia na konkrétnu doménu webového AI nástroja. Prístupy z vlastných zariadení však logovať ani monitorovať prirodzene nedokážu, hoci aj na nich sa AI asistovaná práca s firemnými dátami reálne môže odohrávať,“ upozorňuje Kovář.
V Česku zatiaľ neexistuje štatistika, ktorá by rozsah shadow AI presne opisovala. Zahraničné výskumy však naznačujú, že nejde o okrajový fenomén. Podľa štúdie Microsoft Work Trend Index používajú generatívnu AI pri práci tri štvrtiny znalostných pracovníkov a 78 percent z nich si do zamestnania prináša vlastné nástroje AI.
Ešte ďalej idú dáta, ktoré zhromaždila česká kyberbezpečnostná spoločnosť Sysnetshield. Podľa nej používa neschválené nástroje AI viac než 80 percent zamestnancov, 57 percent ľudí svoje využívanie pred zamestnávateľom aktívne skrýva a každá piata organizácia už zaznamenala bezpečnostný incident súvisiaci so shadow AI.
„Pred mesiacom sme ukázali, že umelá inteligencia dokáže preniknúť do firemnej siete za 21 hodín zvonka. V poslednom čase však vidíme, že si zamestnanci púšťajú AI do firiem dobrovoľne každý deň bez toho, aby o tom ktokoľvek z vedenia tušil,“ hovorí zakladateľ spoločnosti Sysnetshield Patrik Žák.
Lenže zamestnancov nemožno označiť za hlavných vinníkov. V skutočnosti ide o prirodzený dôsledok toho, že verejné nástroje AI sú jednoduchšie, rýchlejšie a často aj dostupnejšie než firemné riešenia. Pokiaľ organizácia ľuďom neponúkne bezpečnú alternatívu, nájdu si ju sami.
Najväčšie riziko navyše nespočíva v používaní umelej inteligencie, ale v tom, aké dáta do nej ľudia zadávajú. Kovář hovorí, že sa s podobnými situáciami stretáva opakovane pri nastavovaní interných pravidiel, compliance programov aj školení zamestnancov.
V dobrej viere…
„Nemôžem komentovať konkrétne klientske situácie, ale typovo ide veľmi často o prípady, keď zamestnanci v dobrej viere vložia do nástroja AI dokument alebo dáta, aby si zrýchlili prácu alebo dodali graficky zaujímavé stvárnenie tradičných dát. Excel reporting v interaktívnom HTML vyzerá nesporne lepšie, no účtovné dáta alebo stovky osobných údajov sú v takom prípade mimo perimetra organizácie,“ opisuje.
Podľa neho sa vo verejných nástrojoch AI najčastejšie objavujú interné dokumenty, zmluvy, obchodné ponuky, zápisy z porád, marketingové stratégie, neverejné finančné informácie, technická dokumentácia, zdrojové kódy, zákaznícke dáta, exporty z interných systémov, životopisy uchádzačov alebo hodnotenia zamestnancov. Najcitlivejšie sú však osobné údaje, obchodné tajomstvo, dôverné klientske dáta a informácie o internej IT či bezpečnostnej architektúre.
Podľa Nulíčka je to, bohužiaľ, skôr pravidlo než výnimka. Logika zamestnanca je jednoduchá: čím viac kontextu nástroju dám, tým lepší výstup dostanem, takže tam radšej vloží celý dokument, nielen všeobecné zadanie.
„Do bezplatných verejných verzií AI tak bežne pritekajú informácie, ktoré tvoria samotné jadro obchodného tajomstva a bezpečnosti danej firmy, ale aj informácie týkajúce sa tretích strán, ktoré je daná firma povinná chrániť. Medzi ne patria informácie spadajúce pod uzavreté NDA, ale napríklad aj osobné údaje. Z HR oddelenia tak v praxi odchádzajú kompletné životopisy uchádzačov, interné hodnotenia výkonnosti alebo texty chystaných výpovedí. Z finančných a obchodných tímov miznú tabuľky z Excelu s maržami, cenami pre konkrétnych kľúčových klientoch alebo strategické plány na ďalší kvartál, z ktorých manažér narýchlo potrebuje zhrnutie na poradu,“ upresňuje Nulíček.
Nie všetky organizácie pritom nesú rovnaké riziko. Shadow AI sa najviac môže týkať odvetví, kde ľudia denne pracujú s veľkým množstvom textu, dokumentov, dát, kódov alebo klientskych informácií. Typicky teda finančný sektor, poisťovníctvo, technológie a softvér, telekomunikácie, poradenstvo a ďalšie profesionálne služby, HR a recruitment, marketing, médiá, zdravotníctvo, farmácia a tiež verejná správa.
„Ani v týchto prípadoch však automaticky neplatí, že každé použitie ChatGPT znamená porušenie zákona. Vždy záleží na tom, aké dáta boli použité, aký nástroj a účet bol využitý, či existuje zmluvný vzťah s poskytovateľom, ako sú nastavené bezpečnostné a organizačné opatrenia a či zamestnávateľ zamestnanca dostatočne preškolil a stanovil jasné pravidlá,“ vysvetľuje Kovář.
Kto ponesie zodpovednosť?
Pokiaľ zamestnanec nahrá do verejného nástroja AI osobné údaje alebo iné citlivé informácie a dôjde k ich úniku, nemusí automaticky niesť následky iba zamestnávateľ. Rozhodujúce bude, či organizácia vytvorila prostredie, ktoré podobným situáciám predchádza.
„Firmám môže hroziť napríklad sankcia za porušenie GDPR, pokiaľ by došlo k úniku dát a firma by nemala nastavené vhodné organizačné a technické opatrenia. Okrem úniku dát však môže dôjsť aj k neoprávnenému trénovaniu na osobných údajoch. V týchto prípadoch by sa tiež riešila pričítateľnosť. Pokiaľ by firma mala jasne nastavené interné pravidlá, zodpovedný by mohol byť samotný zamestnanec,“ vysvetľuje Jana Vorlíček Soukupová z advokátskej kancelárie Dentons.
Do hry vstupuje aj európsky AI Act. Hoci sa v posledných mesiacoch veľa hovorilo o zmiernení niektorých jeho ustanovení, povinnosti firiem nezmizli.
„V prípade AI Actu môže firmám momentálne hroziť porušenie povinnosti zaistiť AI gramotnosť. Táto povinnosť sa však nedávno pomerne zmiernila v rámci zjednodušenia predpisu prostredníctvom AI omnibusu. Došlo takisto k odloženiu účinnosti pravidiel pre vysokorizikové systémy AI. Česká republika navyše v súčasnosti nemá dozorný orgán pre vymáhanie povinností podľa AI Actu,“ pripomína Vorlíček Soukupová.
Napriek tomu by bolo chybou usudzovať, že keď v Česku zatiaľ nepadli vysoké pokuty ani známe súdne rozsudky, problém neexistuje. Podľa advokátskych kancelárií sa väčšina incidentov rieši interne.
„V Česku zatiaľ podľa našich informácií nejde o oblasť, kde by existovala verejná rozhodovacia prax alebo väčšie množstvo medializovaných sporov. To však neznamená, že problémy nie sú. Skôr sú zatiaľ často riešené interne, preventívne alebo neverejne v rámci compliance, IT security, pracovnoprávnych opatrení, interných auditov alebo nastavovania pravidiel pre používanie AI,“ zhŕňa Kovář.
Za najvhodnejšiu reakciu sme nikdy nepovažovali plošný zákaz AI.
Rovnakú skúsenosť majú aj v Dentons. „Skúsenosti máme primárne s klientmi, ktorí sa shadow AI rozhodli riešiť preventívne. Pre tých sme pripravovali napríklad školenia AI gramotnosti alebo im radili s nastavením interných AI pravidiel. Ešte sme sa však nestretli s tým, že by sme museli riešiť napríklad pokutu od dozorného orgánu za únik dát v súvislosti so shadow AI, prípadne ani so žiadnou žalobou. Z našej skúsenosti pribúda firiem, ktoré sledujú, aké nástroje AI ich zamestnanci používajú a či nedochádza k nekontrolovanému nahrávaniu dokumentov do týchto nástrojov,“ dopĺňa Vorlíček Soukupová.
Uvedené potvrdzujú aj v Rowan Legal. „Interné vyšetrovania v súvislosti s neoprávneným použitím nástrojov AI sa postupne objavujú, hoci zatiaľ skôr ako súčasť širších auditov alebo v nadväznosti na konkrétny bezpečnostný incident. Väčšinou sa na to príde náhodou, ako na vedľajší produkt iného problému. V praxi to vyzerá napríklad tak, že vo firme nesedia nejaké informácie,“ vysvetľuje Filip Beneš, advokát Rowan Legal špecializujúci sa na ochranu osobných údajov.
V odovzdanom reporte sa podľa neho objavia napríklad faktické nezmysly, klientovi odíde podivne formulovaný dokument alebo IT oddelenie pri rutinnej kontrole prevádzky na sieti zachytí podozrivé dátové toky. „Keď sa potom začne rozpletať, čo sa stalo, ukáže sa, že si zamestnanec ‚len‘ pomáhal verejne dostupným nástrojom AI,“ konštatuje Beneš.
Prvé známe obete
Že nejde len o hypotetické scenáre, ale o reálne situácie, ukazujú príklady zo zahraničia.
Asi najznámejší je prípad Samsungu z roku 2023. Firma vtedy dočasne povolila zamestnancom používať ChatGPT. Počas jediného mesiaca však došlo hneď k trom incidentom. Jeden z inžinierov vložil do chatbota časť zdrojového kódu, aby mu pomohol nájsť chybu. Iný nahral algoritmus používaný pri hľadaní chýb vo výrobe čipov. Tretí nechal umelú inteligenciu prepísať internú poradu. Výsledkom bol únik mimoriadne citlivých technologických informácií a okamžitý zákaz používania nástroja ChatGPT vo firme.
Podobne reagoval aj Amazon. Interné právne oddelenie upozornilo zamestnancov, že zaznamenalo prípady, keď odpovede ChatGPT nápadne pripomínali dôverné firemné materiály. Firma preto odporučila prejsť na vlastné interné nástroje AI.
Nejde pritom o ojedinelé príbehy veľkých technologických firiem. Bezpečnostná spoločnosť Cyberhaven pri analýze správania 1,6 milióna zamestnancov zistila, že 11 percent obsahu vkladaného do nástroja ChatGPT obsahovalo dôverné dáta. Analýza spoločnosti Harmonic Security potom ukázala, že z 22,4 milióna firemných promptov obsahovalo viac než 579-tisíc citlivé informácie a takmer každá šiesta z týchto situácií vznikla cez súkromné účty zamestnancov, nad ktorými firmy nemali žiadnu kontrolu.
Práve preto sa prístup firiem v posledných mesiacoch výrazne mení. Z právneho pohľadu podľa Vorlíček Soukupovej ubúda spoločností, ktoré AI plošne zakazujú, rovnako ako tých, ktoré ju úplne ignorujú. Naopak, najrýchlejšie pribúda organizácií, ktoré sa snažia jej používanie riadiť. Začínajú interným auditom používaných nástrojov AI, vytvárajú schvaľovacie procesy pre nové aplikácie, školia zamestnancov a čoraz častejšie prechádzajú na enterprise verzie služieb, ktoré zmluvne garantujú, že firemné dáta nebudú využívané na trénovanie verejných modelov.
Zhoda medzi právnikmi aj bezpečnostnými expertmi je v jednom prekvapujúco jednoznačná. Najväčším rizikom nie je samotná umelá inteligencia. Najväčším rizikom je predstava, že ju možno jednoducho zakázať alebo ignorovať.
„Za najvhodnejšiu reakciu sme nikdy nepovažovali plošný zákaz AI. Ten v praxi často vedie len k tomu, že sa AI presunie do ešte menej kontrolovaného prostredia. Funkčná je kombinácia jasnej internej politiky, klasifikácie dát, zoznamu schválených nástrojov, používania enterprise riešení so zodpovedajúcimi zmluvnými a bezpečnostnými garanciami, školenia zamestnancov, technických a bezpečnostných auditov a jednoduchých pravidiel typu: do verejných nástrojov AI nevkladať osobné údaje, klientske dáta, obchodné tajomstvo, zdrojové kódy ani neverejné interné dokumenty, pokiaľ na to firma výslovne neschválila bezpečný režim,“ uzatvára Dalibor Kovář.
Väčšina firiem už dnes nestojí pred rozhodnutím, či umelú inteligenciu pustiť do kancelárií. Tá už tam dávno je. Skutočnou konkurenčnou výhodou preto nebude zákaz AI, ale schopnosť pracovať s ňou bezpečne skôr, než sa jeden zdanlivo nevinný prompt zmení na incident za desiatky tisíc eur.
Článok vyšiel na Forbes.cz a jeho autorkou je Jana Divinová.
