„Niektorí ľudia nám píšu, že sme cenzori, no z nášho pohľadu je to skôr naopak. Vytvárame bezpečný priestor aj tým ľuďom, ktorí by sa inak nevyjadrili,“ hovoria pre Forbes Jakub Šuster a Gabriel Tóth. Spolu s Ľudovítom Ďurmanom sa od začiatku vojny na Ukrajine snažia kultivovať diskusie na sociálnych sieťach, najmä na stránkach médií a verejných inštitúcií.
Tím pôvodne z PR a digitálnej agentúry New School Communications zakladá startup Elv.ai. Ako už názov napovedá, od začiatku decembra 2022 je ich moderovanie hybridné – okrem „elfov“ sa teda zapája aj umelá inteligencia. Na rozbeh a rast sa startupu podarilo získať investíciu 300-tisíc eur od žilinského podnikateľa, filantropa a vizionára Milana Dubca. Forbes ho v roku 2022 vyhlásil za Osobnosť roka.
„V dnešnej dobe sa stretávame s narastajúcim problémom nenávisti a dezinformácií na internete, ktorý nás nielen rozdeľuje, ale aj destabilizuje naše spoločnosti. Projekt elv.ai prináša inovatívne riešenie, ktoré je potrebné nielen na Slovensku, ale aj v celej Európe a po celom svete. Práve preto som sa rozhodol podporiť ďalšiu expanziu do zahraničia svojou investíciou. Som presvedčený, že tento projekt má potenciál významne prispieť k bezpečnejšiemu a kultivovanejšiemu prostrediu pre všetkých užívateľov internetu,“ hovorí Milan Dubec.
Jakub Šuster, nový CEO Elv.ai, spolu s Gabrielom Tóthom pre Forbes vysvetľujú, prečo do projektu potrebovali zapojiť aj umelú inteligenciu, aké sú ich ďalšie plány, aj to, ako sa AI učí nerobiť cenzúru.
Na druhé počutie
O zlom stave diskusií na sociálnych sieťach, najmä na Facebooku, sa hovorí často, no väčšina ľudí naň už rezignovala. Kedy a prečo ste sa rozhodli, že s ním idete niečo urobiť?
Gabriel Tóth: S Jakubom sme obaja vyštudovali politické vedy, takže sme sa na katastrofálny stav diskusií v internetovom priestore pozerali celospoločensky. Hnevalo nás to, no nič sme s tým nerobili.
Keď sa začala vojna na Ukrajine, bolo to ešte horšie. Tu však musím priznať, že už iniciátorom prvej myšlienky bol Milan Dubec. Keďže sme pre neho ako agentúra pracovali, boli sme v pravidelnom kontakte.
V jedno pondelkové ráno mi zavolal a hovorí, že tie diskusie sú hrozné, samí trollovia, dezinformácie, vojna… Čo s tým ideme robiť? Povedal som mu, že naozaj neviem, čo s tým mám ja robiť. A on, že musíme nájsť šikovných mladých ľudí, ktorí budú diskusie moderovať a snažiť sa, aby neboli toxické.
Investor startupu Elv.ai Milan Dubec (vľavo) je presvedčený, že elfovia majú šancu preraziť aj v zahraničí. Foto: archív Elv.ai
Tak ste začali hľadať?
GT: Nie. Priznám sa, že na prvé počutie som tento nápad zavrhol. Poznáte to. Bol to pondelok, mali sme dosť inej práce, nestíhali sme riešiť problémy sveta… No zostal mi v hlave a večer som zavolal môjmu kamarátovi Tomášovi Kriššákovi, ktorý má s bojom proti dezinformáciám a nenávisti skúsenosti. Práve on bol ten, kto mi povedal, že je to super a mám do toho ísť.
Profesionálny prístup
Na rozdiel od iniciatív ako Sme tu a Dobre ste od začiatku elfov zamestnávali a platili im. Prečo to bolo dôležité?
GT: Keď je niečo dobrovoľné, je ťažké zabezpečiť, aby to fungovalo – aby sa ľudia zapájali pravidelne a pristupovali k tomu stále naozaj zodpovedne. No my sme od začiatku mali profesionálny prístup. Hneď po spustení výzvy sme dostali viac ako 120 životopisov. Z nich sme museli vybrať a vyškoliť prvých desať elfov.
Jakub Šuster: Dôležité je tiež povedať, že sme do tohto projektu nešli s cieľom zarobiť. Médiá a inštitúcie za službu platia, aby sme my mohli platiť elfom, teda iba náklady na moderovanie.
Podľa akých kritérií ste ich vyberali?
JŠ: Bolo a je pre nás dôležité, aby ľudia, ktorí moderujú diskusie, mali prehľad o aktuálnom dianí a dokázali veci vnímať v širšom kontexte. Väčšinu elfov preto aj dnes tvoria študenti psychológie, sociológie a politológie. Veľmi nám pomohlo, ak mali skúsenosti zo spomínaných dobrovoľníckych skupín.
Zároveň si uvedomujeme, že táto práca môže byť niekedy veľmi frustrujúca a čítať tisíce toxických komentárov denne nemusí byť úplne príjemné. A vtedy nestačí, že sa niekto nadchne pre prvotnú myšlienku. Spracovať také veľké množstvo obsahu sa navyše nedá popri inej práci, iba tak po večeroch.
Naši elfovia pracujú od ôsmej rána do desiatej večera, no zakladáme si na tom, aby mali pravidelné prestávky. Jedna zmena preto trvá zväčša dve, maximálne štyri hodiny. Dlhšie človek pri takejto práci neudrží pozornosť, no dôležitá je pre nás aj psychická pohoda našich ľudí.
Bez ľudí to nejde
Ako teda vyzerá práca elfa, ktorý diskusiu moderuje?
GT: Funguje to tak, že každý komentár, ktorý niekto napíše na profil, o ktorý sa staráme, príde cez API do nášho softvéru. Tam ho umelá inteligencia „prečíta“ a vyhodnotí na základe dát, podľa ktorých sme ju „vycvičili“. Tie sme mali vďaka ľudskej moderácii, ktorú sme robili viac ako pol roka. Ďalej má tri možnosti.
Aké?
GT: Buď si je istá, že komentár je v poriadku, a v tom prípade sa s ním nič nedeje. Alebo zistí, že je tam vulgarizmus, prípadne nenávistný prejav a dá ho rovno skryť. Tretia možnosť je, že si nie je istá. V takom prípade komentár posiela na posúdenie elfovi – teda moderátorovi, ktorý ho posúdi a tým dá aj spätnú väzbu softvéru. Tak umelú inteligenciu trénujeme ďalej.
JŠ: Aj napriek tomu, že vďaka umelej inteligencii dokážeme pracovať efektívnejšie a zvládame posúdiť oveľa väčšie množstvo komentárov, ľudia sú v tomto procese nenahraditeľní. Dokážu uvažovať v kontexte, poznajú iróniu, sarkazmus a prenesené významy. To je pre nás veľmi dôležité, pretože hranica medzi slobodou slova a cenzúrou je veľmi tenká.
Preto celé rozhodovanie nemôžeme nechať iba na umelej inteligencii. Ak si nie je istá na viac ako 95 percent, komentár posúva elfom. Je pravda, že technológie napredujú, no aj modely umelej inteligencie sa potrebujú vytrénovať. A to bez ľudí nejde.
Videli sme to napríklad pri vražde na Zámockej, keď sa na sociálnych sieťach zdvihla vlna nenávisti voči LGBTIQ+ komunite. Na takúto situáciu sme predtým nemali dosť dát. Chýbal mu kontext vraždy v súvislosti s konkrétnou komunitou.
A zrazu sa veľa komentárov dostávalo k moderátorom. Našťastie sme rýchlo zareagovali, posilnili sme zmeny a zvládli sme to. V spoločnosti sa však deje veľa nepredvídateľných a bezprecedentných situácií, na ktoré umelú inteligenciu nedokážeme pripraviť.
Elv.ai v číslach
- Elfovia aktuálne spravujú 60 stránok pre 23 mediálnych domov a verejných inštitúcií.
- Vďaka hybridnému modelu mohli v startupe znížiť počet elfov zo 44 na 16.
- Za jeden deň spracovali najviac 55-tisíc komentárov. Jeden človek dokáže za hodinu posúdiť maximálne 400 komentárov.
- Od marca 2022 prešli viac ako 10 miliónov komentárov na slovenskom a českom internete. Z toho približne 1,5 milióna museli skryť alebo odstrániť.
- Podarilo sa im identifikovať viac ako 5-tisíc falošných účtov a trollov.
Nie je to cenzúra
Spomenuli ste, že hranica medzi moderovaním a cenzúrou je pomerne tenká. Podľa akých kritérií teda AI komentáre posudzuje?
GT: Sme veľkými zástancami slobody slova. Napriek tomu, že každý z nás má nejaký politický názor, nechceme ten jeho nikomu odopierať. Prvé pravidlo preto hovorí, že nikomu komentár nezmažeme ani neskryjeme za politický a iný názor.
Skrývame v podstate len tri druhy komentárov. Prvý druh sú také, ktoré porušujú zákon. Druhý tvoria komentáre, ktoré sú vulgárne a nenávistné.
Tretiu kategóriu tvorí niečo, čo Facebook nazýva „neautentické správanie“. To sú falošné účty, ktoré však náš softvér zatiaľ nerozozná.
A ako ich rozoznávajú elfovia?
JŠ: Kontrolujeme napríklad, kedy účet vznikol, či má profilovú fotku, aké meno používa a akú má históriu komentárov. Ak sa zapája len do diskusií pod článkami médií a všade píše rovnaké komentáre, je veľmi pravdepodobné, že ide o trolla, a takýto účet blokujeme.
GT: Naším cieľom nie je presadzovať konkrétny názor. Snažíme sa ukázať, že keď niekto svoj názor vyjadrí normálnym, kultivovaným spôsobom, má v diskusii miesto.
Bezpečnejšie diskusie
Aké máte teda zatiaľ s moderovaním výsledky?
GT: Robili sme si na to prípadové štúdie a vidíme, že aj tento rozmer funguje. Keď diskusiu začneme moderovať, neklesne počet ľudí, ktorí sa do nej zapoja. Často je to dokonca naopak – vyjadria sa aj tí, ktorí by sa inak nezapojili zo strachu zo zosmiešnenia a trollov. Moderované diskusie sú bezpečnejšie. Niektorí ľudia nám píšu, že sme cenzori, no z môjho pohľadu je to skôr naopak.
JŠ: Zároveň z našich dát vyplýva, že podiel toxických komentárov na profiloch, ktoré moderujeme, sa postupne znižuje. V médiách tvoria toxické komentáre viac ako 20 percent diskusie. Keď však začneme moderovať, dokážeme toto číslo zmenšiť na necelých 10.
Začiatkom roka vyšiel výskum, ktorý potvrdzuje zmysel fungovania elfov. Sledovali, aký vplyv má moderovanie obsahu na správanie diskutujúcich. A overili, že ak je toxický obsah skrytý, ľudia ho postupne prestanú vytvárať. A nie je to o tom, že by sa prestali zapájať do diskusií, ich komentáre sú skrátka menej toxické.
Prečo?
Ide o to, že keď komentár skryjeme alebo odstránime, komentujúci nedostane svoju spätnú väzbu, teda „odmenu“. Nemá lajky ani srdiečka, nikto mu neoponuje, takže začne spochybňovať to, čo napísal, lepšie povedané spôsob, akým to napísal. Tento efekt sledujeme aj u nás.
Jakub Šuster
Na hranici možností
Diskusie portálu Aktuality.sk ste ako prvé začali spravovať v polovici marca 2022, dnes moderujete 60 profilov pre 23 klientov. Čomu podľa vás vďačíte za taký rýchly rast?
GT: Mediálny trh na Slovensku je pomerne malý, no problém s diskusiami pod jej obsahom má takmer každé médium. Získať ďalšie štyri médiá nám preto trvalo asi dva mesiace. A všetky nás oslovili s tým, že počuli, že niečo také robíme a chceli by to skúsiť tiež.
Jediná škálovateľnosť pri takomto type služby pre nás bola naberať nových ľudí. Z desať sme teda veľmi rýchlo narástli na 20. Ale po mesiaci nám už nestačilo ani to. Pribrali sme ďalších desať a napokon sme skončili so 44 ľuďmi. To bolo koncom septembra. Dokázali sme tak spravovať diskusie približne na desiatich profiloch.
Prečo bolo pre vás dôležité zapojiť aj umelú inteligenciu?
GT: Časom sa nám ozývalo stále viac a viac médií a štátnych inštitúcií. Zrazu našich 44 elfov nestíhalo a niekedy nám ušlo aj 30 percent toxických komentárov. Šikovní moderátori dokázali prejsť 300 až 400 komentárov za hodinu. To je strop.
Foto: archív Elv.ai
Stále sa nám ozývali noví klienti, no vedeli sme, že 44 ľudí je maximum, čo dokážeme efektívne zmanažovať. Zhodou okolností ma ale vtedy cez LinkedIn oslovil Juraj Bezdek, ktorý už necelý rok pracoval na vývoji analytického softvéru Labelator.io. Ten nám umožnil natrénovať si vlastnú umelú inteligenciu podľa našich potrieb. Keďže sme mali problém s kapacitami, táto myšlienka nás veľmi oslovila.
V novembri sme to otestovali a od prvého decembra 2022 funguje naše moderovanie hybridne.
Globálny problém
Viac ako rok ste sa Elfom venovali v rámci agentúry New School Communications. Kedy ste si povedali, že z nich urobíte startup?
GT: Uvedomujeme si, že problém s toxickým obsahom na internete nie je len na Slovensku, ale na celom svete. Preto sme sa rýchlo rozhodli, že s Elfami budeme expandovať. Zároveň bolo jasné, že už sa tomuto projektu nemôžeme venovať iba vo voľnom čase a že potrebujeme investíciu. CEO Elv.ai sa preto stal Jakub a od Milana Dubca sa nám podarilo získať investíciu 300-tisíc eur.
O náš projekt sa celý čas zaujímal, preto sme investora nemuseli až tak hľadať. Stal sa tiež spoluzakladateľom startupu a získal v ňom 49-percentný podiel.
Ako plánujte investíciu využiť?
JŠ: Postupne by sme sa chceli rozšíriť viac do Česka a potom aj ďalej. Zaujímavé pre nás je expandovať aj do východnej Európy, kde majú podobné problémy s trollmi ako my, no iniciatívy, ktoré by ich riešili, tam úplne chýbajú.
Od budúceho roka navyše vstupuje do platnosti nová regulácia Európskej únie Digital Service Act, takže tento problém bude musieť riešiť každý, kto na internete spravuje nejakú komunitu.
V zahraničí však potrebujeme ľudí, ktorí budú odtiaľ a stále tam. Nestačí, že vedia jazyk, musia dobre ovládať celospoločenský kontext, aktuálnu situáciu aj všetky prenesené významy. To je veľmi dôležité.
Zároveň by sme chceli našu službu škálovať tak, aby dokázala osloviť čo najviac klientov z rôznych odvetví. Perspektívne by sme potom radi prešli viac aj na Tiktok. No zatiaľ to nie je možné, keďže Tiktok ešte nemá verejne prístupné API.
Keď sa nám bude dariť, o šesť kvartálov nás čaká druhé kolo financovania, vďaka ktorému budeme môcť expandovať ešte viac.
