Stručnjaci za sigurnost GenAI: Chatbotovi su sjajni, ali kompanije nisu svjesne opasnosti koje donose

ChatGPT zavladao je svijetom, a sve tvrtke koje drže do sebe uposlile su chatbotove. Virtualni pomoćnici, međutim, vrlo lako mogu postati slaba točka tvrtke. Razgovarali smo o tom problemu s Kristianom Kamberom i Markom Lihterom iz hrvatskog startupa SplxAI koji se bavi sigurnosti generativne umjetne inteligencije

Chatbotove koristi više od 1,4 milijarde ljudi u svijetu, a Gartner procjenjuje kako će za tri godine postati glavni kanal korisničke podrške u četvrtini svih tvrtki svijeta. Takva propulzivnost ne iznenađuje jer generativna umjetna inteligencija (GenAI) velikom brzinom ulazi u sve segmente poslovanja i uglavnom ubrzava procese i unosi pozitivne promjene. Ipak, sigurnost te tehnologije još nije na zavidnoj razini. Prepuštanje zadataka chatbotovima otvorilo je prostor reputacijskim i financijskim prijetnjama te nanovo ugrozilo privatnost podataka koju se posljednjih godina toliko pokušavalo zaštititi. Rizici su tim veći što još zakon nije rekao svoje i često je nejasno tko snosi odgovornost za štete nastale zlouporabom slabosti chatbotova.

„Istražujući tržište razgovarali smo s više od stotinu američkih, hrvatskih, njemačkih i arapskih direktora za informatičku sigurnost i više od 90 posto ih smatra kako GenAI aplikacije nisu spremne za produkciju. No, pritisak na uvođenje chatbotova u poslovanje je prevelik, tako da se zanemaruje njegova iznimna ranjivost“, kaže Kristian Kamber, suosnivač i izvršni direktor startupa SplxAI.

Svakodnevno se razotkrivaju primjeri takvih ranjivosti, možda se najviše govorilo o slučaju Chevroleta, ali razne oblike štetnih djelovanja nove tehnologije iskusili su i AirCanada, DPD, Canva, Amazon i mnogi drugi, nadovezuje se Marko Lihter, Solutions Engineer u Splx AI-ju, koji je osnovan krajem prošle godine s ciljem da prevenira takve proboje.

Podsjetimo, u kalifornijoj podružnici Chevroleta chatbot temeljen na ChatGPT-ju ponudio je vještom online pregovaraču/napadaču Chevrolet Tahoe 2024 za jedan dolar naglašavajući kako je to pravno obvezujuća ponuda. Amazonov chatbot se „izbrbljao“ o lokacijama podatkovnih centara Amazon Web Servicesa (AWS), internim programima popusta i otkrio razne druge informacije koje nipošto nisu trebale biti javno dostupne.

Kako bi se dovelo do takvih, za brend neugodnih, ali i financijski potencijalno vrlo opterećujućih situacija, nije potrebno biti nadprosječno informatički pismen. Dovoljno je biti prepreden i znati koje su slabosti virtualnih pomagača.

Detektor ranjivosti

U razgovoru s mladim poduzetnicima koji su svu svoju pažnju usmjerili na takva rizična ponašanja GenAI-ja doznajemo kako su najčešće tehnike napada takozvani prompt injection. Tom tehnikom se chatbot hakira tako da mu se zadaju nove naredbe čime ga se lako može nagovoriti da govori o onome o čemu ne bi smio. Također, chatbot pri opetovanju istih upita ne daje isti odgovor, što je također prostor za zloporabu. „Takav napad ne prolazi na prvi i drugi upit, ali već na šesti otkriva željene informacije“, objašnjavaju startupovci koji su u detektiranju takvih ranjivosti prepoznali poslovnu priliku.

Njihov poslovni koncept je takav da istovremeno igraju napad i obranu. Imaju Red teaming koji izaziva chatbot i traži mu slabosti, dok Blue teaming radi na sigurnosnim rješenjima kako bi prevenirali takve napade. „Nažalost, tvrtke nisu ni svjesne koliko prijetnji izvire iz chatbotova. Dovoljno je dodati samo nekoliko riječi na stranom jeziku da napad postane 99 posto učinkovit“, ističe Kamber.

U Europi je djelovala samo jedna tvrtka koja se bavila sigurnošću GenAI-ja, no preselili su iz Švicarske u San Francisco. Mi smo trenutno u Europi jedini koji se time bave.Kristian Kamber, SplxAI

Za nešto više od mjesec dana SplxAI planira na tržište staviti svoj prvi proizvod – automatizirani detektor ranjivosti chatbota koji će se moći besplatno isprobati. Svoju su ekspertizu već pokazali jednoj od vodećih svjetskih chatbot tvrtki kojoj su ukazali na neke propuste njezinih proizvoda. Susretljivi chatbot im je, dok su radili red teaming, odnosno provjeravali koje su njegove slabosti, ponudio usluge konkurentske tvrtke. Takvo ponašanje možda je susretljivo, ali je i neprihvatljivo za tvrtku koja bi ipak zadržala klijente, a ne im preporučivala da odu rivalu.

Competitor check je jedna od prvih usluga koju je razvio tim SplxAI-ja. Njega uz naše sugovornike čine i suosnivač Ante Gojsalić te Dorijan Granoša i Ante Bilić. Budući da bi do lipnja trebali zatvoriti 1,5 milijuna eura vrijednu pre-seed rundu prikupljanja kapitala, želja im je tim novcem do kraja godine upotpuniti tim s još tri do četiri kolege za tehnički dio poslovanja te prodajnog predstavnika za američko tržište. Namjeravaju, naime, premjestiti sjedište u SAD jer očekuju kako će na tom tržištu imati najviše posla, ali usmjerit će se i na europsko tržište te tržište Bliskog istoka.

Nisu usamljeni na tržištu. Zasad ima desetak velikih tvrtki koje se bave sigurnosti GenAI-ja, uglavnom iz Izraela. No, one im nisu konkurencija već 50-ak startupova koji se bavi tim problemom. Iako, uvjereni su, problem će samo rasti i posla će biti.

Ranjivost chatbotova samo će rasti, a time i rizici za tvrtke

„Danas u chatbotove unosite tekst i dobivate tekst. Sutra ćete unositi tekst ili sliku i dobit ćete video. Ranjivost je, uz sve opasnosti koje iz nje vire, još uvijek mala sada u odnosu na to kakva će biti kada će botovi moći izvoditi naprednije radnje“, ističe Kamber uz napomenu kako će, usporedo s razvojem tržišta i potražnjom, SplxAI razvijati proizvode.

Ranjivost chatbotova velika je tema, razgovarali smo o tome više od sat vremena, a svejedno se nismo uspjeli dotaknuti svih područja u kojima stvari ne idu kako je zamišljeno. Ipak, morali smo se dotaknuti halucinacija. Budući da se oko 70 posto podataka na kojima je treniran dobiva iz javnih izvora, a samo 30-ak posto je iz tvrtkinih internih baza podataka, chatbotovi, kao što je poznato, znaju halucinirati. Informiraju se iz svakakvih neprovjerenih izvora pa zbog svojih suludih tvrdnji često završe na društvenim mrežama i u medijima.

Takvi ispadi mogu biti simpatični, ali i nanijeti tvrtki velike reputacijske štete. Također, prevelika pričljivost može odvesti ranjivog virtualnog predstavnika tvrtke u osjetljiva područja, navesti ga da govori o temama o kojima se ljudi ne vole šaliti kao što su religija i politika.

Kako bi spriječili neželjena vrludanja svog rječitog proizvoda, velikani industrije postavljaju određene zaštite, no, kako to ističu naši sugovornici, one su često previše agresivne. Reagirajući strogo i na najmanji znak opasnosti onesposobljuju funkcioniranje chatbota. To je kontraproduktivno jer tvrtke tako gube prihode, objašnjavaju.

U SplxAI-ju stoga razvijaju rješenja kojim će chatbotovima pomoći da bolje razluče što je napad, a što nije. Svoje modele, tumači Lihter, neprestano treniraju svježim podacima s interneta kako bi mogli prepoznati i spriječiti i najnovije vrste napada.

„Imamo rješenja koja su specifična za svaku industriju i razvili smo puno pametniju detekciju je li nešto napad ili nije. Dok će Microsoft ili Google zbog sigurnosti odmah blokirati bot, mi takve akcije možemo oubličiti po zahtjevu klijenta“, opisuje Lihter.

U svijetu se danas koristi više od 500 tisuća AI modela, pri čemu velik broj pripada području generativne umjetne inteligencije. Kao posljedica toga, razvoj chatbotova napreduje brže nego ikad prije, uz znatno niže troškove.Marko Lihter, SplxAI

Kompanije na cjedilu

U ovom su startupu realistični i svjesni da je nemoguće pružiti stopostotnu zaštitu od napada. Ipak, kao nezavisni boutique pružatelji usluga u velikoj su prednosti jer tržištu mogu ponuditi nišna rješenja. To je osobito bitno jer trenutno, kada nastupe problemi i chatbot napravi neku štetu, teško je odrediti tko je za to odgovoran, regulativa još ne postoji.

Brend koji koristi chatbot ne može za propust pozvati na red njegova proizvođača jer on okrivljuje GenAI model, Microsoft, činjenicu da je to sve early access tehnologija. Drugim riječima, brendovi su ostavljeni na cjedilu. Stoga će im biti isplativo uložiti u zaštitu. Time ne štite samo svog korisnika, već i prihode te reputaciju, kaže Kamber.

Naglašava i kako će ubrzo tvrtke tražiti i zaposlenika koji će biti zadužen za sigurnost chatbota. No, navodi kako će se manje tvrtke naći pred velikim problemom. „I nama je izazovno pronaći ljude koji će se baviti s tim, to je adverserial tech, nešto što je jednostavno previše novo za ovo tržište. Shvatit će da nemaju druge nego tražiti podršku izvana“, zaključuje izvršni direktor startupa koji do kraja godine planira steći desetak klijenata, od kojih je barem jedan iz SAD-a i uprihoditi 200 tisuća dolara, a već iduće godine plan im je upeterostručiti taj iznos. Uz suludo brz tempo usvajanja chatbotova, samo na Facebooku ih je 300 tisuća, taj im se cilj čini itekako dostižnim.