Twórcy jednego z chatbotów AI zostali pozwani w sądzie federalnym na Florydzie. Według matki jej syn był pod silnym wpływem sztucznej inteligencji, przez co odebrał sobie życie. Prawnik twierdzi, że produkt „musi zostać wycofany”.
Tragiczny finał „znajomości” z botem AI
Sztuczna inteligencja to technologia, która prężnie rozwija się w ciągu ostatnich lat. Chatboty AI stały się ogólnodostępne za darmo dla każdego użytkownika internetu, a za jednego z pierwszych uznaje się ChatGPT produkcji OpenAI. W ślad za przedsiębiorstwem poszli najwięksi giganci technologiczni, tacy jak Samsung czy Microsoft. Botów jest jednak dużo więcej, a jednym z nich jest Character.AI stworzony przez byłych inżynierów Google.
Character.AI to platforma, gdzie użytkownik może tworzyć własne chatboty porozumiewające się w języku zbliżonym do naturalnego. Boty powstają w oparciu o cechy konkretnych postaci fikcyjnych lub prawdziwych osób. Już dawno zauważono, że narzędzie to przyciąga sporo osób, przede wszystkim młodych, które interesują się fantastyką.
Jednym z ogromnych fanów Character.AI był 14-letni Sewell Setzer. Chłopak prowadził mnóstwo rozmów z botami stworzonymi w oparciu o postaci z Gry o tron. Po miesiącu matka nastolatka zorientowała się, że sztuczna inteligencja udaje prawdziwych ludzi. Po rozmowach przeprowadzanych z modelami Sewell doznawał myśli samobójczych. Zaniepokojona matka zabierała dziecko do terapeuty. To jednak nie pomogło, bo po roku regularnego używania narzędzia AI nastolatek odebrał sobie życie.
Matka nastolatka walczy w sądzie z twórcami bota
Megan Garcia – matka Sewella Setzera – skierowała sprawę przeciwko twórcom chatbota do sądu, składając pozew w sądzie federalnym. Dokument oskarża założycieli CharacterAI o świadome zaprojektowanie bota niebezpiecznego dla młodych osób. Powódka ma dowody na to, że model sztucznej inteligencji podczas rozmów podszywał się pod licencjonowanego terapeutę, który zachęcał do myśli samobójczych oraz prowadził rozmowy o seksualności. Z dokumentu wynika, że prowadzone konwersacje byłyby uznawane za nadużycie, gdyby prowadził je człowiek.
Ostatnia rozmowa Sewella Setzera odbyła się z botem Daenerys. Nastolatek prawdopodobnie zauroczył się w bocie, który przed samobójstwem namawiał go, aby „wrócił do domu” oraz spotkał się z nim poza rzeczywistym światem.
Garcia twierdzi, że narzędzie jest niebezpieczne, manipuluje i znęca się nad nastolatkami. Matka chce ostrzec innych rodziców przed niebezpieczeństwem płynącym z tej uzależniającej technologii.
Matka chłopca żąda odszkodowania, w tym zwrotu środków przeznaczonych na subskrypcję Character.AI (syn wydawał swoje kieszonkowe na wersję premium bota), a także kosztów terapii, pogrzebu, utraconych zarobków matki oraz potencjalnych przyszłych zarobków Sewella. Poza tym pani Garcia chce zapobiegać przyszłym zagrożeniom ze strony bota dla innych dzieci.
W pozwie pojawiły się też informacje o czerwcowej aktualizacji bota, która według prawników i matki nastolatka naraża dzieci na jeszcze większe niebezpieczeństwo oraz zatracenie u nich zdolności oddzielenia świata rzeczywistego od fikcyjnego. Character.AI otrzymało możliwość prowadzenia dwukierunkowej rozmowy z botem. Jeden z prawników przekazał ArsTechnica, że ten „produkt musi zostać wycofany”.
Co ciekawe, dokument sądowy zawiera informacje o tym, jakoby Google chciał wdrożyć do Gemini funkcje opracowane w ramach Character.AI. Technologiczny gigant jednak zaznaczył, że twórcy bota projektują go w odrębnej spółce, w której przedsiębiorstwo nie ma żadnych udziałów.
Character.AI wzmacnia zabezpieczenia
Twórcy chatbota w ciągu połowy roku od śmierci Sewella Setzera zaktualizowali zabezpieczenia – m.in. zmniejszono prawdopodobieństwo generowania treści sugestywnych i wrażliwych. Użytkownicy otrzymują też przypomnienia o tym, że bot nie jest prawdziwą osobą, a także podniesiono wymóg wiekowy z 12 do 17 roku życia.
