30 listopada 2022 to ważna data w historii AI. Być może jedna z ważniejszych, ale tę ocenę pozostawię przyszłym pokoleniom. To wtedy OpenAI wypuściło swojego wirtualnego asystenta – ChatGPT, który sprawił, że o sztucznej inteligencji mówili w zasadzie wszyscy. Dostaliśmy narzędzie, które zna odpowiedź na prawie każde nasze pytanie. Rozwiązuje zagadki logiczne, pisze wiersze i eseje na zadany temat, a nawet całkiem nieźle programuje. To była rewolucja i nie mam zamiaru umniejszać temu wydarzeniu. Chciałbym zwrócić uwagę na coś innego. Bardzo szybko bowiem okazało się, że ChatGPT, robiąc te wszystkie niesamowite rzeczy, potrafi kłamać jak z nut. A my udajemy, że w pokoju wcale nie ma słonia i eufemistycznie nazywamy te kłamstwa halucynacjami.
Wraz z pojawieniem się ChatGPT uformował się wyścig, do którego dołączyły pozostałe Big Techy – Google, Meta, Amazon, a ostatnio nawet Apple. Microsoft, połączony ogromną kroplówką finansową z OpenAI, wystartował jako pierwszy. I trudno się temu dziwić, bo jest o co grać. Oczy całego świata zwracają się w stronę generatywnej sztucznej inteligencji, a potencjalny zysk lub strata na poziomie 10% potrafi przekroczyć roczny budżet średniego państwa, takiego jak Polska.
A zatem wszystkie ręce na pokład i można by się spodziewać, że po ponad półtora roku problem halucynacji odejdzie wreszcie do lamusa. Nic bardziej mylnego. Halucynacje mają się świetnie, a my co i rusz dostajemy nowe przykłady matactw. Opublikowany w czerwcu raport UNESCO wskazuje zagrożenia związane z rozpowszechnianiem przez generatywną sztuczną inteligencję fałszywych informacji o Holokauście. Popularne chatboty produkowały treści dotyczące wydarzeń, które nigdy nie miały miejsca, oraz fałszywe wypowiedzi świadków historii.
Humane Intelligence, technologiczny non-profit, budujący społeczność skupioną wokół praktycznej ewaluacji algorytmów, przeprowadził bardzo ważne, potrzebne i ciekawe badanie. Przetestowano 8 LLM-ów (Large Language Models), czyli wielkich modeli językowych, zasilających wirtualnych asystentów. Badano je pod kątem skłonności do halucynacji, uprzedzeń i stronniczości, m.in. w zakresie cyberbezpieczeństwa i dezinformacji. Do testów zaproszono ponad 2 tysiące hakerów, których zadaniem było znalezienie i wykorzystanie słabości tych modeli. Wyniki nie pozostawiają złudzeń. Bez większych problemów doprowadzono do halucynacji w takich obszarach jak: geografia (61% skutecznych ataków), prawo (45%), ekonomia (39%) czy polityka (35%).
W maju OpenAI wypuściło swój nowy flagowy model – GPT-4o, który przyjmuje i zwraca dowolną kombinację tekstu, obrazu i dźwięku. Oprócz porównań z filmem “Her” i kontrowersjami związanymi z użyciem głosu bardzo podobnego do Scarlett Johansson, nowy model postrzegam raczej jako bajerancką ucieczkę do przodu. Od wypuszczania GPT-4 minął ponad rok, nadal nie bardzo wiadomo, co zrobić z halucynacjami, więc “hej, wypuśćmy model, z którym można pograć przez kamerkę w papier, kamień, nożyce”.
ChatGPT i generatywna sztuczna inteligencja miały odmienić nasze życia. A jak jest w rzeczywistości? Kto z nas korzysta z tego typu rozwiązań na co dzień? Czy korzystają z nich nasi bliscy? Znajomi z pracy? A może ich dzieci? Bardzo łatwo wpaść tu w pułapkę dowodów anegdotycznych, więc posłużę się oficjalnymi statystkami oraz opracowaniami, przygotowanymi m.in. dla Harvard Business Review.
Z ChatGPT korzysta 100 milionów użytkowników tygodniowo, ponad 31% z nich pochodzi ze Stanów Zjednoczonych. Do najpopularniejszych zastosowań należą: pomoc techniczna (23%), tworzenie i edycja treści (22%), wsparcie osobiste i zawodowe (17%), nauka i edukacja (15%), kreatywność i rekreacja (13%) oraz badania, analizy i wsparcie w procesie podejmowania decyzji (10%).
Wśród tych zgrubnych kategorii odnajdziemy m.in. generowanie nowych pomysłów, poprawianie istniejących treści, draftowanie maili i innych dokumentów, testowanie i rozwiązywanie problemów (troubleshooting) oraz różnego rodzaju wsparcie w programowaniu. Sporo tego, ale możemy się chyba zgodzić, że większość to czynności, które wymagają na końcu naszej weryfikacji. Raczej nikt z nas nie uzna wysłania takiego maila w ciemno za dobry pomysł. Co ciekawe, wiele firm zabrania korzystania z zewnętrznych usług tego typu, bo okazuje się, że pracownicy nazbyt chętnie dzielą się z nimi wrażliwymi i poufnymi informacjami.
A zatem skąd biorą się te wszystkie halucynacje, które sprawiają, że nie możemy zaufać ChatGPT. Dlaczego za każdym razem dostajemy swoistą “odpowiedź Schrödingera”, która jest jednocześnie prawdziwa i fałszywa, dopóki sami jej nie sprawdzimy? Przyczyna leży właśnie w generatywnej sztucznej inteligencji i LLM-ach – wielkich modelach językowych, takich jak GPT, które zasilają wirtualnych asystentów. A modele te są trenowane do jednego tylko zadania – przewidywania kolejnego słowa dla zadanej sekwencji słów.
Zdaję sobie sprawę, że brzmi to dość niewiarygodnie, ale tak właśnie jest. Cała magia tkwi w ogromnych rozmiarach tych modeli. Według różnych doniesień, GPT-4 w procesie uczenia “przeczytał” około 10 bilionów słów. I chodzi tu o “polski bilion”, czyli o jedynkę z dwunastoma zerami. Nasze mózgi nie lubią tak wielkich liczb, więc spróbujmy przeliczyć to na książki. Przeciętna powieść (wg Amazona) zawiera 64 tysiące słów. A to oznacza, że GPT-4 “przeczytał” grubo ponad 156 milionów takich książek.
I tu jest właśnie pies pogrzebany. Bo to, co dostajemy jako odpowiedź, jest najbardziej prawdopodobne, ale niekoniecznie prawdziwe. Co gorsza, kryterium prawdy i fałszu nie ma tu w zasadzie żadnego zastosowania. Model nie ocenia danych treningowych pod tym kątem. Jeśli zapytamy o okoliczności spotkania Włodzimierza Lenina z Jamesem Joyce’m, dowiemy się, że spotkali się w Zurychu, w Cafe Odéon, w 1916 roku. To nic, że historykom nie udało się ustalić, czy do takiego spotkania w ogóle doszło. Gdyby jednak Lenin i Joyce mieli się kiedykolwiek spotkać, to właśnie ta okoliczność byłaby najbardziej prawdopodobna.
Drugim problemem utrudniającym szeroką adaptację generatywnej sztucznej inteligencji jest jej indeterminizm. Oznacza to mniej więcej tyle, że zadając to samo pytanie 10 razy, możemy otrzymać 10 różnych odpowiedzi. I o ile w przypadku zadań kreatywnych jest to akceptowalne, a nawet pożądane, tak w przypadku zadań wymagających jednoznacznych odpowiedzi, jak choćby fact-checking, już nie bardzo. Gdy pytamy ile jest 2+2, to chcielibyśmy dostać odpowiedź prawdziwą, a nie kreatywną.
Bardzo niebezpiecznym trendem, o którym mówi się zdecydowanie za mało, jest stosowanie rozwiązań opartych o generatywną sztuczną inteligencję jako zamienników dla psychoterapii. Mamy świadectwa osób, które zrezygnowały z pracy ze specjalistą na rzecz wirtualnego asystenta. Wtórują im dość jednoznaczne komentarze ekspertów, wyjaśniające, że chatboty nie mogą być stosowane jako substytut terapii, psychoterapii ani jakiejkolwiek interwencji psychiatrycznej.
Zgadzam się, że specjalnie przystosowane do tego celu modele mogą być doskonałym wsparciem dla terapii, ale jeszcze przez długi czas nie będą jej zamiennikiem. I na pewno nie w sytuacji, w której kompletnie nie panujemy nad tym, co taki chatbot może palnąć podczas sesji. W marcu zeszłego roku świat obiegła informacja o mężczyźnie, który odebrał sobie życie po rozmowie z chatbotem, będącym open-source’ową alternatywą dla ChatGPT. Czy samo to nie powinno być wystarczającym asumptem, żeby zakasać rękawy i poszukać rozwiązań, które sprawią, że wirtualny asystent w odpowiednim momencie po prostu ugryzie się w język?
W Samurai Labs od wielu lat pracujemy nad rozwiązaniami z zakresu neuro-symbolicznej sztucznej inteligencji, które wsadzają dość nieprzewidywalną część statystyczną pod ścisłą kontrolę deterministycznych modułów symbolicznych. W literaturze, zgodnie z tzw. taksonomią Kautza, takie podejście oznacza się symbolem “Symbolic[Neuro]”. Ja pół żartem, pół serio dodaję, że taka architektura skutecznie powstrzymuje modele uczenia maszynowego przed robieniem głupot, co – jak doskonale wiemy – mają niestety w zwyczaju.
A co to oznacza w praktyce? To, że rozmawiamy sobie z chatbotem jak gdyby nigdy nic, ale każde pytanie i każda odpowiedź są na bieżąco weryfikowane przez komponent neuro-symboliczny. Gdy nie ma powodu do obaw, nie dzieje się nic nadzwyczajnego. Ale gdy użytkownik zaczyna, dajmy na to, dzielić się informacjami na temat swojego zdrowia psychicznego, a model “odpływa”, próbując namawiać go do zrobienia sobie krzywdy, wtedy kontrolę przejmuje odpowiedni podsystem – siatka bezpieczeństwa – i proponuje mu zapoznanie się z materiałami samopomocowymi lub bezpieczny i anonimowy kontakt ze specjalistą. To żadne science fiction – w ramach projektu OneLife w zeszłym roku wsparliśmy w podobny sposób ponad 25 tysięcy osób na platformie Reddit.
Podejście neuro-symboliczne nigdy nie było w mainstreamie. Ba, pierwsze poważne artykuły i konferencje w tym temacie zaczęły pojawiać się na początku tej dekady, może ciut wcześniej. Zaryzykuję jednak stwierdzenie, że będzie o nim coraz głośniej, bo immanentną cechą rozwiązań symbolicznych jest to, że bazują na logice i jej podstawowych wartościach – prawdzie i fałszu, których tak nam brakuje w podejściach czysto statystycznych, takich jak LLM-y i generatywna sztuczna inteligencja.
Chodzi przecież o to, by nie podcinać skrzydeł ani nie ograniczać kreatywności tam, gdzie jest ona potrzebna, jednocześnie biorąc ją w karby tam, gdzie zaczyna przeszkadzać. A czy my, ludzie, nie uczymy się tego wszystkiego dorastając? W idealnym świecie, gdy nie znamy odpowiedzi, mówimy “nie wiem”, nie zmyślamy. Analizujemy potencjalne konsekwencje naszych słów i czynów, by nie wyrządzić komuś krzywdy, nie sprawić przykrości. Czy podejście hybrydowe, neuro-symboliczne, nie sprawi przypadkiem, że sztuczna inteligencja stanie się bardziej… ludzka?
Autor: Gniewosz Leliwa, CTO i współzałożyciel Samurai Labs