Symetria zbadała ChatGPT – raport

Z ChatGPT lubimy rozmawiać, zadajemy dodatkowe pytania i chcemy pogłębić wiedzę. Gdy już raz skorzystamy z tego narzędzia, z reguły chcemy więcej i więcej. Co ciekawe jednak nawet osoby zawodowo zajmujące się technologiami nie do końca rozumieją zasady działania ChatGPT i choć co prawda aż 77% badanych przez Symetrię, polską firmę z branży UX, to zaledwie nieco ponad 40% pyta nowe narzędzie o źródła. ChatGPT jednak nawet wtedy potrafi nas okłamać. Dlaczego to robi?

Przyglądając się liczbom bezwzględnym popularność ChatGPT wygląda imponująco. W styczniu tego roku, czyli u progu masowego korzystania z tego narzędzia, aktywnych użytkowników było 100 mln. W kwietniu już ponad 170 milionów, a łączna liczba odwiedzin już w maju przekroczyła dwa miliardy.

Punktem przełomowym było dodanie funkcji ChatGPT do wyszukiwarki Bing stworzonej przez Microsoft. Jeszcze zanim zaczęła się era SI, Google miało ok. 94% udziału w rynku wyszukiwarek. Według portalu Statista w pewnym momencie w USA udział Google spadł nawet o 10%. Dziś znowu najpopularniejsza wyszukiwarka notuje w USA wynik w granicach 90%, ale Bing ma już ponad 6% udziałów w rynku. W skali europejskiej czy węziej – polskiej – zmiany są jednak jeszcze mało widoczne. Nadal to „wujek Google” jest zdecydowanym hegemonem w kwestii przeszukiwania internetu. Gra jest jednak warta świeczki, bo jak przekonuje sam Microsoft każdy procent zwiększonych udziałów na globalnym rynku to aż dwa miliardy przychodów więcej.

Podstawowa różnica między oboma sposobami wyszukiwania informacji? ChatGPT prowadzi z użytkownikami rozmowę i odpowiada na pytania (czyli prompty). Szukający informacji nie musi już się zastanawiać jakie wpisać hasło w odpowiednie pole, żeby znaleźć jak najpełniejszą odpowiedź.

Blisko 90% badanych mimo wykrycia wad i niedoskonałości narzędzia decydowało się korzystać z tej formy wyszukiwania informacji coraz częściej. Oznacza to, że sposób prezentowania treści jest dla odbiorcy ciekawy, a samo korzystanie z promptów staje się intuicyjne.

Lubimy i korzystamy, ale czy weryfikujemy?

Naturalny język i konwersacyjny styl udzielanych wypowiedzi spowodował, że każdy badany choć raz dopytywał narzędzie o bardziej szczegółowe wypowiedzi. Często lub zawsze robiło tak ponad 60% ankietowanych.

Dla podobnej wielkościowo grupy informacje pozyskane za pomocą ChatGPT nie są jednak wystarczające. Osoby te przechodzą jeszcze na zewnętrzne źródła informacji, aby pogłębić pozyskaną w tym narzędziu wiedzę.

Aż 77% osób uczestniczących w badaniu trafiło na nieprawdziwe informacje w wynikach wyszukiwania. Mimo tego nie wszyscy z nich wyrobili w sobie nawyk krytycznego podejścia do przedstawianych wiadomości. Większość użytkowników nie sprawdza bowiem źródeł uzyskanych odpowiedzi. O te zapytało zaledwie 41% respondentów, przy czym zdecydowana większość z nich wskazała, że natrafiła na problemy chcąc odnaleźć wskazane przez ChatGPT odnośniki do stron, z których rzekomo pochodzą informacje do przygotowanych zapytań.

Warto bowiem pamiętać, że ChatGPT nie jest wyszukiwarką internetową tylko modelem językowym, którego zadaniem jest kontynuowanie tekstu, tak aby generować adekwatną do „promptu” treść. Brzmiącą tak, jakby napisał ją człowiek. Proces generowania przez ChatGPT odpowiedzi na postawione przez użytkownika pytanie różni się zatem od wyszukiwarki nie tylko na poziomie interakcji, ale również kształtem i jakością otrzymanego rezultatu.

Sztuczna inteligencja wstydzi się powiedzieć „nie wiem”

Dlaczego ChatGPT kłamie? Bo użytkownik oczekuje odpowiedzi i nie przyjmie słów „nie wiem”. I SI to wie. Dlatego wprowadza w błąd, nawet w tak przekonujący sposób, że jest w stanie wyświetlić linki źródłowe, które jednak prowadzą w internetową pustkę – do nieistniejących stron. Nazywa się to halucynacją – udzielaniem odpowiedzi, mimo że nie zna się właściwego rozwiązania, więc wyświetla „najbardziej prawdopodobną wersję”.

Raport jest do pobrania tutaj. W ankiecie wzięli udział m.in. informatycy, ale też pracownicy mediów czy ludzie związani zawodowo z edukacją, czy światem finansów. Większość z badanych miała już ponad miesięczne doświadczenie z korzystania z narzędzia stworzonego przez OpenAI, a ponad 70% sprawdzało rozwiązania ChatGPT kilka razy dziennie.