Právnik Steven Schwartz z New Yorku predložil v roku 2023 súdu šesť citácií z predchádzajúcich rozsudkov. Všetkých šesť precedentov jednoducho neexistovalo. ChatGPT ich vymyslel od základu, vrátane mien sudcov, čísiel prípadov aj citovaných výrokov. Schwartz tvrdil, že nevedel, že AI môže klamať. Súd ho za to pokutoval.
Tento prípad nie je výnimkou. Je to ukážka fenoménu, ktorý odborníci nazývajú AI halucinovanie - a každý, kto AI používa, by mal vedieť, prečo k nemu dochádza.
V skratke:
- LLM (veľké jazykové modely) nepracujú s faktami, ale so štatistikou textu
- Model nemá interný príznak „viem / neviem”, preto si odpoveď doplní
- Tréning odmeňoval sebavedomé odpovede, čím modely naučili znieť presvedčivo aj pri omyle
- Halucinácie sa nedajú úplne odstrániť - ide o vlastnosť architektúry
- Nové modely (GPT-4o, Claude 3.5, Gemini 2) halucinujú menej, ale stále halucinujú
Čo sa deje vo vnútri ChatGPT#
ChatGPT nie je databáza faktov ani vyhľadávač. Je to štatistický stroj, ktorý predpovedá, aký token (slovo alebo časť slova) najpravdepodobnejšie nasleduje za predchádzajúcim textom.
Tréning prebiehal na stovkách miliárd viet z internetu, kníh, vedeckých článkov a diskusií. Model sa naučil, aké slová zvyknú stáť vedľa seba, aké témy sa typicky rozvíjajú akým spôsobom a aký text znie „správne”. Nenaučil sa pravdu - naučil sa štatistiku jazyka.
Preto keď sa ho spýtate „Kto vyhral Oscara v roku 1987 za najlepší film?”, model neprezerá databázu filmových cien. Generuje odpoveď, ktorá štatisticky vyzerá ako správna odpoveď na túto otázku. Väčšinou to vyjde. Niekedy nie.
Model navyše nemá žiadny interný príznak „toto viem / toto neviem”. Nemá mechanizmus na rozlišovanie medzi dobre podloženou informáciou a vymyslenou. Jednoducho produkuje text, ktorý znie plauzibilne v danom kontexte.
Prečo model klame so sebavedomím#
Tu vstupuje do hry tréning s ľudskou spätnou väzbou - odborne RLHF (Reinforcement Learning from Human Feedback).
OpenAI, Anthropic a Google nechávali ľudských hodnotiteľov porovnávať rôzne odpovede modelu a vyberať lepšie. Ľudia prirodzene preferujú odpovede, ktoré znejú sebavedomí, sú plynulé a pôsobia odborne. Váhavé odpovede s „neviem” pôsobili menej užitočne.
Výsledok: modely sa naučili, že sebavedomá odpoveď je odmenená. Takže aj keď model narazí na medzeru vo svojich trénovacích dátach, odpovie sebavedomo namiesto toho, aby priznal neistotu.
Moderné modely na tom pracujú. GPT-4o aj Claude 3.5 boli dotrénované tak, aby častejšie hovorili „nie som si istý” alebo „overujem si to”. Ale základ problému zostáva - štatistický mechanizmus predikcie textu nevie sám o sebe rozlíšiť pravdu od plauzibilnej nepravdy.
Aké typy halucinácií existujú#
Halucinovanie sa neprejavuje len vymyslenými súdnymi precedentami. Formy sú rôzne:
Vymyslené citácie a štúdie. Model dokáže vygenerovať presvedčivý formát citácie vrátane autora, časopisu, ročníka a čísla strany. Štúdia pritom nikdy nevyšla. Toto je osobitne nebezpečné pri akademickom a lekárskom kontexte.
Neexistujúce API funkcie. Programátori sa stretávajú s tým, že AI im navrhne funkciu alebo knižnicu, ktorá jednoducho neexistuje. Kód vyzerá správne, ale spustí chybu, pretože referenčná funkcia nikdy nebola súčasťou danej knižnice.
Zle spočítané čísla. LLM nie sú kalkulačky. Aritmetické halucinácie (typ „2+2=5”) sú bežné pri dlhých reťazcoch výpočtov. Preto moderné systémy majú pripojenú kalkulačku ako externý nástroj namiesto toho, aby počítali sami.
Zmiešané fakty. Model správne vie, že existuje osoba X aj udalosť Y, ale vymyslí súvislosť medzi nimi, ktorá nikdy nebola. Výsledná odpoveď obsahuje skutočné mená, ale fiktívny vzťah.
Tri prípady, keď to malo reálne dôsledky#
Prípad Schwartz (2023, New York). Právnik Steven Schwartz použil ChatGPT na prípravu súdneho podania. Výsledok: šesť vymyslených precedentov. Sudca Castel po kontrole zistil, že citované rozsudky neexistujú. Schwartz dostal pokutu 5 000 dolárov a musel absolvovať právne vzdelávanie.
Google Bard a James Webb (2023). Google prezentoval chatbota Bard na verejnej udalosti. Bard pri odpovedi na otázku o vesmírnom teleskope Jamesa Webba uviedol, že prvýkrát odfotografoval planétu mimo našej slnečnej sústavy. To bola chyba - prvé takéto fotografie pochádza z iného teleskopu. Akcie Alphabetu po tomto incidente klesli o 9 %.
Air Canada chatbot (2022-2023). Chatbot Air Canada informoval zákazníka, že môže dostať zľavu za letenku zosnulého príbuzného aj spätne. To nie je pravda podľa podmienok Air Canada. Zákazník si zľavu nárokoval na súde. Kanadský súd rozhodol, že Air Canada je zodpovedná za informácie, ktoré poskytol jej chatbot - aj keď boli nesprávne.
Prečo to výrobcovia nemôžu úplne odstrániť#
Halucinácie nie sú chyba, ktorú by šlo opraviť jednou aktualizáciou. Vyplývajú zo základnej architektúry LLM.
Model generuje text tokenu po tokene na základe pravdepodobnosti. Aby „vedel” kedy nevie, musel by mať prístup k spoľahlivej znalostnej databáze a mechanizmus na jej overovanie pri každej odpovedi. To je odlišná architektúra - nie jazykový model, ale hybridný systém.
Riešenia existujú čiastočne: RAG (Retrieval-Augmented Generation) pridáva modelu prístup k overiteľným zdrojom, napríklad k firemnej dokumentácii alebo na internet v reálnom čase. ChatGPT s webovým vyhľadávaním, Perplexity AI alebo Microsoft Copilot takto fungujú. Halucinujú menej, ale nie nulovo - model stále interpretuje a sumarizuje načítané texty, pričom môže zle pochopiť alebo zmiešať informácie.
Nové generácie modelov (GPT-4o, Claude 3.7 Sonnet, Gemini 2 Pro) výrazne znížili mieru halucinovania oproti prvým verziám. Štúdie ukazujú, že GPT-4 halucinuje o 40-80 % menej ako GPT-3.5 v závislosti od domény. Stále však nie na nule.
Ako zistíte, či vám AI klame#
Overenie je jednoduchšie, ako sa zdá. Niekoľko praktických krokov:
Pýtajte sa na zdroje. Ak AI uvedie konkrétny fakt, spýtajte sa „Z akého zdroja pochádza táto informácia?” a potom konkrétny zdroj overte sami. Ak zdroj neexistuje alebo neobsahuje danú informáciu, máte halucinovanie.
Testujte veci, ktoré viete. Ak AI odpovedá o témach, kde ste odborník, všimnete si chyby rýchlejšie. Všeobecná rada: ak niečo neviete overiť, zachovajte zdravú skepsu.
Používajte modely s webovým prístupom. ChatGPT s funkciou Hľadaj, Perplexity alebo Copilot prikladajú k odpovedi zdrojové URL. Stále treba overiť, ale je to lepší východiskový bod ako čistý LLM.
Číselné údaje vždy overte. Percentá, štatistiky, ceny, dátumy - toto je oblasť s najvyšším rizikom halucinovania. Ak AI tvrdí, že niečo stojí X eur alebo nastalo v roku Y, vždy si skontrolujte primárny zdroj.
Kde AI pomáha a kde je riziková#
| Typ úlohy | Spoľahlivosť AI | Odporúčanie |
|---|---|---|
| Brainstorming, nápady | Vysoká | Použiť bez obáv |
| Prepis, úprava textu | Vysoká | Použiť, skontrolovať tón |
| Programovanie (bežné vzory) | Stredná | Použiť, testovať kód |
| Programovanie (nové knižnice) | Nízka | Overiť dokumentáciu |
| Preklad textu | Stredná | Skontrolovať nuansy |
| Faktické otázky (história, veda) | Stredná | Overiť primárny zdroj |
| Právne a medicínske rady | Nízka | Nikdy nekončiť pri AI |
| Matematické výpočty | Nízka | Použiť kalkulačku |
| Aktuálne správy | Nízka (bez webu) | Použiť verziu s webom |
| Citácie a zdroje | Veľmi nízka | Vždy overiť existenciu |
Pravidlo, ktoré funguje: AI je výborný asistent na tvorbu a editovanie obsahu. Je slabý ako zdroj faktov. Keď tieto roly nemiešate, dostanete dobrý pomer výkonu a rizika.
Halucinácie teda nie sú bug, ktorý čaká na opravu. Sú to štatistické artefakty technológie, ktorá sa učila imitovať ľudský text - nie overovať pravdu. Vedia o tom aj ľudia v OpenAI aj v Anthropic. Preto vás Claude aj ChatGPT na začiatku konverzácie upozornia, že môžu robiť chyby. Len to nestačí vždy prečítať.
