Jsou LLM vhodné pro předpovídání budoucích událostí?

Mnoho lidí si myslí, že umělé inteligence založené na jazykových modelech jsou nevhodné pro předpovídání budoucích událostí. Zde si projdeme, proč se tito lidé podle mě mýlí. 

I já jsem byl zastánce numerických modelů. Jsem fanoušek čísel, strojového učení a podobných věcí. Je však třeba přiznat, že paradigma se mění v jejich neprospěch. 

Numerické AI modely jako staré paradigma

Ne pomocí LLM, ale pomocí klasických algoritmů pro klasifikaci a regresi je zvykem předpovídat budoucí události. Budoucí cena akcií, výsledky voleb či sportovních událostí nebo třeba počasí, všechny tyto události se předpovídají obvykle pomocí matematických modelů. Všimněme si, že některé události se však již dnes předpovídají pomocí inteligence založené na jazyce (například politické události, které jsou jedinečné a neexistují relevantní statistiky, podle kterých by se mohly předpovídat). Tyto události bývají předmětem tzv. forecastingu, forecastingových turnajů, moudrosti davu atd. Dále v textu zmíním výzkum, který se věnoval GPT-4 ve forecastingovém turnaji. Dále chci upozornit, že ne všechno numerické předpovídání je zastaralé. Například zmíněné počasí by bylo velmi nepřesné předpovídat pomocí jazyka (i když se o to pokoušejí pranostiky a podobně). 

Kdy je tedy numerické předpovídání součástí starého paradigmatu? Podle mě tehdy, když jsou informace v textu výstižnější než informace v číslech. Problém dosud byl, že textové informace nebylo možné přesně zpracovat, což se nyní začíná měnit. 

Jaké jsou tedy problémy s matematickými modely? 

• Jen málo světových informací je v číselných datech.

• Na některá data prostě neexistují statistiky. Jako příklad může posloužit nálada ve fotbalovém týmu, který třeba opustil klíčový hráč, navíc vypadli z důležité soutěže a k tomu prohráli posledních 8 zápasů. Jejich brankář ale chytá výborně a i útočníci dávají hodně gólů. Není možné najít statistiku o tom, jakou měl tým za těchto okolností náladu nebo jak si s touto náladou vedl v dalším zápase. Naopak rozhovory s hráči či trenérem mohou napovědět, stejně tak zkušenosti expertů. 

• I když statistiky existují, jsou zjednodušené. Zaokrouhlené, využívající zjednodušené metriky, ovlivněné náhodou. Číselná data nevyprávějí celý příběh a statistiky jsou jen tak dobré, jak dobré jsou jejich metriky. Fotbalový tým může mít průměr 1 vstřelený gól na zápas, přesto může mít vynikající útok. Pouze tento tým hrál proti skvělým brankářům. Řešením samozřejmě mohou být další komplikovanější statistiky a metriky, ale nebudou i ony stejně nepřesné? Přidávali bychom tak stále podrobnější statistiky ve snaze situaci tými vystihnout. Celý proces bude složitější a hůře interpretovatelný. Možná že nějaký komentář experta by dokázal pro jazykový model v pár slovech vystihnout schopnosti týmového útoku lépe než množství statistik.

• Číselná data neobsahují informace o relevanci. Je důležitější, že tým vyhrál posledních 10 domácích utkání, nebo spíše to, že vyhrál 8 z 9 posledních všech utkání? Nebo jak kdy? Za některých okolností může být nějaká statistiky důležitá, za jiných může být nedůležitá. Machine learning modely s relevancí pracují, ale pro všechna trénovací data najednou. Nepoznají, že v aktuálním fotbalovém zápase budou hrát hlavní roli úplně jiné statistiky. Toto opět může vyřešit lidský expert, který okomentuje pouze to podstatné a LLM může z jeho komentáře vycházet. 

• Tradiční modely fungují tak, že srovnávají předpovídanou událost s minulými událostmi. Co když je ale předpovídaná událost nepředvídatelná tímto způsobem, protože se liší od všech minulých událostí, proměnné budou mít jiný vliv než obvykle nebo budou mít jinou relevanci (předchozí bod)? Toto se může týkat například zmíněných jedinečných politických událostí, ale každá událost je nějakým způsobem jedinečná. Zde má opět jazykový model výhodu v tom, že může analyzovat cokoliv, nejen statistiky předchozích událostí. Například může analyzovat i současný stav a to, jaky z něj může vyplývat výsledek předpovídané události. 

Proč se tedy tyto numerické modely používají? Dříve prostě nebyla jiná možnost. A stále je LLM předpovídání problematické. Jak se ale budou LLM zlepšovat, dá se čekat, že se bude aktuální paradigma překlápět v jejich prospěch. 

A co LLM? 

Někteří mají ve zvyku jazykové modely redukovat na pouhé stroje, které předpovídají další jazykový token. To je pravda. Ale nevyplývá z toho, že v tomto předpovídání se neskrývá pokročilá inteligence. Kolikrát z nejjednodušších struktur vzejdou ty nejsložitější výsledky. Argument, že něco jednoduchého nemůže vytvořit schopnou inteligenci, tedy nemůže být pravdivý. Naopak je zřejmé, že jazykové modely vykazují zajímavé emergentní vlastnosti, které spolu s vhodnými metodami promptování mohou vést k nečekaným dovednostem. 

Schoenegger a Park vyzkoušeli, jak si model GPT-4 vedl ve forecastingovém turnaji: https://arxiv.org/abs/2310.13014. Nevedl si dobře. K dobru však modelu musíme přičíst, že zatímco vycházel pouze ze zastaralých informací naučených při tréninku, lidští předpovídači si mohli zjistit informace nové a relevantní. Rovněž testování na pouhých 23 otázkách nebylo dostatečně rozsáhlé. 

Jaké jsou výhody LLM? 

• Silné analytické dovednosti a kvalitativní přístup. Dokáží analyzovat tisíce slov najednou. Žádný člověk toto nedokáže. Toto řeší problém s nepoznáním relevance proměnných u tradičních modelů nebo jejich pouhé srovnávání budoucnosti s minulostí (kvantitativní přístup). 
  
  
• Velký potenciál využití. Zatímco potenciál numerických modelů byl již do velké míry po desetiletí jejich využívání vyčerpán, využití jazykových modelů je stále efektivnější s novými promptovacími strategiemi, technikami a přístupy. 
  
  
• Velký potenciál samotných modelů. Zvětšuje se velikost modelů a zlepšují se jejich algoritmy a modely jsou díky tomu stále lepší v různých ohledech. Vezměme si, jak (ne)dobré byly LLM před pár lety a jaké jsou dnes. I kdyby udělaly zlomek tohoto pokroku, jejich schopnosti za pár let by byly i tak výrazně nadlidské.
  
  
• Možnosti interpretace numerických dat. Čísla se dají převést do textu, naopak to efektivně učinit nelze (lze se o to pokusit vektorizací textu, ale tou se ztrácejí důležité části významu). Ale čísla se nemusejí jen přímo přepisovat. Mohou se okomentovat, dodat jim kontext. Mohou se interpretovat a to různými způsoby podle názoru příslušného experta. Textová data tak mohou obsahovat o mnoho více informací než data textová. 
  
  

LLM jako stroje na předpovídání

Predikční schopnosti jazykových modelů se dají jednoduše dokázat. Předpovídání je totiž přímo jejich podstatou. Copak to nejsou stroje na předpovídání (dalších tokenů)?

Mohou například předpovědět pokračování příběhu:

Takto bychom mohli pokračovat a zvyšovat složitost předpovědí. Vlastně na všech třech obrázcích vidíme předpověď (předpověď pokračování příběhu).

Nakonec si můžeme představit třeba velkou část detektivního příběhu, který popisuje všeobecně známé okolnosti nějakého trestného činu a nechává čtenáře v nevědomosti ohledně toho, který z podezřelých je viníkem. Nakonec by přišel detektiv, odkašlal si a pronesl by: „Už vím, kdo ohavný čin spáchal. Byl to...“ Tento text by byl součástí promptu a AI by měla doplnit pokračování. Na základě příběhu by provedla stejnou práci jako zmíněný detektiv a doplnila by jméno viníka. 

Na posledním obrázku jsme již viděli, jak se dá pouhé předpovídání dalších tokenů využít ke skutečnému předpovídání budoucnosti. Když je třeba pokácet stromy, z uvedených vlastností se podle jazykového modelu zřejmě nejvíce hodí síla, protože předpověděl úspěch silného syna. 

Ukázka využití předpovídání dalšího tokenu pro účel sportovního předpovídání

Na závěr chci upozornit, že si uvědomuji omezenost dnešních LLM. Domnívám se však, že výhled je takový, že jejich přínosy budou stále znatelnější a více nadlidské a jejich nevýhody budou mizet. Pokud jsou dnes jazykové modely v relevantních dovednostech na přibližně lidské úrovni a ještě nedávno byly hluboko pod ní, dá se čekat, že brzy budou vysoko nad ní. Výhody a nevýhody numerických modelů budou převážně stejné. Proto čekám, že umělé inteligence založené na jazykových modelech budou široce a stále více využívané pro předpovídání budoucích událostí. 

Do té doby to bude jistě vzrušující cesta. Vždyť předpovídání budoucnosti je jedna z nejdůležitějších dovedností počítačů a po tom, co umí jako lidé komunikovat, budou i podobně jako my předpovídat. Přece i naše myšlení využívá jazyk. A pokud budou jazykové modely myslet stále lépe, není důvod předpokládat, že by schopnost předpovídání způsobem, jakým předpovídáme my, měla být stále na dnešní nedostatečné úrovni. 

Díky za přečtení tohoto blogu a šťastné předpovídání s jazykovými modely!