Dračí rozhovory

Tak se nám v poslední době vývoj AI celkem zúžil na jazykové modely, LLM, AI modely, multimodální modely či modely světa, prostě na GPT, Gemini, Claude, Grok a tisíce jim podobných. Kdo nedělá toto, nedělá AI, protože AI (která je tu jako obor kolem 70 let) se snad za poslední dva roky stala synonymem pro tyto modely. A beztak pravděpodobně každý AI výzkumník chce s přirozeným jazykem pracovat. To je, kde „je AI“.  A nejde jen o zmíněné modely, nakonec i modely generující obrázky, video, zvuk a cokoliv dalšího jsou zároveň jazykovými modely, protože musí pochopit vstup od uživatele v přirozeném jazyce.  A my je hodnotíme často primárně podle toho, jak dobře plní přání, která vyslovíme. Myslím, že je dobré se více zaměřit na to, jaké jsou skutečné schopnosti AI a co pro nás AI může udělat mimo to, že nám může rozumět. Minimálně je myslím zjednodušování AI na sluhu, který poslouchá na slovo, velkým zjednodušením jejího potenciálu. Přehlížíme tím velké pokroky „uvnitř“ modelů, po...

Nedávno vzbudil rozruch myslící model od OpenAI s názvem o3. Zaujal hlavně skvělým skóre v benchmarku ARC. Podle některých se dokonce jedná o AGI.  Je tento model vážně tak úžasný?  Myslím, že jde o přelomový model v tom smyslu, že není určený pro „běžné prompty“, které mají hlavně ušetřit čas lidem, ale je určený spíše pro skutečně těžké problémy, se kterými si lidé a mnohdy ani odborníci neví rady. To samo o sobě vypovídá o vysoké inteligenci tohoto modelu.  Model se vyrovnává lidským odborníkům hlavně v úkolech, jako je psaní kódu nebo vědecké uvažování. Pro každodenní využití asi není moc vhodný. Pokud pro model využití najdete, odradit Vás může vysoká cena. Ta je výrazným negativním rysem tohoto modelu, na který se možná trochu zapomnělo, i když OpenAI cenu uvedla v grafu. V nejlevnějším módu za jeden prompt zaplatíte zhruba 560 Kč (stejně jako za ChatGPT Plus na měsíc). V nejdražším módu dokonce kolem 100000 Kč za jediný prompt.  Tím se dostáváme k efektivitě t...

Mnozí věří, že dosažení umělé obecné inteligence (AGI) – definované jako schopnost plnit nejrůznější úkoly stejně dobře jako lidé – způsobí revoluci ve světě. Nesouhlasím. Tato běžná definice AGI je zavádějící, antropocentrická a omezuje naše chápání potenciálu umělé inteligence. Tato definice totiž vnímá AI skrze lidské schopnosti, podobně jako kdybychom definovali „létání“ pouze na základě toho, jak létají ptáci. Přehlíží tak potenciál AI dosahovat cílů – a dokonce lidské výkony překonávat – zcela odlišnými způsoby. Je načase přestat vnímat AGI jako pouhou imitaci člověka. Ve skutečnosti okamžik, kdy dosáhneme AGI, jak je v současnosti definována, nemusí být vůbec revoluční. Pravděpodobně to bude jen milník, nikoliv náhlý skok vpřed. Naše inteligence (nebo AGI) ve skutečnosti není tak „obecná“. Skládá se z mnoha modulů a schopností. V některých oblastech už AI dosahuje vynikajících výsledků, například v hraní šachů nebo rozpoznávání obrazu (a kalkulačky zvládly výpočty už před desítk...

Můj sen je vytvořit AI, která by přesně předpovídala cokoliv a z jakýchkoliv dat.  Nyní bych tady chtěl navrhnout nový přístup, jak pomocí LLM snadno a zároveň komplexně předpovídat.  LLM NN Je běžné, že se pro předpovídání používají neuronové sítě. Jsem však přesvědčený, že stále více se budou využívat jazykové modely ( https://drozhovory.blogspot.com/2023/12/jsou-llm-vhodne-pro-predpovidani.html ).  Nyní zde představuji způsob, jak spojit LLM a neuronovou síť (NN), který nazývám LLM NN.  Tento přístup funguje následovně: 1) Řekněme, že potřebujeme předpovědět, kdo vyhraje fotbalový zápas, ale všimněte si, jak je tento přístup univerzální co do účelu i vstupních dat.  2) Získáme data: k velkým sportovním událostem existuje spousta dat, jako statistiky, předpovědi, analýzy atd. Uložme je všechny do jednoho dokumentu. Data můžou být různá a může jich být hodně, LLM si s tím poradí.  3) Prompt: budeme chtít po AI, aby vygenerovala prompty, které povedou k naš...

Pár zkušeností s předpovídáním s využitím jazykových modelů: 1) Gemini: i když mám zkušební přístup k Ultra verzi, Gemini se neosvědčilo, protože dává pokaždé jiné předpovědi. Zřejmě by pomohlo nastavit temperature na nižší hodnotu, ale v Česku není Gemini API, takže můžu využívat jenom webovou aplikaci. Dá se zde zadat něco kolem 31000 znaků, což je dost, ale nestačí to na spoustu dat. To se dá obejít zadáním dodatečných dat do dalších zpráv. Výhoda samozřejmě je, že toto vše je úplně zdarma a ani se mi nepodařilo narazit na žádný limit, jako je třeba u ChatGPT+. Mega jsem ale excited ohledně přicházející generace 1.5, která by schopnosti přepovídání mohla opět posunout. Navíc do obřího kontextu by se mohlo vejít opravdu hodně informací. Budu ale preferovat API. 2) GPT-4 Turbo: zde už je k dispozici API, takže to je zajímavější. Zkoušel jsem se ptát na různé věci, vítěze utkání, počty gólů atd. Kvalita argumentace byla mnohdy pro mě překvapivá. AI uvažování jistě patří budoucnost. 3)...

Mnoho lidí si myslí, že umělé inteligence založené na jazykových modelech jsou nevhodné pro předpovídání budoucích událostí. Zde si projdeme, proč se tito lidé podle mě mýlí.  I já jsem byl zastánce numerických modelů. Jsem fanoušek čísel, strojového učení a podobných věcí. Je však třeba přiznat, že paradigma se mění v jejich neprospěch.  Numerické AI modely jako staré paradigma Ne pomocí LLM, ale pomocí klasických algoritmů pro klasifikaci a regresi je zvykem předpovídat budoucí události. Budoucí cena akcií, výsledky voleb či sportovních událostí nebo třeba počasí, všechny tyto události se předpovídají obvykle pomocí matematických modelů. Všimněme si, že některé události se však již dnes předpovídají pomocí inteligence založené na jazyce (například politické události, které jsou jedinečné a neexistují relevantní statistiky, podle kterých by se mohly předpovídat). Tyto události bývají předmětem tzv. forecastingu, forecastingových turnajů, moudrosti davu atd. Dále v textu zmíní...

Do roku 2030 nepřišla žádná další „AI winter“. AI je stále větší téma, je kolem ní stále větší hype (i když jiného druhu: místo úžasu, že něco je konečně možné je to spíše úžas, jak je AI praktická).  Umělá inteligence je největší téma, které dominuje serióznímu zpravodajství. Média každý den informují o nových oblastech, jež AI dobyla, o nezaměstnanosti způsobené AI, o pochybnostech, nejistotě okolo AI. Velké téma je strach o lidskost, obrana lidskosti. Lidé se bojí, že přehnané spoléhání se na AI není lidské. Bojí se, že zakrníme. Další se bojí o svoje soukromí (s AI modely lidé mohou sdílet a sdílí skoro vše a data se odesílají do datových center velkých firem). Odpor proti AI je zřejmě největším odporem proti pokroku, jaký kdy byl. Daleko více je ale lidí, pro které vítězí pohodlnost používání AI.  Velké technologické firmy naprosto dominují světovému byznysu a dobývají i oblasti, které s technologiemi ještě před pár lety ani nesouvisely. Hodnoty těchto firem jsou obrovské...

Ať už máme na mysli umělou inteligenci, nanotechnologie, biotechnologie, jaderné zbraně či změnu klimatu, je jasné, že žijeme v nejnebezpečnější době pro lidstvo a že příští desítky let budou velice nebezpečné. Lidé bohužel mají tendenci existenční rizika (rizika schopná lidstvo vyhubit či jinak připravit o hezkou budoucnost) podceňovat. Mají k tomu mnoho důvodů, od zaměňování rizik za sci-fi, přes nevážné uvažování o nich, po přirozený optimismus. V důsledku toho lidé po celém světě velice málo investují do výzkumu těchto rizik a do jejich snižování. Investuje se řádově více do vývoje potenciálně ničivých technologií než jejich bezpečnosti či ochrany před nimi. To je podle mě špatná situace. Lidstvo není připravené na klíčové výzvy příštích let, což s velkou pravděpodobností může vést k tragické existenční katastrofě.  Kdyby tak lidé vynakládali na obranu před společnými riziky tolik, co vynakládají na obranu před cizími obranami! Jak užitečné by bylo morálně dospět, přestat válči...

Politici v současné době řeší, jak zmírnit tzv. energetickou krizi, při které jsou ceny zejména elektrické energie příliš vysoké. Mluví se o tom, že cena elektřiny se tvoří na burze. A i když futurologové mluví o tom, jak se cena elektřiny exponenciálně snižuje, ve skutečnosti před námi ještě stojí pár výzev, než se toto zlevňování projeví v praxi (po přechodu na exponenciální dráhu tedy však dojde ke skokovému zlevnění, protože exponenciální zlevňování již probíhá, jen se netýká spotřebitelů).  Cena elektřiny na burze vychází z ceny, za jakou vyrábí nejdražší elektrárna. Pokud levné elektrárny nestačí pokrýt spotřebu, prodává se energie z dražších elektráren atd. Ty levnější můžou zdražit, takže se cena dostane na úroveň nejdražší elektrárny.  Proč vyhrává nejdražší producent? Je to způsobené neskladností elektřiny. Kvůli ní existuje energetický mix, spousta typů elektráren, každá vyrábí za jinou cenu a s jinými charakteristikami. Kdyby pořád svítilo slunce, byly by jen solár...

S představením modelů jako GPT-3 a PaLM jsem si vždy vzpomněl na Kurzeilovu předpověď (AGI do roku 2029). (Kurzweil momentálně dokončuje knihu The Singularity Is Nearer, kterou už snad nedokončí, protože se ten svět mění tak rychle, že o tom nestíhá psát.) S každým takovým momentem pravděpodobně více lidí začalo věřit v její pravdivost. Zdá se, že všechno je, jak má být. Teď je další takový moment, kdy myslím na jeho předpověď. A mám chuť napsat, že 2029 se může nahradit současným rokem 2022.  DeepMind, část Googlu zaměřená na vývoj pokročilých AI, zveřejnil agenta GATO, agenta isnpirovaného velkými jazykovými modely. Tento agent zvládá množství různých úkolů: umí hrát Atari hry, chatovat, uchopovat předměty či popisovat fotky. Všech 604 úkonů zvládá jediná síť s jedinými vahami. Podle kontextu se rozhodne, zda pohybovat klouby, zobrazit text, mačkat tlačítka či dělat něco jiného.  Diskuze o AGI najednou získávají reálnější obrysy. Najednou můžeme AGI konkrétněji předpovídat, ...

Politici čas od času mluví o tom, že by rádi nechali zvětšit naše dvě jaderné elektrárny, Temelín a Dukovany. V tomto článku popíšu, proč je to hrozná hloupost, a nemělo by se to dělat.  Jsme ve starověkém Řecku. Naši učenci právě debatují o tom, zda postavit obrovské velkoměsto pro otroky. Ti jsou hlavním zdrojem energie, proto si možná zaslouží více investic. Práce bude trvat možná tisíce let a stát hromadu peněz, ale měla by se vyplatit. Mluví se o tom, že sníží naši závislost na okolních zemích. Odpůrci pořád mluví jen o nějakých možných problémech, ale měli by být přehlasováni veřejným zájmem. Kolem roku, jenž bude známý pod označením 2000, by mělo být vše hotové, výkonné, moderní.  Plány politiků jsou někdy krátkozraké. Když investují, připravují naši vlast na dobu, jež si pletou se současností. Jaké je řešení? Neinvestovat do současných technologií!  Cena jaderné elektrárny je vysoká. Další dva bloky Temelína budou stát 200 až 300 miliard Kč. Pro představu: výstavb...

Člověk se může často setkat s názorem, že ekonomický růst, o který všechny ekonomiky usilují, je neudržitelný. Stále více zatěžuje planetu a i tak bude muset brzy skončit, z čehož budou vyplývat problémy. Je to ale tak? Ukážeme si, že podle mě je ekonomický růst udržitelný možná i po nekonečně dlouhou dobu (tedy dokud nebude vesmír maximálně efektivně využitý). Samozřejmě by to nebylo možné pod starým paradigmatem ekonomie, které tvrdí, že zdroje jsou vzácné. To však rychle přestává platit. Zdrojů existuje prakticky neomezené množství a možnosti jejich organizace jsou zrovna tak neomezené. Tento potenciál bude postupně odemykán. Ekonomický růst se v průběhu času ukázal jako mimořádně stabilní jev. Exponenciální růst ekonomiky probíhá již desetitisíce let. Dokonce ani války či ekonomické recese růst nedokázaly zpomalit. Mohl se zastavit, ale po překonání určité krize byl růst po nějakou dobu o to rychlejší, takže se světová ekonomika vrátila tam, kde by nebýt krize měla být. Ve skuteč...

Nedávno jsem psal o tom, jak technologie zmenšují rozdíly mezi lidmi. Teď si v souvisejícím článku ukážeme, že technologický pokrok přináší nejen demokratizaci technologií, ale i demokratizaci světa.  Uveďme nejprve následující argument. Technologie jsou tím, co se na světě mění nejrychleji. Jsou rozdílem mezi starou a novou dobou. Zároveň ve světě roste demokracie. (Roste zejména od průmyslové revoluce, což byla technologická revoluce. Předtím demokracie skoro neexistovaly.) Vidím jako pravděpodobné, že růst demokracie ve světě je nějakým způsobem navázaný na růst technologie (klidně nepřímo). Minimálně tímto argumentem můžeme dokázat, že technologie dosud neměla moc demokratizaci zastavit.  Podíl demokratických zemí. Více než polovina zemí jsou nyní demokracie. Před průmyslovou revolucí to bylo několik procent.  Problém vlivu technologií na demokratizaci světa rozhodně není přímočarý. Podle mě je klíčová otázka, jak technologie distribuují moc. Tuto otázku vyřešíme podl...

Lidé obvykle mluví o tom, že se ve světě zvyšuje nerovnost mezi lidmi. Já zde nabídnu pohled, podle něhož se ve skutečnosti zvyšuje rovnost. Je pravda, že bohatí bohatnou rychleji než chudí. Zejména technologičtí vůdci, jako Elon Musk či Jeff Bezos v poslední době své bohatství zněkolikanásobili. (Není náhoda, že se takto daří právě majitelům technologických akcií.) Je také přirozené v záplavě špatných zpráv o světě nabýt dojmu, že se svět nejrůznějšími způsoby zhoršuje, a že tedy určitě chudí ještě více chudnou, snižuje se jejich rovnost a stávají se lidmi druhé kategorie.  Já zde však budu argumentovat, že díky důvodům jako je klesající význam peněz či klesající mezní užitek bohatých není důležitá finanční rovnost. Důležitější je rovnost kvality života, která se zvyšuje.  Děje se tak díky moderním technologiím, zejména těm digitálním. Často opakovaný vzorec je tzv. 6D, jež popsal Peter Diamandis. Ten říká, že důležitým stádiem v životě technologie (či služby, statku) je digi...

Máme tady zase událost, ke které se vyjadřuje spousta lidí. Nemá smysl opakovat klišé, ale podívejme se na souvislosti, o kterých se podle mě mluví příliš málo. 1) Kontext války Zasaďme si válku do kontextu všech válek ve světě, násilí, nejen na lidech, a dalších špatných událostí. Zajímejme se nejen o to, co je zrovna cool a v médiích, ale i o to, co nám samým přijde důležité. Počet zpráv nemusí být dobrým indikátorem důležitosti události. Možná, že tahle válka má story, má v roli agresora neoblíbené Rusko a je poměrně blízko k nám, ale jsou i další nepokoje, akty násilí a bezpráví, které jsou často myslím neprávem ignorované. 2) Kdo má pravdu?  Jedno říká ruský prezident, další zase ukrajinský, možná že v neutrální Číně se říkají zase úplně jiné věci. Podle Ruska padlo 500 vlastních vojáků, podle Ukrajiny jich bylo 9000. Podle Ruska jde vše podle plánu, podle dalších Rusko už prakticky prohrálo. Čemu máme věřit? Jistě moji čtenáři nejsou tak hloupí, aby si mysleli, že pravdu má v...

Máme tady další volby a zaručeně důležitá témata. Proto zase můžeme vídat všude kolem chytré pány v oblecích, kteří nás zaručeně zbaví korupce, sníží státní dluh, rozjedou investice nebo sníží inflaci.  V zákrytu tohoto existuje ještě jedno téma, které je důležité, ale o kterém se nemluví. Tohle jsou totiž volby, ve kterých navybíráme jenom zástupce, kteří budou řešit tradiční otázky, ale hlavně zástupce, kteří naši zemi povedou do budoucnosti. Jaká bude, to můžeme předpovídat, ale záleží to do velké míry na politicích. A v pátek a v sobotu máme jejich prostřednictvím možnost budoucnost ovlivnit. Tím tématem, o kterém se nemluví, je umělá inteligence.  Zvolení politici nás povedou do dalšího období, kdy umělá inteligence bude pronikat stále více do našich životů. Povedou nás obdobím, kdy budou výzkumníci dále zkoumat umělou inteligenci a přibližovat se svému cíli. Povedou nás obdobím, kdy bychom se měli připravovat na vládu umělé inteligence. Povedou nás úspěšně? Nebo je téma ...