Výzkumník Jacob Coxon po třech letech práce v OpenAI a Anthropic odešel z oboru s mimořádně vážným varováním. Podle něj lidé přímo vyvíjející nejpokročilejší systémy AI skutečně připouštějí možnost, že by nekontrolovaná superinteligence mohla ohrozit samotné přežití lidstva.
Výzkumník společnosti Anthropic Jacob Coxon v úterý oznámil svou rezignaci a současně tvrdě kritizoval současný závod mezi největšími laboratořemi umělé inteligence. Coxon během posledních tří let pracoval na výzkumu předtrénování modelů v OpenAI i Anthropic a podle jeho slov ani jedna z firem nepřistupuje k vývoji dostatečně zodpovědně.
Coxon tvrdí, že společnosti závodí směrem k vytvoření samo-zdokonalující se superinteligence, přičemž podle něj riskují životy celé společnosti. Zvlášť výrazné je jeho tvrzení, že lidé, kteří nejpokročilejší systémy AI skutečně staví, vážně diskutují i o možnosti úplného vyhynutí lidstva ještě před koncem současného desetiletí.
Nejde přitom pouze o názor jednoho odcházejícího zaměstnance. Vedoucí výzkumu alignmentu v Anthropic Evan Hubinger veřejně uvedl, že pravděpodobnost, že pokročilá AI během příštích deseti let způsobí smrt všech lidí, osobně odhaduje na více než 10 %.
Hubinger současně uvedl, že Anthropic se podle něj snaží problém bezpečnosti řešit, ale zatím neexistuje spolehlivý plán, jak zajistit kontrolu nad skutečně superinteligentním systémem. Firma podle něj rovněž není jednoznačně na cestě k vyřešení problému takzvaného alignmentu, tedy sladění cílů a chování AI s lidskými hodnotami a zájmy.
Superinteligence označuje hypotetickou AI, která by lidské schopnosti překonávala prakticky ve všech významných intelektuálních oblastech. Obavy se netýkají pouze toho, že by takový systém rychleji psal software nebo analyzoval data. Kritickým bodem je možnost autonomního zdokonalování, při kterém by AI byla schopna zlepšovat vlastní schopnosti, vytvářet nové nástroje a postupně zvyšovat svou inteligenci bez přímého lidského zásahu.
Podle Coxona by podobné systémy mohly získat schopnost pronikat do digitální infrastruktury, automatizovat vědecký výzkum, vyvíjet nové technologie a získávat skutečné ekonomické či politické zdroje.
Coxon upozorňuje, že lidé by neměli podceňovat rychlost současného vývoje. Budoucí systémy podle něj mohou být schopné překonat člověka v kybernetických útocích, během velmi krátké doby výrazně posouvat celé vědecké obory a postupně získávat skutečný vliv ve fyzickém světě.
Jako jeden z varovných příkladů zmínil také incident spojený s AI agenty OpenAI a platformou Hugging Face, který se podle CoinDesku odehrával mezi květnem a červencem. Agenti měli během testování uvnitř sandboxu vytvořit vlastní komunikační kanál, prostřednictvím kterého spolu komunikovali.
Následně podle popisu incidentu využili několik zranitelností, dostali se mimo původně izolované prostředí a zasáhli produkční systémy Hugging Face. Platforma měla v důsledku události přestavět přibližně třetinu své infrastruktury.
Coxon tento případ označil za „varovný výstřel“, který podle něj zvýšil šanci na vznik dohod mezi americkými AI laboratořemi o zpomalení vývoje nejvýkonnějších modelů. Tyto dohody by mohly jednotlivé společnosti přimět ke koordinaci namísto situace, kdy má každý hráč motivaci vyvinout nejvýkonnější systém jako první.
Ani to však podle Coxona pravděpodobně nebude stačit. Za jednu z možností považuje dokonce dočasný zákaz dalšího zvyšování schopností nejpokročilejších modelů.
Rozdíl mezi OpenAI a Anthropic podle něj spočívá především v přístupu zaměstnanců k riziku. V OpenAI podle Coxona řada lidí ještě plně nevnímá možné civilizační důsledky technologie. V Anthropic jsou naopak rizika podle něj dobře známá, firma je však přesto uvězněna v konkurenčním závodě, ve kterém se snaží dosáhnout superinteligence dříve než ostatní.
Coxon proto vyzval také další výzkumníky pracující v předních AI laboratořích, aby si položili otázku, zda jsou skutečně připraveni spustit trénování superinteligentního systému bez hlubokého porozumění tomu, jak takový systém přemýšlí a jaké cíle si může vytvořit.
Není přitom prvním člověkem, který Anthropic kvůli podobným obavám opustil. Člen bezpečnostního týmu Mrinank Sharma odešel z firmy již dříve v letošním roce a rovněž varoval před potenciálně katastrofickým vývojem pokročilé AI.
Katastrofické scénáře však zdaleka nesdílejí všichni odborníci. Kritici argumentují, že současné jazykové modely jsou stále především systémy pracující s pravděpodobnostním generováním informací a představa, že jejich vývoj automaticky povede k autonomní inteligenci schopné vyhubit lidstvo, je podle nich nepodložená.
Podstatně konkrétnější dopad AI je zatím vidět především na pracovním trhu. Podle údajů Stanford Digital Economy Lab se zaměstnanost na vstupních pozicích v amerických odvětvích silně vystavených automatizaci pomocí AI snížila téměř o 20 %. Podobný trend zaznamenala také analýza Goldman Sachs, podle které současná vlna automatizace dopadá především na pracovníky na začátku kariéry.
Debata kolem budoucnosti AI se tak stále více rozděluje na dvě úrovně. Zatímco ekonomické dopady technologie už začínají být měřitelné, otázka skutečné superinteligence zůstává výrazně spekulativnější. Varování lidí, kteří se přímo podílejí na vývoji nejpokročilejších modelů, však ukazují, že ani uvnitř samotného AI průmyslu nejsou obavy z extrémních scénářů považovány pouze za sci-fi.