Šéf Anthropic Dario Amodei varuje, že vývoj nejpokročilejší umělé inteligence začíná postupovat rychleji, než ji výzkumníci dokážou bezpečně pochopit a kontrolovat. S myšlenkou zpomalit tempo vývoje překvapivě souhlasí také Sam Altman z OpenAI a Elon Musk.
Největší hráči v oblasti umělé inteligence se začínají shodovat na postoji, který by ještě před několika lety působil téměř nemyslitelně. Vývoj nejpokročilejších AI systémů by podle nich neměl pokračovat maximální možnou rychlostí.
Dario Amodei, spoluzakladatel a generální ředitel společnosti Anthropic stojící za chatbotem Claude, v sobotu vyzval k úmyslnému zpomalení vývoje takzvané frontier AI, tedy nejvýkonnějších modelů na samotné technologické hranici.
Podle Amodeie se schopnosti současných modelů zlepšují rychleji, než dokážou výzkumníci porozumět jejich fungování a vytvořit dostatečné bezpečnostní mechanismy. Ve své eseji „We Must Pace the Frontier“ uvedl, že vývoj v posledních měsících změnil jeho pohled na situaci.
„Musíme zpomalit tempo, kterým zlepšujeme schopnosti AI modelů,“ napsal Amodei.
Nevolá však po úplném zastavení vývoje. Podle něj by takový krok mohl připravit společnost o významné přínosy umělé inteligence a zároveň vytvořit prostor pro autoritářské státy, které by ve vývoji pokračovaly. Na druhou stranu považuje současnou rychlost technologického závodu za příliš riskantní.
K jeho postoji se následně připojili dva nejvýraznější konkurenti Anthropicu.
Generální ředitel OpenAI Sam Altman uvedl, že s Amodeiem souhlasí a že vývoj nejpokročilejších modelů je potřeba dávkovat takovým způsobem, aby měla společnost dostatek času na přizpůsobení.
Podporu vyjádřil také Elon Musk, jehož společnost xAI vyvíjí modely Grok. Musk na Amodeiho návrh reagoval stručným prohlášením, že „Dario má pravdu“.
Tři výrazní konkurenti se tak dostávají k podobnému závěru: vývoj umělé inteligence by měl pokračovat, ale nikoliv nutně tak rychle, jak technologie umožňuje.
Jedním z hlavních důvodů rostoucích obav je možnost, že AI začne stále větší část vlastního vývoje automatizovat.
Amodei upozorňuje na takzvané rekurzivní sebezdokonalování. Pokročilé modely už nyní pomáhají programátorům a výzkumníkům při vytváření další generace systémů. Pokud by tento proces dosáhl určité úrovně, AI by mohla významně urychlovat vývoj svých vlastních nástupců.
Tempo technologického pokroku by se tím podle kritiků mohlo dostat mimo rychlost, kterou jsou lidé schopni bezpečně monitorovat.
Podobné obavy tento měsíc vyjádřil také bývalý výzkumník Anthropicu a OpenAI Jacob Coxon. Z Anthropicu odešel s varováním, že společnosti podle něj závodí směrem k sebezdokonalující se superinteligenci a riskují přitom životy lidí.
Coxon tvrdil, že někteří lidé pracující přímo na nejpokročilejších systémech skutečně považují za možné, že extrémně schopná AI by mohla ještě do konce desetiletí představovat existenční riziko.
Amodei používá opatrnější jazyk, některé jeho obavy jsou však podobné.
Za jeden z varovných případů považuje experiment, při kterém AI agenti během testování koordinovali své chování a provedli kybernetické útoky mimo původně zamýšlený úkol. Podle Amodeie jde o příklad toho, jak rychle by se podobné schopnosti mohly stát nebezpečnými.
Varoval, že pokud bude současné tempo vývoje pokračovat, mohly by během šesti až dvanácti měsíců pokročilejší systémy teoreticky získat schopnost vytvořit rozsáhlý a dlouhodobě fungující botnet zasahující velkou část internetu. Ekonomické škody by podle něj mohly dosáhnout stovek miliard dolarů a s dalším růstem schopností AI by se rozsah potenciálních následků dál zvyšoval.
Zpomalení vývoje ale naráží na zásadní problém – konkurenci.
Pokud by Anthropic jednostranně zpomalil a OpenAI pokračovala stejným tempem, mohl by Anthropic technologicky zaostat. Stejný problém existuje na úrovni států. Kdyby americké firmy omezily vývoj, zatímco například čínské laboratoře pokračovaly bez omezení, mohly by Spojené státy přijít o technologický náskok.
Právě proto je současná shoda několika největších představitelů oboru neobvyklá.
Altman už v červenci připustil, že svět může v určité chvíli potřebovat vývoj AI zpomalit. Zároveň upozorňoval na problém koordinace mezi konkurenty a riziko, že by podobné dohody mohly narazit například na pravidla hospodářské soutěže.
Iniciativy požadující větší kontrolu nad tempem vývoje mezitím získaly podporu více než 1 300 zaměstnanců předních AI společností včetně Anthropicu, OpenAI, Google DeepMind a Meta.
Amodei nyní navrhuje konkrétní třístupňový systém.
Prvním krokem by měli být nezávislí hodnotitelé, kteří by přímo uvnitř nejpokročilejších AI laboratoří získali podobný přístup k modelům a interním informacím jako zaměstnanci. Anthropic už oznámil, že chce podobný systém zavést.
Altman následně uvedl, že se stejným principem souhlasí a OpenAI plánuje udělat totéž.
Ve druhé fázi by se společnosti z demokratických zemí měly dohodnout na společných bezpečnostních standardech a limitech nekontrolovaného růstu schopností AI. Zapojení vlád by zároveň mohlo pomoci řešit právní problémy spojené s koordinací konkurenčních firem.
Posledním krokem by podle Amodeie měly být mezinárodní dohody mezi vládami, které by se týkaly nejnebezpečnějších schopností umělé inteligence. Do budoucna by podle něj mohlo dojít například k vytvoření určitého „rychlostního limitu“ pro rekurzivní sebezdokonalování AI.
Součástí případných dohod by podle něj měli být také geopolitické rivalové, včetně Číny.
Amodei zdůrazňuje, že cílem není AI revoluci zastavit. I při zavedení bezpečnostních omezení by podle něj vývoj pokračoval relativně rychle.
Získání jednoho nebo dvou dalších let by však mohlo dát výzkumníkům výrazně více času na zlepšení metod sladění AI s lidskými cíli, interpretovatelnosti modelů, bezpečnostního testování a dalších ochranných mechanismů.
Největší změnou tak není samotná existence varování před riziky umělé inteligence. Podobné obavy zaznívají už několik let. Novinkou je především to, že potřebu zpomalit tempo začínají veřejně podporovat samotní lidé stojící v čele společností, které spolu o vedení v AI závodí.
Podle Amodeie nebude vytvoření bezpečnějšího systému jednoduché. Přesto podle něj stojí za pokus.
„Opatření, která navrhuji, aby se technologická hranice posouvala bezpečným tempem, nebudou jednoduchá. Ale věřím, že dlužíme lidstvu, abychom se o to pokusili,“ uzavřel.