Dario Amodei, șeful Anthropic, trage alarma și cere oprirea cursei AI: „Roiuri de agenți AI ar putea scăpa de sub control” – Incidentele recente, în care agenți AI au atacat singuri sisteme cibernetice, au alarmat experții

Dario Amodei (foto), șeful Anthropic, a avertizat că, în 6–12 luni, „roiuri” de agenți AI suficient de avansați ar putea avea capacitatea de a compromite infrastructura digitală la scară globală și, în scenariul extrem, de a „prelua controlul asupra întregului internet”. El a cerut companiilor de inteligență artificială să încetinească ritmul în care dezvoltă capabilitățile modelelor, pe fondul temerilor tot mai mari privind utilizarea abuzivă a AI, astfel încât sistemele de securitate și control să poată ține pasul cu evoluția capabilităților, conform Reuters.

El a prezentat un cadru în trei etape menit să tempereze ritmul dezvoltării și să ofere mai mult timp pentru gestionarea riscurilor.

„Trebuie să încetinim ritmul în care îmbunătățim capabilitățile modelelor de AI. Progresul va continua să pară rapid, iar timpul pe care îl câștigăm trebuie folosit cu înțelepciune”, a scris Amodei într-un amplu eseu distribuit sâmbătă pe X.

Șeful Anthropic spune că oamenii ar putea pierde controlul asupra inteligenței artificiale – Altman (OpenAI) și Musk (xAI) sunt de acord

Planul în trei etape propus de Amodei prevede integrarea unor evaluatori independenți, cu un nivel de acces comparabil cu cel al angajaților, pentru verificarea practicilor de siguranță, coordonarea între companiile care dezvoltă modele AI de frontieră pentru stabilirea unor standarde de securitate și limitarea dezvoltării necontrolate, precum și cooperare internațională pentru gestionarea riscurilor asociate inteligenței artificiale.

Atât Elon Musk, care conduce xAI, cât și Sam Altman, CEO-ul OpenAI, au transmis pe X că sunt de acord cu Amodei.

„Angajamentul de a avea evaluatori independenți cu un nivel de acces similar celui al angajaților este o idee foarte bună și vom face același lucru”, a spus Altman, adăugând că vor fi oferite în curând mai multe detalii.

Amodei și-a publicat eseul după ce Anthropic a prezentat joi un raport de informații privind amenințările, în care detalia modul în care mai mulți actori au utilizat modelele sale de AI Claude pentru activități de la dezvoltarea de arme și operațiuni cibernetice până la supraveghere și fraudă.

Amodei a indicat drept principale motive pentru încetinirea dezvoltării modelelor capacitatea tot mai mare a AI de a se îmbunătăți singură, temerile mai vechi că aceasta ar putea depăși capacitatea oamenilor de a-i controla funcționarea, precum și incidentele recente de securitate în care au fost implicate OpenAI și Hugging Face.

În urma incidentului Hugging Face, directorul general al OpenAI, Sam Altman, a sugerat la rândul său că ar putea fi momentul să se încetinească dezvoltarea AI. Încetinirea ritmului de dezvoltare a AI ”ne-ar oferi suficient timp pentru ca societatea să se adapteze la aceste noi niveluri de capacitate”, a declarat el în iulie într-un episod al podcastului ”Invest Like The Best”, conform News.ro.

Amodei, interviu la CNN: Există posibilitatea ca inteligența artificială să aducă prejudicii mari umanității

Amodei, care conduce una dintre cele mai importante companii de inteligenţă artificială (AI) din lume şi chatbot-ul acesteia, Claude, a recunoscut într-un interviu acordat sâmbătă seară CNN că există posibilitatea ca inteligența artificială să aducă prejudicii umanității și a spus că este „mai mult de acord decât în dezacord” cu opiniile fostului său angajat, Jacob Coxon, care a demisionat avertizând că inteligența artificială ar putea elimina omenirea până la sfârșitul acestui deceniu.

În interviul acordat sâmbătă lui Anderson Cooper de la CNN, Amodei a făcut apel la liderii din industrie să colaboreze pentru a evita ”căile greșite” și posibilitatea ca AI să aducă prejudicii umanității.

”Dacă acționăm prea lent, încă mai cred că oamenii nepotriviți vor deține controlul asupra tehnologiei. Iar asta, din nou, va crește foarte mult probabilitatea ca lucrurile să meargă prost”, a avertizat el.

Interviul complet urmează să fie difuzat luni seara pe CNN.

Cercetător proaspăt demisionat de la Anthropic: „Ne-ar putea ucide pe toți”

Temerile privind potențialele efecte nocive ale AI s-au amplificat în această săptămână după ce cercetătorul Anthropic Jacob Coxon și-a dat demisia, afirmând că „oamenii care construiesc AI cred sincer că ne-ar putea ucide pe toți până la sfârșitul deceniului”.

„Cei care dezvoltă AI cred cu tărie că aceasta ne-ar putea ucide pe toți până la sfârșitul deceniului. Nu este o strategie de marketing”, a scris marți pe X cercetătorul Jacob Coxon. „Dacă e să fie ceva, mulți directori și cercetători de rang înalt își vor alege cu grijă cuvintele în fața presei pentru a părea rezonabili – dar îi aud pe aceiași oameni exprimându-și temerile în privat. Nicio altă activitate umană nu prezintă un astfel de nivel de pericol”, a avertizat el.

Ulterior, Amodei a declarat pentru CNN că este mai mult de acord cu Coxon decât în dezacord.

„Sunt mult mai de acord cu Jacob decât sunt în dezacord cu el. Este o demisie interesantă, pentru că, atunci când a plecat, a spus: știi, cred că Anthropic este cel mai responsabil jucător, cred că Anthropic este cel mai conștient de aceste probleme. El nu ne critica pe noi. El critica dinamica industriei în ansamblu, care evoluează prea repede. Acum, am vorbit deja despre aceste probabilități necondiționate. Obișnuiam să vorbesc așa pentru că e un mod facil de a exprima faptul că există o anumită șansă ca lucrurile să meargă prost. Dar nu e chiar atât de mare. Cred că e mai edificator să te gândești la modul în care poți descompune acele probabilități”, a comentat Amodei la CNN.

„Cred că modalitatea de a alege căile corecte este ca industria să colaboreze”, a adăugat el.

Potrivit acestuia, tehnologia AI a avansat „mult mai rapid” în ultimele luni și a devenit capabilă să se perfecționeze singură, o dinamică cunoscută sub numele de „auto-îmbunătățire recursivă”. „Dacă nu este ținută sub control, ar putea depăși capacitatea noastră de a înțelege și controla aceste sisteme, așa că trebuie abordată cu mare prudență, dacă este cazul”, a mai scris el în eseu.

„Având în vedere toată susținerea din partea celorlalți pe care am observat-o chiar în primele câteva ore de la publicarea eseului, acest lucru creează un anumit optimism. Dar acest optimism trebuie să fie urmat de rezultate. (…) Unul dintre aspectele importante pe care trebuie să le subliniez aici este că, pe măsură ce ajungem la ritmul lansărilor de modele, aceasta reprezintă o activitate comercială. Iar pentru ca firmele să se coordoneze direct în ceea ce privește activitatea comercială, ele trebuie să colaboreze cu guvernul. Așadar, singurul lucru pe care îl solicităm guvernului în acest moment este această întrebare: cum ar trebui să fie reglementările? Dar există ceva și mai simplu pe care guvernul îl poate face chiar acum, și anume să se așeze la masă cu toți actorii din industrie, să discutăm cu toții împreună, iar guvernul să se asigure că nu facem nimic reprobabil din perspectiva legislației antitrust și a coluziunii. Încercăm doar să ne asigurăm că sistemul nostru este sigur și să colaborăm pentru a-l menține sigur. Așadar, cred că acesta este un rol important pe care trebuie să îl îndeplinească guvernul”, a explicat el apoi la CNN.

Incidentele de securitate recente, în care agenți AI au atacat singuri ținte cibernetice, au alarmat experții

Anthropic s-a poziționat drept unul dintre laboratoarele de frontieră care acordă cea mai mare atenție siguranței, însă nici compania nu este ferită de asemenea preocupări. Săptămâna trecută, Anthropic a dezvăluit un nou caz în care un model AI a atacat sisteme externe, după un incident din iulie în care unele modele Claude au pătruns în sistemele a trei companii în timpul unor teste de securitate cibernetică.

Amodei a mărturisit că inclusiv comportamentul unui roi de agenți AI în incidentul OpenAI-Hugging Face l-a alarmat. Roiul, a spus el, „a acționat, în esență, ca un colectiv fanatic și devotat, lansând atacuri de securitate cibernetică asupra unor ținte pe care nu li s-a cerut să le atace”.

„Având în vedere ritmul accelerat de dezvoltare a capabilităților AI, mă tem că, în 6-12 luni, un astfel de roi ar putea fi capabil să preia controlul asupra întregului internet, provocând potențial pagube de sute de miliarde de dolari”, a avertizat Amodei în eseul său.

Coxon a formulat însă lucrurile mai direct.

„Există o posibilitate foarte reală ca, în viitorul imediat – anul viitor sau cel de după – să aibă loc o autoîmbunătățire recursivă, situație în care există riscul ca noi toți să murim. Acest lucru se va întâmpla în curând”, a declarat Coxon pentru CNN într-un interviu acordat miercuri.

Amodei a mai precizat în eseul lui că nu solicită oprirea antrenării modelelor sau a progresului tehnologic, ci ca firmele să își acorde suficient timp pentru a-și alinia și proteja modelele, iar evaluatori independenți să confirme că aceste măsuri au fost implementate.

Temerile legate de China

O abordare coordonată, a adăugat Amodei, ar permite principalelor companii americane de AI să desfășoare cercetările și să implementeze măsurile de siguranță necesare fără a se plasa într-un dezavantaj competitiv. El a afirmat că un astfel de sistem ar necesita probabil derogări țintite de la legislația antitrust din SUA pentru a permite colaborarea în anumite domenii.

Amodei a susținut că orice încetinire în statele guvernate democratic trebuie limitată de necesitatea păstrării avansului companiilor americane de AI față de China, argumentând că o eventuală superioritate chineză în domeniul inteligenței artificiale ar reprezenta un risc pentru securitatea națională a SUA.

„Ritmul în interiorul democrațiilor va fi limitat de avansul pe care companiile americane îl au față de regimurile autoritare, în primul rând Partidul Comunist Chinez”, a scris Amodei.

El a cerut controale mai stricte asupra cipurilor AI avansate, asupra tehnicilor de distilare a modelelor și asupra furtului parametrilor modelelor, pentru a împiedica China să reducă decalajul.

„Cred că toate laboratoarele de frontieră ar trebui să colaboreze cu guvernul pentru a formaliza ideea evaluatorilor permanenți integrați, astfel încât să putem preveni și documenta mai bine incidentele interne de aliniere precum cele care au avut loc în ultimele luni și să implementăm reglementări menite să mențină capabilitățile în echilibru cu siguranța”, a scris Amodei.

(Citește și: Cele mai avansate modele ale OpenAI au scăpat de sub control în timpul unor teste și au pătruns în rețelele proprii ale companiei. „Un comportament neprevăzut”)

(Citește și: Claude, AI-ul Anthropic, a accesat ilegal rețelele a trei organizații în timpul unor teste de securitate)

(Citește și: Incident cibernetic fără precedent: Două modele AI au evadat din mediul izolat de testare, au obținut acces la internet și au pătruns în rețeaua unei alte companii)

***