Anthropic a plasat aproximativ șase ingineri în cadrul Agenției Naționale de Securitate pentru a ajuta la implementarea Mythos — cel mai capabil model AI al său — pentru operațiuni cibernetice ofensive, a raportat joi Financial Times.
Inginerii sunt personal detașat în avans, personalizând modelul pentru aplicații specifice. O sursă a declarat pentru FT că ar putea fi util pentru infiltrarea rețelelor în țări precum China și Iran.
Nu este confirmat dacă acești ingineri sunt implicați în operațiuni active. Ce este confirmat: Mythos este același model pe care Anthropic a refuzat să-l lanseze public, invocând riscul de utilizare abuzivă. Compania l-a limitat la parteneri verificați prin Project Glasswing – o coaliție restricționată care include Microsoft, Apple și Amazon.
Anthropic dă în judecată și Pentagonul. La sfârșitul lunii februarie, Secretarul Apărării Pete Hegseth a desemnat compania ca risc pentru lanțul de aprovizionare – o etichetă rezervată istoric adversarilor străini precum Huawei – după ce un contract de 200 de milioane de dolari s-a anulat. Punctul de divergență: Anthropic a refuzat să permită Departamentului Apărării să folosească Claude pentru arme complet autonome sau pentru supraveghere în masă internă. Contractul NSA a fost scutit de această interdicție.
Un judecător din California a blocat includerea pe lista neagră ca o aparentă retorsiune legată de Primul Amendament. O curte de apel din D.C. a respins cererea Anthropic de a o opri pe durata litigiului. NSA a continuat să folosească Mythos pe tot parcursul, conform raportării FT.
Cum să oprim AI care construiește AI
În aceeași zi în care a apărut știrea despre NSA, institutul de cercetare intern al Anthropic a publicat "When AI Builds Itself" (Când AI se construiește singură), o analiză a progreselor făcute de Claude în automatizarea propriei dezvoltări. În aceasta, compania pledează, în esență, pentru un moratoriu global în cursa înarmărilor AI – și chiar a comparat situația cu tratatele nucleare din Războiul Rece încheiate între Statele Unite și Rusia.
Pentru a înțelege de ce, compania a oferit acest context:
Claude scrie acum peste 80% din codul integrat în baza de cod a producției Anthropic – o creștere de la procente mici înainte de lansarea Claude Code la începutul anului 2025. Inginerii livrează aproximativ de opt ori mai mult cod pe zi decât în 2024.
Autorii raportului – Marina Favaro, șefa Anthropic Institute, și co-fondatorul Jack Clark – susțin că această traiectorie se îndreaptă către ceea ce ei numesc auto-îmbunătățire recursivă: sisteme AI care proiectează, construiesc și antrenează autonom propriii succesori, cu oamenii jucând un rol din ce în ce mai redus la fiecare pas.
Într-o reprezentare vizuală, cercetătorii prezintă o cronologie în care prima modalitate de a folosi AI la lucru este prin oameni care solicită computerului să obțină un rezultat, cu automatizări crescânde care se termină cu Agenți AI care solicită sub-agenți până când rezultatul este atins, fără implicarea oamenilor.
Cel mai relevant punct de date pe care îl citează: În aprilie, agenților Claude li s-a dat o problemă deschisă de siguranță a AI – dacă un model mai slab poate supraveghea în mod fiabil unul mai puternic – și au fost lăsați să o ruleze. Doi cercetători umani, pe parcursul a aproximativ o săptămână, au recuperat 23% din diferența de performanță dintre modele. Agenții au recuperat 97%, în peste 800 de ore cumulate de calcul. Oamenii au stabilit întrebarea. Agenții au proiectat fiecare experiment. Este primul caz publicat în care Claude a exercitat judecata de cercetare, nu doar a executat sarcini specificate de altcineva.
Aceasta este linia pe care Anthropic se teme să o depășească. Odată ce AI alege ce experimente merită rulate – nu doar le rulează – oamenii pierd ultimul rol semnificativ în ciclul de dezvoltare. Micile nealiniamente vizibile în modelele de astăzi s-ar putea agrava de-a lungul generațiilor auto-îmbunătățitoare până când nimeni nu le va mai putea corecta.
Soluția lor propusă este o pauză globală verificabilă – multiple laboratoare de frontieră oprindu-se simultan, cu verificare independentă că toată lumea s-a oprit într-adevăr. Anthropic a declarat că s-ar alătura uneia. O încetinire unilaterală, recunosc ei, doar oferă avantajul celui care a continuat.
Am mai văzut acest film. Laboratoarele care construiesc AI sunt aceleași care avertizează cât de periculoasă este AI. Cu toate acestea, AI este cea mai profitabilă afacere a deceniului, așa că nimeni nu vrea să se oprească – nici măcar cei care avertizează despre AI.
În 2023, peste o sută de nume mari din comunitatea de cercetare AI au semnat o scrisoare deschisă cerând un efort global pentru a atenua riscul de extincție pe care dezvoltarea AI îl implică intrinsec. Cu câteva luni înainte, o altă scrisoare deschisă a cerut OpenAI să întrerupă avansurile la ChatGPT din cauza naturii sale periculoase.
Nimeni nu s-a oprit după scrisoarea deschisă din 2023. Nici OpenAI. Nici Anthropic. Termenul limită al Pentagonului pentru a renunța la Claude din sistemele sale este în august, în jurul aceleiași perioade în care IPO-ul Anthropic este așteptat să-și facă publice finanțele.
