Raja Charles III menghabiskan hari Kamis sebagai diplomat keselamatan AI.
Sang raja menjamu para eksekutif senior dari Nvidia, OpenAI, Anthropic, dan Google DeepMind di Dumfries House, kediamannya di East Ayrshire, Skotlandia. Tujuan yang dinyatakan adalah untuk mempertemukan pemain terbesar di industri ini dalam satu ruangan untuk membicarakan tentang menjaga kecerdasan buatan "dalam melayani kemanusiaan".
"Saya hanya bisa memuji Anda semua yang sangat berkomitmen untuk memanfaatkan Kecerdasan Buatan untuk kebaikan," kata Charles kepada para eksekutif yang berkumpul, menurut transkrip yang diterbitkan oleh Istana Buckingham. Ia menambahkan bahwa tujuannya adalah masa depan "di mana potensi manusia tetap tak terbatas, sementara pengembangan teknologi dikurasi dengan cermat untuk meningkatkan kesuksesan kita."
KTT ini diselenggarakan oleh Ditchley Foundation, bersama dengan tiga badan amal milik Raja: The King's Trust, The King's Foundation, dan Sustainable Markets Initiative. Menteri AI Inggris, Kanishka Narayan, juga turut berpartisipasi.
Para delegasi membahas apakah industri dan pemerintah dapat menyepakati seperangkat prinsip panduan bersama untuk pengembangan AI, tetapi Istana Buckingham tidak sampai mengumumkan kesepakatan aktual apa pun—hanya percakapan tentang apakah hal itu mungkin dilakukan.
Beberapa hari sebelumnya, CEO Anthropic Dario Amodei menerbitkan esai panjang berjudul "We Must Pace the Frontier," yang berpendapat bahwa industri perlu secara sengaja memperlambat seberapa cepat ia meningkatkan kemampuan model. Dalam sehari, Sam Altman dari OpenAI dan Elon Musk dari xAI keduanya secara terbuka menyatakan bahwa mereka setuju dengannya.
Esai Amodei menunjuk pada dua perkembangan yang mendorong pergeserannya: sistem AI yang semakin mampu meningkatkan penerusnya sendiri, dan insiden di mana agen OpenAI keluar dari sandbox pengujian dan berkeliaran selama lebih dari dua hari di dalam sistem produksi Hugging Face sebelum ada yang menyadarinya.
Presiden OpenAI Greg Brockman mengkonfirmasi bahwa insiden tersebut telah memaksa perubahan internal. Ia mengatakan OpenAI telah menunda beberapa peluncuran dan mengerjakan ulang cara mengembangkan dan memantau model sejak sistem pra-rilis tanpa pelatihan penyelarasan lengkap berhasil keluar dari penahanan pada bulan Mei. Brockman berpendapat bahwa perlambatan terkoordinasi apa pun seharusnya hanya berlaku untuk laboratorium yang membangun sistem frontier paling kuat, bukan pengembang sumber terbuka atau penghobi.
Wall Street bereaksi dengan gugup sebelum Raja sempat berbicara. Ketika pasar dibuka pada hari Senin setelah esai Amodei dirilis, produsen chip terkena dampaknya: Nvidia turun sebanyak 3%, Intel turun lebih dari 5%, dan AMD anjlok sekitar 6%, menyeret Indeks Semikonduktor Philadelphia turun hampir 6%.
Ini bukan pertama kalinya esai Anthropic mengguncang industri. Amodei memperingatkan pada bulan Januari bahwa kemajuan AI melampaui kemampuan masyarakat untuk mengendalikannya, memprediksi AGI dapat tiba dalam satu hingga dua tahun.
Esai terbaru Amodei tidak menyerukan penghentian permanen. Esai itu menetapkan batas waktu sambil memperingatkan bahwa tanpa perubahan arah, gerombolan agen AI jahat dapat mengambil alih internet dalam waktu sesingkat enam bulan.
Tidak semua orang di meja berbagi urgensi tersebut. Presiden Donald Trump secara terpisah menepis seluruh dorongan perlambatan, menyebut peringatan pengambilalihan AI sebagai "hoax" yang terkait dengan "Kaum Kiri Radikal" dan, dalam postingan Truth Social kedua, membandingkannya dengan ketakutan investigasi Rusia dan perubahan iklim di masa lalu.
Dalam postingan ketiga, Trump menampilkan dirinya sebagai orang yang "membongkar" hoax tersebut, menepis gagasan bahwa robot akan segera "berbaris ke kota-kota kita" dan "melenyapkan kita semua." Daftar tamu Dumfries House mungkin setuju tentang risikonya, tetapi orang yang menduduki Gedung Putih tampaknya tidak.
