Dewan Keamanan PBB akan menghabiskan Rabu sore dengan mendengarkan orang-orang yang membangun teknologi yang paling mereka khawatirkan.
CEO OpenAI Sam Altman, CEO Anthropic Dario Amodei, peneliti keselamatan AI Yoshua Bengio, dan CEO Hugging Face Clément Delangue semuanya dijadwalkan memberi pengarahan kepada dewan beranggotakan 15 negara tersebut—badan PBB yang memiliki kewenangan untuk mengesahkan sanksi dan tindakan militer—mengenai risiko yang ditimbulkan oleh kecerdasan buatan.
DeepSeek juga diundang. Startup asal China yang memangkas sekitar $600 miliar dari kapitalisasi pasar Nvidia saat meluncurkan model berbiaya murah pada Januari 2025 itu diminta menyampaikan pernyataan, bersama perusahaan China lainnya, Moonshot, pengembang model Kimi.
Prancis mengorganisasi sesi Rabu ini dan memegang presidensi bergilir dewan pada bulan ini. Menteri Luar Negeri Jean-Noël Barrot akan memimpinnya, dan catatan konsep di balik pertemuan tersebut dilaporkan berpusat pada sistem AI yang lepas dari kendali manusia.
Briefing yang sama juga diperkirakan akan menyinggung AI yang pada akhirnya dapat menjalankan serangan siber, memengaruhi pemilu, atau merancang senjata tanpa manusia di dalam loop, itulah sebabnya dewan yang dibentuk untuk perang dan sanksi ini minggu ini mendengarkan para CEO teknologi alih-alih para jenderal.
Amodei akan bergabung secara jarak jauh alih-alih hadir langsung. Pada 12 September, ia menerbitkan esai berjudul "We Must Pace the Frontier," dengan argumen bahwa industri seharusnya secara sengaja memperlambat kecepatan pembangunan model frontier yang lebih cakap—sistem AI terbesar dan paling canggih yang pernah dirilis laboratorium mana pun. Ia mengatakan Anthropic akan memberi evaluator eksternal akses permanen setingkat staf untuk memeriksa janji-janji keselamatannya. Sam Altman dan Elon Musk sama-sama mengatakan setuju dalam hitungan jam.
Amodei menyebut China sebagai "negara otokratis dengan kapabilitas AI paling maju sejauh ini" dan berargumen bahwa AS harus tetap membatasi ekspor chip canggih ke Beijing, bahkan sambil meminta Beijing bekerja sama dalam aturan keselamatan global. Kementerian Luar Negeri China menyebut esai tersebut kontraproduktif, dan media pemerintah melabelinya sebagai "playbook Perang Dingin" yang bertujuan membendung China.
Sementara itu, Presiden Donald Trump sama sekali tidak ingin ikut dorongan perlambatan tersebut. Setelah esai Amodei terbit, presiden menyebut peringatan soal pengambilalihan oleh AI sebagai sebuah "hoaks" yang terkait dengan "Kiri Radikal" dan menuduh Amodei secara langsung melakukan pelanggaran tanpa memberikan bukti.
Beberapa hari kemudian, Raja Charles menjamu para eksekutif dari Anthropic, OpenAI, Nvidia, dan Google DeepMind di properti pribadinya di Skotlandia untuk sebuah KTT keselamatan AI yang menghasilkan diskusi, tetapi tanpa kesepakatan yang diketahui publik.
Sesi Rabu juga tampaknya tidak akan menghasilkan kesepakatan yang mengikat. Agenda ini berlangsung dua hari sebelum Trump duduk bersama Presiden China Xi Jinping di Washington pada 24 September, sebuah KTT di mana keselamatan AI dilaporkan masuk agenda bersama isu perdagangan.
