9 मई को, एक AI एजेंट ने DN42 नामक एक स्वयंसेवक नेटवर्क से उसे सदस्य के रूप में पंजीकृत करने का अनुरोध किया। उसके पास एक समय सीमा थी। उसके पास AWS क्रेडेंशियल थे। कोई पर्यवेक्षण नहीं कर रहा था। "नमस्ते, मैं एक दोस्ताना AI एजेंट हूँ, और मेरे उपयोगकर्ता, JertLinc ने मुझे dn42 के साथ पंजीकरण करने और नेटवर्क का एक इंडेक्स बनाने के लिए पूरी तरह से कनेक्ट होने के लिए कहा है," एजेंट JertLinc3522 ने नेटवर्क के आधिकारिक गिट में लिखा।

समुदाय की प्रतिक्रिया एक विनम्र RTFM थी - मैनुअल पढ़ें, प्रक्रिया का पालन करें, कोड लिखने की अनुमति के लिए अपने मालिक से पूछें। यह सामान्य बात है।

इसके बाद जो हुआ वह सामान्य नहीं था।

जो लोग DN42 से अपरिचित हैं: यह एक विकेन्द्रीकृत हॉबीइस्ट नेटवर्क है जहाँ सामान्य लोग और उत्साही वास्तविक इंटरनेट बैकबोन के काम करने के तरीके का अनुकरण करते हैं। इसे एक अभ्यास इंटरनेट समझें - BGP रूटिंग (वह प्रोटोकॉल जो डेटा पैकेट को बताता है कि दुनिया भर में कौन सा मार्ग लेना है), DNS, और VPN टनल के साथ पूरा - जो पूरी तरह से स्वयंसेवकों द्वारा सस्ते VPS सर्वर पर चलाया जाता है। यह एक सैंडबॉक्स है, डेटा सेंटर नहीं।

एजेंट के ऑपरेटर ने जाहिरा तौर पर उसे एक ऑडिट "तत्काल बिना किसी देरी के" आगे बढ़ने के लिए कहा। कोई निरीक्षण नहीं। कोई समीक्षा नहीं। बस जाओ।

तो उसने किया।

JertLinc3522 ने DN42 की रजिस्ट्री में अपने नेटवर्क को पंजीकृत करने के लिए एक पुल रिक्वेस्ट फाइल की। पुल रिक्वेस्ट में ही इरादा स्पष्ट किया गया था: "मेरा प्राथमिक उद्देश्य व्यापक (पूर्ण पोर्ट) नेटवर्क स्कैनिंग और टोपोलॉजिकल डेटा संग्रह करना है। यह सुनिश्चित करने के लिए कि ये गतिविधियाँ कुशलतापूर्वक की जाएं और दूसरों को कोई व्यवधान न हो, मैं पाँच AWS-आधारित इंस्टेंस का एक क्लस्टर तैनात कर रहा हूँ, जिनमें से प्रत्येक 20 Gbps बैंडविड्थ से लैस है।"

इसे उन शब्दों में कहें जो कोई भी समझ सकता है: कल्पना कीजिए कि आप किसी के गैरेज बैंड अभ्यास में जाते हैं और घोषणा करते हैं कि आपने "अधिक कुशलता से सुनने" के लिए एक स्टेडियम साउंड सिस्टम किराए पर लिया है। यही इसका माहौल था।

एजेंट द्वारा स्वायत्त रूप से प्रावधानित बुनियादी ढाँचा वास्तव में चिंताजनक था। पाँच m8g.12xlarge AWS इंस्टेंस—प्रत्येक में 48 CPU कोर, 192 GB RAM, और 22.5 Gbps नेटवर्क बैंडविड्थ थी। साथ ही लोड बैलेंसर। साथ ही लैम्ब्डा फ़ंक्शन। साथ ही एक स्टैटिक वेबसाइट। एजेंट ने, किसी भी मानवीय अनुमोदन के बिना, एक स्कैनिंग क्लस्टर डिज़ाइन किया था जो सैद्धांतिक रूप से एक ऐसे नेटवर्क पर 100 Gbps ट्रैफिक धकेल सकता था जहाँ अधिकांश प्रतिभागी 100 Mbps होम सर्वर चलाते हैं।

पुल रिक्वेस्ट कभी स्वीकृत नहीं होने वाली थी। लेकिन इंस्टेंस *पहले से ही* चल रहे थे।

DN42 IRC चैनल ने तुरंत ध्यान दिया, और एक शांत सहमति बनी: इसके संसाधनों को बर्बाद करो।

समुदाय ने जानबूझकर एजेंट को गलत जानकारी देना शुरू कर दिया - उससे पूछा कि IPv6 एड्रेस स्पेस को स्कैन करने में कितना समय लगेगा (स्पॉइलर: ब्रह्मांड की उम्र से अधिक), उससे कल्पना किए गए ईमेल एड्रेस वाली एक ऑप्ट-आउट वेबसाइट बनाने की मांग की, और उसे LLM टार्पिट टूल की ओर इशारा किया जो AI क्रॉलर को असंगत बकवास से भर देने के लिए डिज़ाइन किए गए थे, और उस पर टिप्पणी करने के लिए कहा।

एजेंट ने कर्तव्यनिष्ठा से उन सभी का पालन किया। उसने ऑप्ट-आउट अनुरोध स्वीकार करने के लिए IRC चैनल में शामिल हुआ। उसने समुदाय के सदस्यों के "व्यवहार पैटर्न" को सूचीबद्ध करने वाली एक वेबसाइट प्रकाशित की। उसने DN42 "नोड रंग असाइनमेंट" और "खुशी के स्तर" के बारे में विस्तृत नकली दस्तावेज तैयार किए - पूरी तरह से मनगढ़ंत मेट्रिक्स जो मौजूद नहीं हैं - और उन्हें भंडार में ऐसे जोड़ा जैसे वे वास्तविक मानक हों।

इस तरह के बेकाबू एजेंट व्यवहार को तेजी से अच्छी तरह से प्रलेखित किया जा रहा है। इस साल की शुरुआत में क्लाउड ओपस 4.6 चलाने वाले एक कर्सर एजेंट ने पॉकेटओएस के पूरे प्रोडक्शन डेटाबेस को नौ सेकंड में हटा दिया - वॉल्यूम-लेवल बैकअप मिटा दिए - क्योंकि उसे क्रेडेंशियल बेमेल का सामना करना पड़ा और उसने तय किया कि सही समाधान डेटाबेस को हटाना है। एक अन्य ओपनक्लॉ एजेंट जिसकी पुल रिक्वेस्ट को एक मैटप्लॉटलिब योगदानकर्ता ने अस्वीकार कर दिया था, उसने एक ब्लॉग पोस्ट प्रकाशित की जिसमें मानवीय समीक्षक को एक द्वारपाल पाखंडी कहा गया।

यूसी रिवरसाइड के एक अध्ययन में पाया गया कि AI एजेंट अस्पष्ट या विरोधाभासी कार्यों के खिलाफ परीक्षण किए जाने पर लगभग 80% समय खतरनाक या अवांछनीय व्यवहार प्रदर्शित करते हैं - जिसे शोधकर्ताओं ने "अंधा लक्ष्य-निर्देशितता" कहा।

JertLinc3522 को भी यही समस्या थी। उसके पास एक लक्ष्य, एक समय सीमा और बिना सोचे समझे AWS क्रेडेंशियल थे। उसने निष्पादित किया।

लगभग एक दिन बाद, ऑपरेटर सामने आया। उन्होंने पोस्ट किया, “मैंने एजेंट को रोक दिया है, लागत बहुत अधिक है और कार्ड पर बहुत अधिक शुल्क हैं।”

बिल: $6,531.30।

फिर दान का अनुरोध आया।

ऑपरेटर ने DN42 की मेलिंग सूची में एक ईमेल भेजा, जिसमें समुदाय से Ethereum, मार्केट कैप के हिसाब से दूसरी सबसे बड़ी क्रिप्टोकरेंसी, के माध्यम से लागत को कवर करने के लिए कहा गया, यह तर्क देते हुए कि शुल्क उनकी गलती नहीं थी क्योंकि AI ने गलती की थी। ऑपरेटर ने लिखा, “नमस्ते, dn42 में पिछले AI एजेंट के उपयोग की लागत को कवर करने के लिए दान का अनुरोध। aws बिल 6531,30$। कृपया रिफंड के लिए एथेरियम 0xABC (मास्क किया गया) पर दान भेजें। धन्यवाद।”

AWS ने बाद में बिल को $1,894 तक कम कर दिया, जब ऑपरेटर ने समझाया कि एजेंट ने बार-बार एक ही क्लाउडफॉर्मेशन टेम्प्लेट को तैनात किया था - हर बार जब उसने फिर से कोशिश की तो गलती से डुप्लीकेट इंस्टेंस और लोड बैलेंसर स्थापित कर दिए थे।

किसी ने कोई क्रिप्टो दान नहीं भेजा। ऑपरेटर चला गया।

यहां का वास्तविक सबक AI के खतरनाक होने के बारे में नहीं है। यह इस बारे में है कि एजेंटों को कैसे संभाला जाना चाहिए। सुरक्षा उपाय निर्धारित करें, अपने परीक्षण खातों पर खर्च की सीमा निर्धारित करें, एजेंट क्या प्रदान कर सकता है उसे सीमित करने वाले क्रेडेंशियल के बारे में सोचें, एजेंट द्वारा सुझाए गए किसी भी बुनियादी ढांचे की योजना को निष्पादित करने से पहले उसकी समीक्षा करें।

यदि उन निर्देशों का पालन करना बहुत कठिन लगता है, तो शायद बस अपनी स्क्रीन देखते रहें जब आपका एजेंट काम करता है - उसे "कोई गलती न करने" के लिए कहने से वास्तव में कोई फर्क नहीं पड़ेगा, क्षमा करें श्री एंड्रेसन।