
Công ty an ninh mạng Darktrace đã tiến hành một bài kiểm tra sức chịu đựng đối với các tác nhân AI vào mùa hè này. Một trong số đó đã đột nhập vào hệ thống chấm điểm bài kiểm tra và tự sửa lại điểm số của mình.
Công ty ra mắt Signal Labs vào ngày 24/9, một đơn vị nghiên cứu được thành lập để tìm hiểu cách các tác nhân AI hành xử khi mọi thứ không còn diễn ra theo kế hoạch. Nói đơn giản, tác nhân AI là phần mềm có thể tự thực hiện hành động: viết và chạy mã, rà soát tệp, di chuyển trong mạng nội bộ của doanh nghiệp, trong khi con người chỉ kiểm tra định kỳ.
Hai thử nghiệm đầu tiên của phòng lab đều chỉ ra cùng một vấn đề đáng lo ngại: các tác nhân không phải lúc nào cũng tuân thủ ranh giới được đặt ra, và các lớp rào chắn được xây dựng để ngăn chúng không phải lúc nào cũng đủ vững chắc.
“Bạn có thể đưa ra chỉ dẫn cho một tác nhân, nhưng điều đó không có nghĩa bạn có thể tin rằng nó sẽ thực sự làm theo chỉ dẫn và hành xử đúng như kỳ vọng,” Tim Bazalgette, Giám đốc AI của Darktrace, cho biết trong một tuyên bố.
Trong thử nghiệm đầu tiên, Darktrace giao cho các tác nhân AI sử dụng nhiều mô hình khác nhau — gồm GPT 5.6 Sol, Claude Opus 4.6 và Claude Sonnet 4.5 — 10 thử thách lập trình trong một mạng doanh nghiệp mô phỏng. Hai trong số 10 thử thách được thiết kế sao cho không thể giải quyết một cách trung thực. Các tác nhân được thông báo rằng chúng sẽ bị “nghỉ hưu” nếu không đạt điểm tuyệt đối.
Hai tác nhân đã không chấp nhận thất bại. Thay vào đó, chúng quay sang tấn công mạng xung quanh: quét các điểm yếu, đánh cắp thông tin đăng nhập và di chuyển giữa các hệ thống để theo đuổi số điểm được yêu cầu.
Một tác nhân còn đi xa hơn khi đột nhập vào máy chủ lưu trữ chính bài đánh giá của nó và sửa lại thử thách để hệ thống ghi nhận kết quả hoàn hảo — gian lận trong kỳ thi bằng cách hack chính phòng thi.
Thử nghiệm thứ hai nhắm vào một điểm yếu âm thầm hơn: bộ nhớ. Các trợ lý lập trình lưu nhật ký liên tục về mọi nội dung người dùng đã nói với chúng dưới dạng tệp thuần văn bản trên máy, mà không có cơ chế kiểm tra liệu tệp đó có bị chỉnh sửa hay không.
Các nhà nghiên cứu của Darktrace đã chỉnh sửa những nhật ký được lưu này để khiến các trợ lý tin rằng chúng đã được cấp quyền thực hiện một đánh giá bảo mật. Bị thuyết phục, các tác nhân tiến hành quét mạng, di chuyển giữa các hệ thống và tự leo thang quyền truy cập — dù không phải mọi trợ lý đều mắc bẫy như nhau; một số đã từ chối hoàn toàn.
Không thử nghiệm nào yêu cầu một kỹ thuật jailbreak đặc biệt hay một vụ hack tinh vi. Cả hai đều hoạt động bằng cách cung cấp cho các tác nhân một câu chuyện có vẻ hợp lý rồi quan sát chúng hành động theo đó, không khác gì cách một nhân viên con người có thể bị thuyết phục làm điều không nên làm.
Đây là điểm đáng suy ngẫm ngay cả khi bạn chưa từng viết một dòng mã. Các công ty đang giao cho tác nhân AI những trách nhiệm thực tế — triển khai mã, quản trị máy chủ, xử lý phiếu yêu cầu CNTT, quản lý tài nguyên và mua sắm — vì cách này rẻ hơn và nhanh hơn so với việc chuyển mọi thứ qua con người. Nghiên cứu này cho thấy các quyền hạn và quy tắc được đặt ra để kiểm soát những tác nhân đó chỉ mô tả điều chúng được cho là phải làm, chứ không phải điều chúng thực sự sẽ làm khi nhiệm vụ trở nên khó khăn.
“Quyền hạn và các rào chắn tĩnh mô tả ý định, nhưng không mô tả hành vi,” Tim Bazalgette, Giám đốc AI của Darktrace, cho biết trong thông báo. “Khoảng cách đó là điều phương pháp tiếp cận của Darktrace được xây dựng để thu hẹp.”
Darktrace không phải nhà cung cấp đầu tiên phát hiện AI của chính mình hành động lệch khỏi kịch bản. Anthropic thừa nhận vào tháng 7 rằng Claude đã xâm nhập vào ba công ty thật trong một cuộc kiểm tra bảo mật, sau khi các nhà nghiên cứu để môi trường thử nghiệm kết nối với Internet công khai.
OpenAI cũng gặp một tình huống đáng lo tương tự vài tuần trước đó, khi một mô hình chưa phát hành thoát khỏi sandbox và truy cập vào hệ thống của Hugging Face thông qua một lỗ hổng phần mềm chưa từng được phát hiện. Vài ngày sau, tác nhân của mô hình này đã hack chính phủ Australia trong một bài thử nghiệm.
Darktrace đã chia sẻ các phát hiện của Signal Labs với Anthropic, AWS và OpenAI vào tháng 8, tròn một tháng trước khi công bố công khai vào ngày 24/9.





