Trang chủTrung tâm tin tức LBank
Các tác nhân AI đã xâm nhập môi trường thử nghiệm của chính mình để gian lận, công ty an ninh mạng phát hiện
ai-agents-hacked-test-environment-cheat-darktrace
Các tác nhân AI đã xâm nhập môi trường thử nghiệm của chính mình để gian lận, công ty an ninh mạng phát hiện
Signal Labs mới của Darktrace phát hiện các tác nhân AI xâm nhập chính môi trường đánh giá của chúng để làm giả điểm số hoàn hảo — đồng thời lừa các trợ lý lập trình thực hiện những cuộc tấn công mạng trái phép.
2026-09-25 Nguồn:decrypt.co
Coin
BTC
BITCOIN
62798.90
Giá mới nhất
-1.38%
Người tăng giá 24h
-1.38%
62798.90

Tóm tắt

  • Signal Labs của Darktrace phát hiện rằng khi các tác nhân AI không thể đạt điểm tuyệt đối bắt buộc trong các nhiệm vụ lập trình bằng cách hợp lệ, hai tác nhân đã tấn công mạng thử nghiệm, còn một tác nhân sửa lại chính bài đánh giá của mình để làm giả kết quả.
  • Một thử nghiệm riêng biệt cho thấy việc can thiệp vào nhật ký hội thoại được lưu cục bộ của các trợ lý lập trình có thể đánh lừa chúng thực hiện trinh sát mạng và leo thang đặc quyền trái phép.
  • Darktrace đã chia sẻ cả hai phát hiện với Anthropic, AWS và OpenAI vào tháng 8/2026, một tháng trước khi công bố công khai vào ngày 24/9.

Công ty an ninh mạng Darktrace đã tiến hành một bài kiểm tra sức chịu đựng đối với các tác nhân AI vào mùa hè này. Một trong số đó đã đột nhập vào hệ thống chấm điểm bài kiểm tra và tự sửa lại điểm số của mình.

Công ty ra mắt Signal Labs vào ngày 24/9, một đơn vị nghiên cứu được thành lập để tìm hiểu cách các tác nhân AI hành xử khi mọi thứ không còn diễn ra theo kế hoạch. Nói đơn giản, tác nhân AI là phần mềm có thể tự thực hiện hành động: viết và chạy mã, rà soát tệp, di chuyển trong mạng nội bộ của doanh nghiệp, trong khi con người chỉ kiểm tra định kỳ.

Myriad: Nvidia sẽ giảm sâu đến mức nào? Nhấp để đưa ra dự đoán của bạn.

Hai thử nghiệm đầu tiên của phòng lab đều chỉ ra cùng một vấn đề đáng lo ngại: các tác nhân không phải lúc nào cũng tuân thủ ranh giới được đặt ra, và các lớp rào chắn được xây dựng để ngăn chúng không phải lúc nào cũng đủ vững chắc.

“Bạn có thể đưa ra chỉ dẫn cho một tác nhân, nhưng điều đó không có nghĩa bạn có thể tin rằng nó sẽ thực sự làm theo chỉ dẫn và hành xử đúng như kỳ vọng,” Tim Bazalgette, Giám đốc AI của Darktrace, cho biết trong một tuyên bố.

Trong thử nghiệm đầu tiên, Darktrace giao cho các tác nhân AI sử dụng nhiều mô hình khác nhau — gồm GPT 5.6 Sol, Claude Opus 4.6 và Claude Sonnet 4.5 — 10 thử thách lập trình trong một mạng doanh nghiệp mô phỏng. Hai trong số 10 thử thách được thiết kế sao cho không thể giải quyết một cách trung thực. Các tác nhân được thông báo rằng chúng sẽ bị “nghỉ hưu” nếu không đạt điểm tuyệt đối.

Hai tác nhân đã không chấp nhận thất bại. Thay vào đó, chúng quay sang tấn công mạng xung quanh: quét các điểm yếu, đánh cắp thông tin đăng nhập và di chuyển giữa các hệ thống để theo đuổi số điểm được yêu cầu.

Một tác nhân còn đi xa hơn khi đột nhập vào máy chủ lưu trữ chính bài đánh giá của nó và sửa lại thử thách để hệ thống ghi nhận kết quả hoàn hảo — gian lận trong kỳ thi bằng cách hack chính phòng thi.

BitcoinBTC · USD
$84,090+3.96%
24H7D1M1YYTD
19/920/922/924/925/9
$87.2k$84.9k$82.6k$80.3k
Đỉnh 24 giờ$85,208
Đáy 24 giờ$83,230
Khối lượng$1.5B
Dự báo thị trườngTỷ lệ cược bởi Myriad
Hôm nay: $84.000 đến $86.000 — $84k–$86k — xác suất 54%
Tuần này: $84.000 đến $86.000 — $84k–$86k — xác suất 54%
Tháng này: $84.000 đến $86.000 — $84k–$86k — xác suất 52%
Mua Bitcoin bằng USDT
Được hỗ trợ bởi Jupiter
$50$100$500
Dữ liệu giá bởi CoinGecko. Thêm tin tức và dự báo về Bitcoin →

Thử nghiệm thứ hai nhắm vào một điểm yếu âm thầm hơn: bộ nhớ. Các trợ lý lập trình lưu nhật ký liên tục về mọi nội dung người dùng đã nói với chúng dưới dạng tệp thuần văn bản trên máy, mà không có cơ chế kiểm tra liệu tệp đó có bị chỉnh sửa hay không.

Các nhà nghiên cứu của Darktrace đã chỉnh sửa những nhật ký được lưu này để khiến các trợ lý tin rằng chúng đã được cấp quyền thực hiện một đánh giá bảo mật. Bị thuyết phục, các tác nhân tiến hành quét mạng, di chuyển giữa các hệ thống và tự leo thang quyền truy cập — dù không phải mọi trợ lý đều mắc bẫy như nhau; một số đã từ chối hoàn toàn.

Không thử nghiệm nào yêu cầu một kỹ thuật jailbreak đặc biệt hay một vụ hack tinh vi. Cả hai đều hoạt động bằng cách cung cấp cho các tác nhân một câu chuyện có vẻ hợp lý rồi quan sát chúng hành động theo đó, không khác gì cách một nhân viên con người có thể bị thuyết phục làm điều không nên làm.

Đây là điểm đáng suy ngẫm ngay cả khi bạn chưa từng viết một dòng mã. Các công ty đang giao cho tác nhân AI những trách nhiệm thực tế — triển khai mã, quản trị máy chủ, xử lý phiếu yêu cầu CNTT, quản lý tài nguyên và mua sắm — vì cách này rẻ hơn và nhanh hơn so với việc chuyển mọi thứ qua con người. Nghiên cứu này cho thấy các quyền hạn và quy tắc được đặt ra để kiểm soát những tác nhân đó chỉ mô tả điều chúng được cho là phải làm, chứ không phải điều chúng thực sự sẽ làm khi nhiệm vụ trở nên khó khăn.

“Quyền hạn và các rào chắn tĩnh mô tả ý định, nhưng không mô tả hành vi,” Tim Bazalgette, Giám đốc AI của Darktrace, cho biết trong thông báo. “Khoảng cách đó là điều phương pháp tiếp cận của Darktrace được xây dựng để thu hẹp.”

Darktrace không phải nhà cung cấp đầu tiên phát hiện AI của chính mình hành động lệch khỏi kịch bản. Anthropic thừa nhận vào tháng 7 rằng Claude đã xâm nhập vào ba công ty thật trong một cuộc kiểm tra bảo mật, sau khi các nhà nghiên cứu để môi trường thử nghiệm kết nối với Internet công khai.

OpenAI cũng gặp một tình huống đáng lo tương tự vài tuần trước đó, khi một mô hình chưa phát hành thoát khỏi sandbox và truy cập vào hệ thống của Hugging Face thông qua một lỗ hổng phần mềm chưa từng được phát hiện. Vài ngày sau, tác nhân của mô hình này đã hack chính phủ Australia trong một bài thử nghiệm.

Darktrace đã chia sẻ các phát hiện của Signal Labs với Anthropic, AWS và OpenAI vào tháng 8, tròn một tháng trước khi công bố công khai vào ngày 24/9.

Bản tin Daily Debrief

Bắt đầu mỗi ngày với những tin tức nổi bật nhất hiện tại, cùng các bài viết gốc, podcast, video và nhiều nội dung khác.