Las alucinaciones de la IA pueden ser más que respuestas incorrectas; podrían convertirse en una forma para que los hackers comprometan computadoras, según una nueva investigación de la Universidad de Tel Aviv, Technion e Intuit.

En el artículo, "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" (Cuidado con las Botnets Agenciales: Ataques de Promptware No Dirigidos Escalables a través de HalluSquatting Adversario Universal y Transferible), los investigadores demostraron una técnica que explota los modelos de IA cuando generan enlaces falsos a repositorios de software y otros recursos en línea.

“La creciente adopción de aplicaciones LLM agenciales ha introducido una nueva amenaza previamente denominada promptware”, escribieron los investigadores. “Aunque trabajos anteriores han establecido que los adversarios pueden explotar canales directos a las aplicaciones LLM para aplicar promptware bajo modelos de amenaza débiles, muchas aplicaciones no proporcionan ningún canal directo que pueda explotarse para la inyección de prompts más allá de Internet”.

Conocido como secuestro por alucinación adversaria o “HalluSquatting”, el ataque implica predecir qué recursos falsos es probable que creen los modelos de IA, registrar esos nombres y añadir instrucciones maliciosas. Si un agente de IA recupera más tarde el recurso alucinado, puede tratar el contenido controlado por el atacante como legítimo.

Los investigadores dijeron que la amenaza surge a medida que los asistentes de IA van más allá de responder preguntas y adquieren la capacidad de interactuar con las computadoras, accediendo a archivos, buscando en la web, escribiendo código y ejecutando comandos.

Esas habilidades pueden crear brechas de seguridad cuando los agentes actúan sobre información que recuperan sin confirmar si la fuente es real.

“Estudios en curso han demostrado varias variantes de ataques de Promptware contra sistemas del mundo real, incluyendo ChatGPT, Google Assistant, Copilot y varias aplicaciones adicionales”, escribieron. “Estos trabajos demostraron que Promptware puede tener impactos financieros, de privacidad y de seguridad”.

Los investigadores advirtieron que la técnica podría permitir a los atacantes construir botnets habilitadas para IA. Una botnet se refiere a una red de computadoras o dispositivos infectados controlados remotamente por un atacante. Las botnets se utilizan comúnmente en ciberataques, incluyendo ataques de denegación de servicio, minería de criptomonedas, distribución de malware y campañas de ransomware.

En las pruebas, los investigadores encontraron que las alucinaciones de recursos generadas por IA ocurrieron a tasas tan altas como el 85% en escenarios de clonación de repositorios y el 100% en pruebas de instalación de habilidades.

El equipo evaluó la técnica contra asistentes y agentes de codificación de IA, incluidos Cursor, GitHub Copilot, Gemini CLI y OpenClaw.

El HalluSquatting es similar al typosquatting, una táctica de ciberataque donde los atacantes registran nombres de dominio que se asemejan a sitios web o paquetes de software legítimos para engañar a los usuarios. En lugar de explotar errores de escritura humanos, el HalluSquatting se dirige a errores cometidos por modelos de IA.

La noticia llega mientras los investigadores continúan probando cómo los atacantes pueden manipular a los agentes de IA.

En abril, investigadores de Google detallaron sitios web maliciosos diseñados para secuestrar agentes de IA a través de ataques de inyección indirecta de prompts, incluyendo intentos de robar contraseñas, eliminar archivos y manipular pagos. Un estudio separado sobre el ataque “CopyPasta” mostró cómo los prompts ocultos dentro de archivos de desarrollador podrían manipular a los asistentes de codificación de IA para que propaguen código malicioso.

En junio, un usuario de OpenClaw informó haber enfrentado más de 6.000 intentos de atacantes que intentaban engañar al agente de IA para que filtrara información sensible.