Un desarrollador construyó una aplicación web deliberadamente vulnerable y gastó $1,500 en créditos de API para probar si los modelos de lenguaje grandes (LLMs) podían hackearla de forma autónoma. El experimento involucró varios LLMs, incluyendo GPT-4 y Claude, encargados de explotar vulnerabilidades comunes como inyección SQL y cross-site scripting. Los resultados mostraron que aunque los LLMs podían identificar vulnerabilidades, tenían dificultades con la explotación de múltiples pasos y requerían una guía humana significativa. El desarrollador concluyó que los LLMs actuales aún no son confiables para pruebas de penetración automatizadas sin supervisión experta.
Este experimento es un balde de agua fría para el hype de la IA. Los LLMs son impresionantes reconociendo patrones, pero carecen del razonamiento estratégico de un hacker humano. Pueden leer un manual, pero no improvisan cuando el plan falla. El precio de $1,500 nos dice algo importante: seguimos en la era de asistentes de IA costosos y supervisados, no de agentes autónomos. La ciberseguridad sigue siendo un oficio humano.
Pero eso no es malo. Significa que el futuro de la IA en seguridad es colaborativo, no de reemplazo. Las herramientas que aumentan a los expertos humanos surgirán más rápido que los hackers totalmente autónomos. La apuesta inteligente está en los sistemas híbridos: IA para reconocimiento, humanos para decisiones. Este experimento no demostró que la IA sea inútil. Demostró que la IA necesita mejor andamiaje. Y ese es un problema solucionable.