La inteligencia artificial es una herramienta milagrosa, o eso pueden pensar millones de personas que la utilizan a diario para manejar múltiples aspectos de su vida, entre ellos procesos profesionales y de trabajo. Sin embargo, hay que tener en cuenta los múltiples riesgos a los que nos enfrentamos, especialmente al usarla para escribir código.
¿No nos crees? Veamos lo que sucedió en una aplicación creada enteramente con código generado con inteligencia artificial por medio de un prompt, así lo descubrió un investigador en un artículo publicado en Linkedin.
Se analizó una app creada con la plataforma de AI coding Lovable (una herramienta de “vibe coding” que genera aplicaciones completas a partir de prompts). El investigador encontró que una sola aplicación tenía 16 vulnerabilidades de seguridad, seis de ellas críticas, y permitía acceder a datos de más de 18.000 usuarios sin iniciar sesión. Entre los datos expuestos había correos electrónicos, cuentas de estudiantes y registros de universidades y escuelas.
El error donde falló el código generado por inteligencia artificial hubiera sido fácil de detectar y corregir si un humano estuviera vigilando: fue un fallo en el código de autenticación. La lógica de acceso estaba invertida.
- Si el usuario estaba autenticado → acceso bloqueado
- Si el usuario no estaba autenticado → acceso permitido
Esto permitió que cualquiera en internet accediera a todos los datos.
Desarrollo de software responsable con IA
Lo antes expuesto deja algo claro: la inteligencia artificial es una herramienta útil, probablemente una de las más importantes que ha llegado a la industria del software y el desarrollo. Sin embargo, hay que saber utilizarla, y es allí donde entra el concepto de uso responsable.
El desarrollo de software responsable con IA es el enfoque de usar herramientas de inteligencia artificial para generar o asistir en la escritura de código, pero con controles humanos, prácticas de ingeniería y medidas de seguridad que aseguren que el software sea confiable, seguro y ético.
En otras palabras: no se trata solo de generar código con IA, sino de hacerlo de forma segura y verificable.
Principios clave del desarrollo responsable con IA en Rootstack
Revisión humana del código
El código generado por IA siempre debe ser revisado por un desarrollador. La inteligencia artificial puede cometer errores lógicos, introducir vulnerabilidades o usar malas prácticas.
Por ejemplo, una IA podría escribir una función de autenticación que permita acceso sin validar correctamente al usuario.
Seguridad por diseño
El código generado debe cumplir prácticas de seguridad como:
- Autenticación correcta
- Control de acceso
- Validación de entradas (inputs)
- Protección contra inyección SQL
- Manejo seguro de credenciales
Testing obligatorio
Nunca se debería usar código generado por IA sin pruebas automáticas. Entre las pruebas recomendadas se encuentran:
- Unit tests
- Integration tests
- Pruebas de seguridad
- Fuzzing
Transparencia y trazabilidad
Dentro de la documentación debe quedar claro qué partes del código fueron generadas por IA, qué modelo se utilizó y qué cambios realizó el desarrollador. Esto ayuda a auditar errores o vulnerabilidades y a mantener un código limpio y mantenible.
Protección de datos
La inteligencia artificial debe ser supervisada para evitar que deje expuestas claves de API o filtre por error información sensible. Asimismo, no se deben incluir datos confidenciales en los prompts utilizados para generar código.
Supervisión continua
El software generado con IA debe ser monitoreado después de su despliegue para detectar bugs, brechas de seguridad o cualquier comportamiento inesperado.
Rootstack: Tu socio de confianza para desarrollo de software con inteligencia artificial
