tecnologia

Openai apuesta por la ciberseguridad colaborativa: premia a quienes encuentran fallos

OpenAI intensifica la defensa de sus modelos de inteligencia artificial. La compañía ha lanzado un programa de recompensas, Safety Bug Bounty, que invita a investigadores a buscar vulnerabilidades en sus sistemas. La iniciativa se centra en riesgos emergentes, como la manipulación mediante indicaciones diseñadas para eludir las restricciones o el abuso de agentes autónomos. Un cambio de enfoque respecto a los programas de seguridad tradicionales.

El desafío: detectar ataques sutiles

El desafío: detectar ataques sutiles

A diferencia de los ciberataques convencionales, la seguridad de la IA exige una nueva perspectiva. La nueva iniciativa de OpenAI busca simular una superficie de ataque constantemente cambiante. Se busca identificar escenarios donde la IA pueda ser inducida a comportamientos no deseados, como la filtración de datos sensibles o la ejecución de acciones perjudiciales.

El programa ofrece recompensas económicas por la identificación de fallos, siempre y cuando estos puedan reproducirse de manera consistente. El umbral de reproducción se sitúa en torno al 50% de los intentos fallidos. Informes sobre la exposición de información interna del modelo o sus patrones de razonamiento también son bienvenidos. La compañía también considera vulnerabilidades que permitan eludir las restricciones programadas o comprometer la integridad de la plataforma.

Pero no todo vale. OpenAI excluye los intentos simplistas de