OpenAI advierte que podría reducir sus medidas de seguridad de IA

OpenAI ha actualizado su Marco de Preparación, un documento que rige las evaluaciones de seguridad de sus modelos de IA avanzados. La actualización incluye una nueva cláusula que permite a OpenAI alterar sus requisitos de seguridad internos si los competidores implementan sistemas de IA de alto riesgo sin medidas de protección equivalentes.

De acuerdo con una publicación en su blog, la actualización representa una alternativa para defenderse ante una IA avanzada que represente un riesgo de seguridad. El Marco de Preparación es un proceso que rastrea las capacidades avanzadas de IA y ayuda a OpenAI a estar preparado frente a un riesgo potencial.

En la versión más reciente, OpenAI agregó un lenguaje que sugiere que sus propias políticas de seguridad podrían ajustarse en respuesta a la actividad rival, particularmente en casos donde otros laboratorios publican modelos poderosos que carecen de mecanismos de contención robustos.

“Si otro desarrollador de IA de vanguardia lanza un sistema de alto riesgo sin garantías comparables, podremos ajustar nuestros requisitos”, afirmó la empresa. OpenAI señala que tales decisiones implicarían una verificación rigurosa del panorama de riesgos modificado, la divulgación pública del ajuste y la confirmación de que el cambio no aumentaría significativamente la probabilidad de daño grave.

OpenAI podría suavizar sus salvaguardas si la competencia lo hace

Además de este cambio, el Marco de Preparación de OpenAI introduce un nuevo sistema de categorización de riesgos centrado en las capacidades del modelo. La empresa ahora distingue entre modelos con capacidades “altas” y “críticas”. Los primeros se definen como aquellos que amplifican significativamente las amenazas existentes, mientras que los segundos introducen nuevas vías para producir daños graves.

OpenAI menciona que los modelos clasificados como críticos deben ser controlados durante el desarrollo, dado su elevado potencial de desestabilización. Un ejemplo de IA catalogada bajo este nivel de riesgo sería aquella que cuenta con funciones para evitar su apagado o que es capaz de replicarse autónomamente.

Por último, el Marco pone mayor énfasis en la automatización en el proceso de evaluación de seguridad. OpenAI ha desarrollado un conjunto de sistemas de pruebas automatizados, diseñados para evaluar modelos con mayor rapidez. Si bien la empresa sostiene que las evaluaciones dirigidas por humanos siguen siendo parte de su protocolo, la actualización sugiere un giro hacia una supervisión impulsada por máquinas.

Las revisiones marcan la primera actualización formal del Marco de Preparación de OpenAI desde 2023. Los ajustes ya están causando revuelo entre expertos en seguridad y algunos exempleados de la empresa, quienes acusan a OpenAI de reducir discretamente sus compromisos en esta área.