La compañía ha publicado un documento que detalla las evaluaciones de seguridad y riesgos realizadas antes del lanzamiento de su último modelo, en medio de crecientes críticas sobre sus estándares de seguridad. OpenAI ha dado a conocer la tarjeta del sistema de su modelo GPT-4o, revelando que, según sus evaluaciones, este presenta un riesgo “medio” en términos de seguridad.
En mayo de este año, OpenAI lanzó públicamente su modelo GPT-4o, y ahora ha compartido un documento de investigación que detalla las medidas de seguridad y las evaluaciones de riesgo que llevaron a cabo antes de su lanzamiento. A pesar de que la mayoría de los riesgos fueron considerados bajos, la persuasión se destacó como un área de preocupación.
OpenAI ha publicado recientemente la tarjeta del sistema de su modelo GPT-4o, un documento que proporciona una visión detallada de las evaluaciones de seguridad y los riesgos asociados con su nuevo modelo. Este lanzamiento se produce en un contexto de creciente escrutinio sobre las prácticas de seguridad de la empresa, tanto por parte de sus empleados como de legisladores.
Antes de la presentación de GPT-4o, OpenAI llevó a cabo un proceso de evaluación de riesgos utilizando un grupo externo de expertos en seguridad, conocidos como "red teamers". Estos profesionales se encargaron de identificar posibles debilidades en el modelo, un procedimiento que se ha vuelto habitual en la industria. Entre los riesgos analizados se encontraban la posibilidad de que GPT-4o generara clones no autorizados de voces, contenido erótico o violento, y fragmentos de audio protegidos por derechos de autor.
Según el marco de evaluación de OpenAI, el modelo fue clasificado con un riesgo “medio”. Esta calificación se derivó de la evaluación de cuatro categorías principales: ciberseguridad, amenazas biológicas, persuasión y autonomía del modelo. Mientras que las tres primeras fueron consideradas de bajo riesgo, la persuasión se destacó como un área donde algunos ejemplos de escritura generados por GPT-4o podrían influir más en la opinión de los lectores que los textos escritos por humanos, aunque no se consideraron más persuasivos en general.
Lindsay McCallum Rémy, portavoz de OpenAI, comentó que la tarjeta del sistema incluye evaluaciones de preparación realizadas por un equipo interno, así como por evaluadores externos, como Model Evaluation and Threat Research (METR) y Apollo Research, que se especializan en la evaluación de sistemas de inteligencia artificial.
Este no es el primer documento de este tipo que OpenAI ha publicado; modelos anteriores como GPT-4 y DALL-E 3 también pasaron por evaluaciones similares. Sin embargo, la publicación de la tarjeta del sistema de GPT-4o llega en un momento crítico, ya que la empresa ha enfrentado críticas constantes sobre sus estándares de seguridad. Justo antes de la divulgación del documento, se conoció una carta abierta de la senadora Elizabeth Warren y la representante Lori Trahan, que exigía respuestas sobre cómo OpenAI maneja a los denunciantes y las revisiones de seguridad.
Además, la compañía está lanzando un modelo multimodal altamente capaz justo antes de las elecciones presidenciales en EE. UU., lo que plantea el riesgo de que el modelo pueda difundir información errónea o ser manipulado por actores malintencionados. A pesar de los esfuerzos de OpenAI por demostrar que está probando escenarios del mundo real para prevenir el uso indebido, las preocupaciones persisten.
En California, donde OpenAI y otros laboratorios de inteligencia artificial tienen su sede, el senador Scott Wiener está trabajando en un proyecto de ley para regular los modelos de lenguaje grandes, que incluiría restricciones que responsabilizarían legalmente a las empresas si su IA se utiliza de manera perjudicial. Si se aprueba este proyecto de ley, los modelos de OpenAI tendrían que cumplir con evaluaciones de riesgo impuestas por el estado antes de ser disponibles para el público.
En resumen, la tarjeta del sistema de GPT-4o destaca que, a pesar de la participación de evaluadores externos, gran parte de la responsabilidad recae en OpenAI para autoevaluarse y garantizar la seguridad de sus modelos.
Comments