Informe de seguridad de la comunidad y nuevas protecciones para adolescentes
ChatGPT es uno de los productos de IA más utilizados del mundo y hemos invertido en desarrollar algunos de los sistemas más avanzados del sector para detectar posibles daños, revisar actividades preocupantes y derivar amenazas creíbles. Anunciamos dos novedades para seguir avanzando en este ámbito: un nuevo informe de medidas de protección de la comunidad y más restricciones al contenido relacionado con armas de fuego para menores.
Mantener la seguridad de las comunidades sigue siendo una de las principales prioridades de OpenAI. Nuestro trabajo incluye poner en conocimiento de las autoridades las amenazas inminentes de violencia, y en el tercer trimestre de 2026 realizamos más de 200 derivaciones a las autoridades. Estas derivaciones están teniendo un efecto positivo(se abre en una ventana nueva) y marcando una diferencia(se abre en una ventana nueva) a la hora de desarticular planes violentos, y seguimos contando con la ayuda de especialistas en salud mental y conducta para evaluar casos difíciles.
Reconocemos que las empresas de IA tienen una función específica que desempeñar junto a las autoridades, los familiares, los profesionales de la salud mental y los responsables de las políticas públicas, que aportan autoridad, contexto y capacidad de actuación en el mundo real, elementos fundamentales. Nos comprometemos a aprovechar al máximo esa función reforzando continuamente nuestros sistemas, compartiendo lo que aprendemos y trabajando directamente con quienes están en mejor posición para actuar en el mundo real.
Estamos reforzando constantemente las medidas que adoptamos para ayudar a proteger a las personas y las comunidades. Esto implica desarrollar medidas de protección sólidas y también ser transparentes sobre su eficacia y lo que hacemos para reforzarlas. Queremos ofrecer a las personas una visión clara de nuestro enfoque, de cómo nuestros modelos identifican las conductas dañinas y responden a ellas, de los riesgos que observamos en la práctica y de las medidas que adoptamos para abordarlos.
Nos comprometemos a publicar el Informe de seguridad de la comunidad, centrado en la prevención de la violencia y otros asuntos relacionados con la seguridad de la comunidad, así como en la eficacia de nuestras medidas de protección. El informe explicará cómo entrenamos nuestros sistemas para detectar, investigar y responder a los problemas relacionados con la seguridad de la comunidad. Compartiremos ejemplos anonimizados de cómo se manifiestan los daños relacionados con la violencia y de lo que estamos aprendiendo, destacaremos nuevas medidas de mitigación y cambios en las políticas, e incluiremos datos pertinentes que respalden estas conclusiones.
Publicaremos nuestro primer informe a principios de 2027, que abarcará el segundo semestre de 2026, con actualizaciones cada seis meses a partir de entonces. Nuestro compromiso es compartir hallazgos significativos sobre cómo identificamos, revisamos y respondemos a contenido potencialmente dañino.
Nuestros modelos están entrenados para no dar instrucciones que puedan ayudar a alguien a planificar o llevar a cabo actos de violencia. Ahora estamos aplicando restricciones adicionales a la forma en que ChatGPT responde a preguntas sobre ataques masivos del pasado y las personas que los cometieron, indicando al modelo que ofrezca información menos detallada sobre estos temas, aunque esté disponible en otras fuentes de internet. Las personas deben poder pedir a ChatGPT que les ayude a comprender estos sucesos, cómo afectaron a las víctimas y a las comunidades, y a aprender a reconocer señales de alerta y prevenir futuros actos de violencia. Sin embargo, estamos endureciendo nuestras políticas para restringir las reconstrucciones de ataques masivos del pasado, incluidos los detalles sobre las armas y el equipo utilizados y cómo se obtuvieron, así como las comparaciones detalladas de la magnitud de los daños que podrían amplificar la notoriedad del atacante. Estos límites se aplican independientemente de la edad del usuario o del motivo de su consulta.
A veces, una petición que por sí sola parece normal adquiere un significado distinto a la luz de una conversación anterior. En mayo, explicamos cómo ChatGPT puede utilizar resúmenes breves y objetivos de señales de alerta anteriores para responder con mayor cautela en un chat posterior. Estamos ampliando ese trabajo para que, cuando los chats recientes muestren señales de alerta de posible violencia, ChatGPT actúe con mayor prudencia al compartir información que podría utilizarse de forma indebida. También estamos trabajando para aplicar esos límites más estrictos cuando estimamos que alguien es menor de 18 años, aunque sus chats no muestren indicios de intención violenta.
Bloqueamos las cuentas que determinamos que han infringido nuestras políticas sobre actividades violentas. También estamos trabajando con expertos en salud mental y prevención de la violencia para encontrar formas adicionales y automatizadas de intervenir antes. Cuando una conversación muestre indicios de que alguien está desarrollando una fijación con la violencia o con la idea de causar un daño grave a otra persona, ChatGPT podrá finalizar automáticamente el chat para interrumpir ese patrón en el momento. Si ChatGPT finaliza varios chats por ese motivo, podemos suspender temporalmente la cuenta. Este es un esfuerzo continuo y seguimos reforzando e invirtiendo en protecciones técnicas y prácticas, incluida la forma de reconocer las señales de alerta de manera fiable y determinar cuándo y cómo intervenir.
ChatGPT para adolescentes aplica medidas de protección adecuadas a la edad de los usuarios menores de 18 años, con protecciones reforzadas y límites adicionales para reducir la exposición a contenido sensible. Ahora estamos imponiendo más límites a la información relacionada con las armas que pueden recibir los adolescentes, incluso cuando una pregunta parezca inofensiva.
Nuestras políticas ya prohíben ayudar a cualquier persona a planear o llevar a cabo actos de violencia y limitan la ayuda que se ofrece a adolescentes para encontrar u obtener armas. Vamos a ampliar esas protecciones para restringir la información práctica sobre armas y sistemas de seguridad que podría utilizarse indebidamente para facilitar la violencia, incluso cuando no haya indicios de intención violenta. Los adolescentes aún pueden usar ChatGPT para ayudar a prevenir la violencia y rebajar su intensidad, buscar apoyo y ponerse en contacto con una persona adulta de confianza.
El año pasado lanzamos la predicción de edad, que analiza diversas señales, como los patrones de comportamiento, para estimar si una persona puede ser menor o mayor de 18 años. Reforzamos nuestro sistema de predicción de edad para evaluar continuamente nuevas señales a medida que las personas usan ChatGPT y pasar a los adolescentes a la experiencia para menores de 18 años cuando corresponda. Los usuarios asignados por error a la experiencia para menores de 18 años siempre dispondrán de una forma rápida y respetuosa con su privacidad de confirmar que son adultos y de eliminar las protecciones adicionales para adolescentes a través de Persona, nuestro socio de verificación de edad.
Nuestros controles parentales permiten a los padres vincular sus cuentas de ChatGPT con las de sus hijos adolescentes y gestionar juntos los ajustes de seguridad. Las cuentas vinculadas incluyen alertas de seguridad que pueden enviarse cuando revisores con formación específica detectan un riesgo grave de autolesión y conductas que podrían estar asociadas a trastornos de la conducta alimentaria. En julio, ampliamos estas alertas para avisar a los padres si la cuenta de su hijo adolescente se ha desactivado por infringir nuestras políticas de uso relativas a la violencia. Estamos trabajando para introducir notificaciones para avisar a los padres si suspendemos temporalmente la cuenta de su hijo adolescente por hablar repetidamente sobre violencia, tal como se detalla más arriba.
Los actos de violencia en el mundo real son desgarradores y complejos, y en ellos confluyen muchos factores. También nos recuerdan con crudeza que debemos seguir diseñando y perfeccionando nuestros sistemas para tener en cuenta la complejidad inherente al comportamiento humano. Desarrollar medidas de protección eficaces frente a la violencia en los sistemas de IA requiere resolver nuevos retos para reconocer los riesgos y responder adecuadamente, y seguiremos invirtiendo, perfeccionando nuestros sistemas y compartiendo lo aprendido sobre cómo implementar de la mejor manera las protecciones que estamos desarrollando. Las medidas de protección que se detallan aquí empezarán a implementarse en las próximas semanas y seguiremos perfeccionándolas. Seguimos comprometidos con mitigar los riesgos de daño en ChatGPT, reforzar nuestras múltiples capas de protección, supervisar el uso para detectar usos indebidos, hacer cumplir nuestras normas y recurrir a apoyo e intervenciones en el mundo real cuando la situación lo requiera.
