Informe de seguridad de la comunidad y nuevas protecciones para adolescentes
ChatGPT es uno de los productos de IA más utilizados del mundo, e invertimos en desarrollar algunos de los sistemas más avanzados del sector para detectar posibles daños, revisar actividades preocupantes y derivar amenazas creíbles a las instancias correspondientes. Para seguir avanzando en esta área, hacemos dos anuncios: un nuevo informe de medidas de protección de la comunidad y más restricciones al contenido sobre armas de fuego para menores.
Mantener seguras a las comunidades sigue siendo una de las principales prioridades de OpenAI. Nuestro trabajo incluye alertar a las fuerzas del orden sobre amenazas inminentes de violencia, y remitimos más de 200 casos a estas autoridades en el tercer trimestre de 2026. Estas remisiones están teniendo un impacto(se abre en una nueva ventana) positivo(se abre en una nueva ventana) en la desarticulación de planes violentos, y seguimos contando con especialistas en salud mental y conducta para que nos ayuden a evaluar casos complejos.
Reconocemos que las empresas de IA tienen un papel específico que desempeñar junto con las fuerzas del orden, los familiares, los profesionales de la salud mental y los responsables de formular políticas, quienes aportan autoridad, contexto y capacidad de acción en el mundo real que resultan esenciales. Nos comprometemos a aprovechar al máximo ese papel mediante el fortalecimiento continuo de nuestros sistemas, compartiendo lo que aprendemos y trabajando directamente con quienes están en mejores condiciones de actuar en el mundo real.
Reforzamos constantemente las medidas que tomamos para ayudar a proteger a las personas y las comunidades. Eso implica crear medidas de protección sólidas y también ser transparentes sobre qué tan bien funcionan y qué hacemos para fortalecerlas. Queremos ofrecer a las personas una visión clara de nuestro enfoque, de cómo nuestros modelos identifican los comportamientos dañinos y responden a ellos, de los riesgos que observamos en la práctica y de las medidas que tomamos para abordarlos.
Nos comprometemos a publicar el Informe de seguridad de la comunidad sobre la prevención de la violencia y otros problemas de seguridad de la comunidad, así como sobre la eficacia de nuestras medidas de protección. El informe explicará cómo entrenamos nuestros sistemas para detectar, investigar y responder a problemas de seguridad de la comunidad. Compartiremos ejemplos anonimizados de cómo se manifiestan los daños relacionados con la violencia y lo que estamos aprendiendo, destacaremos nuevas medidas de mitigación y cambios en las políticas, e incluiremos datos pertinentes para respaldar estos hallazgos.
Publicaremos nuestro primer informe a principios de 2027, que abarcará la segunda mitad de 2026, y lo actualizaremos cada seis meses a partir de entonces. Nuestro compromiso es compartir hallazgos relevantes sobre cómo identificamos, revisamos y respondemos al contenido potencialmente dañino.
Nuestros modelos están entrenados para no dar instrucciones que ayuden a alguien a planear o cometer actos de violencia. Ahora estamos incorporando restricciones adicionales a la forma en que ChatGPT responde preguntas sobre ataques masivos del pasado y las personas que los llevaron a cabo, para que el modelo proporcione información menos detallada sobre esos temas, incluso si está disponible en otras fuentes en línea. Las personas deben poder pedirle a ChatGPT que las ayude a comprender estos hechos, cómo afectaron a las víctimas y las comunidades, y a aprender a reconocer señales de alerta y prevenir futuros actos de violencia. Pero estamos reforzando nuestras políticas para restringir las reconstrucciones de ataques masivos del pasado, incluidos los detalles sobre las armas y el equipo que se usaron y cómo se obtuvieron, así como las comparaciones detalladas sobre la magnitud del daño que podrían aumentar la notoriedad de quien cometió el ataque. Estos límites se aplican independientemente de la edad de la persona usuaria o del motivo de su pregunta.
A veces, una solicitud que por sí sola parece común adquiere otro significado al tener en cuenta una conversación anterior. En mayo, compartimos cómo ChatGPT puede usar resúmenes breves y objetivos de señales de alerta previas para responder con más cuidado en un chat posterior. Estamos ampliando ese trabajo para que, cuando los chats recientes muestren señales de alerta de posible violencia, ChatGPT sea más cauteloso al compartir información que podría usarse de forma indebida. También estamos trabajando para aplicar esos límites más estrictos cuando estimemos que una persona es menor de 18 años, incluso si sus chats no muestran señales de intención violenta.
Bloqueamos las cuentas que determinamos que infringieron nuestras políticas sobre actividades violentas. También estamos trabajando con expertos en salud mental y prevención de la violencia para encontrar formas adicionales y automatizadas de intervenir antes. Cuando una conversación muestra señales de que alguien está desarrollando una fijación con la violencia o con la idea de dañar gravemente a otra persona, ChatGPT podrá finalizar el chat automáticamente para interrumpir ese patrón en el momento. Si ChatGPT finaliza varios chats por ese motivo, podemos suspender temporalmente la cuenta. Este es un esfuerzo continuo y seguimos fortaleciendo e invirtiendo en protecciones técnicas y prácticas, incluida la manera de reconocer señales de alerta de forma confiable y determinar cuándo y cómo intervenir.
ChatGPT para adolescentes aplica medidas de seguridad adecuadas para usuarios menores de 18 años, con protecciones más estrictas y límites adicionales para reducir la exposición a contenido sensible. Ahora también limitamos aún más la información sobre armas que pueden recibir los adolescentes, incluso cuando una pregunta parece inofensiva.
Nuestras políticas ya prohíben ayudar a cualquier persona a planear o cometer actos de violencia y limitan la ayuda que se ofrece a adolescentes para encontrar u obtener armas. Estamos ampliando esas protecciones para restringir la información práctica sobre armas y sistemas de seguridad que podría usarse indebidamente para facilitar actos de violencia, incluso cuando no haya indicios de intención violenta. Las personas adolescentes aún pueden usar ChatGPT para ayudar a prevenir y desescalar situaciones de violencia, buscar apoyo y ponerse en contacto con una persona adulta de confianza.
El año pasado lanzamos la predicción de edad, que analiza distintas señales, como patrones de comportamiento, para estimar si una persona podría ser menor o mayor de 18 años. Reforzamos nuestro sistema de predicción de edad para que evalúe continuamente nuevas señales a medida que las personas usan ChatGPT y asigne a los adolescentes a la experiencia para menores de 18 años cuando corresponda. Las personas asignadas por error a la experiencia para menores de 18 años siempre tendrán una forma rápida que proteja su privacidad de confirmar que son adultas y hacer que se retiren las protecciones adicionales para adolescentes mediante Persona, nuestro socio de verificación de edad.
Nuestros controles parentales permiten que madres y padres vinculen sus cuentas de ChatGPT con las de sus adolescentes y administren juntos la configuración de seguridad. Las cuentas vinculadas incluyen alertas de seguridad que pueden enviarse cuando revisores especialmente capacitados identifican un riesgo grave de autolesión y comportamientos que podrían estar asociados con conductas alimentarias problemáticas. En julio, ampliamos estas alertas para notificar a madres y padres si la cuenta de su adolescente se desactivó por infringir nuestras políticas de uso sobre violencia. Estamos trabajando para implementar notificaciones para madres y padres si suspendemos temporalmente la cuenta de su adolescente por hablar repetidamente sobre violencia, como se detalla arriba.
Los actos de violencia en el mundo real son desgarradores y complejos, y responden a múltiples factores. También nos recuerdan con crudeza que debemos seguir diseñando y perfeccionando nuestros sistemas para tener en cuenta la complejidad inherente del comportamiento humano. Desarrollar medidas de protección eficaces contra la violencia en los sistemas de IA requiere resolver nuevos desafíos para reconocer los riesgos y responder de forma adecuada. Seguiremos invirtiendo, perfeccionando nuestros sistemas y compartiendo aprendizajes sobre cómo implementar de la mejor manera las protecciones que estamos desarrollando. Las medidas de protección que se detallan aquí empezarán a implementarse en las próximas semanas y seguiremos perfeccionándolas. Seguimos comprometidos con mitigar los riesgos de daño en ChatGPT, reforzar nuestras distintas capas de protección, monitorear el uso indebido, hacer cumplir nuestras reglas y recurrir al apoyo y la intervención en el mundo real cuando la situación lo requiera.
