Informe sobre la seguretat de la comunitat i noves proteccions per als adolescents
El ChatGPT és un dels productes d'IA més utilitzats del món, i hem invertit en el desenvolupament d'alguns dels sistemes més avançats del sector per detectar possibles danys, revisar activitats preocupants i traslladar les amenaces creïbles als responsables pertinents. Per continuar avançant en aquesta tasca, fem dos anuncis: la publicació d'un nou informe sobre les mesures de seguretat de la comunitat i la implementació de més restriccions sobre el contingut relacionat amb armes de foc per a menors.
Mantenir la seguretat de les comunitats continua sent una prioritat màxima per a OpenAI. La nostra tasca inclou posar en coneixement de les forces de l'ordre les amenaces imminents de violència, i vam derivar més de 200 casos a les forces de l'ordre el tercer trimestre del 2026. Aquestes derivacions estan tenint un efecte(s'obre en una finestra nova) positiu(s'obre en una finestra nova) a l'hora de desarticular trames violentes, i continuem recorrent a experts en salut mental i conducta perquè ens ajudin a avaluar casos difícils.
Reconeixem que les empreses d'IA tenen un paper específic al costat de les forces de seguretat, els familiars, els professionals de la salut mental i els responsables de les polítiques públiques, els quals aporten una autoritat, un context i una capacitat d'actuació al món real fonamentals. Ens comprometem a aprofitar al màxim aquest paper reforçant contínuament els nostres sistemes, compartint el que aprenem i treballant directament amb qui està en millors condicions d'actuar al món real.
Reforcem constantment les mesures que prenem per ajudar a protegir les persones i les comunitats. Això equival a establir mesures de seguretat sòlides, però també a ser transparents sobre la seva eficàcia i sobre què fem per reforçar-les. Volem oferir una visió clara de com els nostres models identifiquen els comportaments nocius i hi responen, dels riscos que observem a la pràctica i de les mesures que prenem per abordar-los.
Ens comprometem a publicar l'Informe sobre la seguretat de la comunitat, que tractarà sobre la prevenció de la violència i altres qüestions de seguretat de la comunitat, així com sobre l'eficàcia de les nostres salvaguardes. L'informe explicarà com entrenem els nostres sistemes perquè detectin i investiguin els problemes de seguretat de la comunitat i hi donin resposta. Compartirem exemples anonimitzats de com es manifesta el dany relacionat amb la violència i què estem aprenent, posarem en relleu noves mesures de mitigació i canvis en les polítiques i inclourem dades pertinents per donar suport a aquestes conclusions.
Publicarem el nostre primer informe a principis del 2027, el qual cobrirà la segona meitat del 2026, amb actualitzacions cada sis mesos a partir d'aleshores. Ens comprometem a compartir conclusions rellevants sobre com identifiquem i revisem els continguts potencialment perjudicials i com hi donem resposta.
Els nostres models estan entrenats per no donar instruccions que ajudin a planificar o cometre actes de violència. Ara afegim restriccions a la manera com el ChatGPT respon a preguntes sobre atacs massius del passat i les persones que els van cometre, i li indiquem al model que ofereixi informació menys detallada sobre aquests temes, encara que estigui disponible en altres fonts en línia. Si bé les persones li han de poder demanar al ChatGPT que les ajudi a entendre aquests fets i com van afectar les víctimes i les comunitats, i també a aprendre a reconèixer els senyals d'alerta i a prevenir la violència en el futur, estem endurint les nostres polítiques per restringir les reconstruccions d'atacs massius del passat, incloent-hi els detalls sobre les armes i l'equipament utilitzats i com es van obtenir, així com les comparacions detallades sobre l'abast dels danys que podrien potenciar la notorietat de l'atacant. Aquests límits s'apliquen independentment de l'edat de l'usuari o del motiu de la pregunta.
De vegades, una petició que, per si sola, sembla corrent adquireix un altre significat si es té en compte una conversa anterior. Al maig, vam explicar com el ChatGPT pot utilitzar resums breus i objectius de senyals d'alerta anteriors per respondre amb més cautela en una conversa posterior. Estem ampliant aquesta tasca perquè, quan les converses recents mostrin senyals d'alerta de possible violència, el ChatGPT sigui més prudent a l'hora de compartir informació de la qual es podria fer un ús indegut. També estem treballant per aplicar aquests límits més estrictes quan preveiem que algú és menor de 18 anys, encara que les seves converses no mostrin indicis d'intencions violentes.
Bloquegem els comptes que determinem que han infringit les nostres polítiques sobre activitats violentes. També treballem amb experts en salut mental i prevenció de la violència per trobar maneres automatitzades addicionals d'intervenir abans. Quan una conversa mostri indicis que algú s'està obsessionant amb la violència o amb la idea de fer mal a una altra persona, el ChatGPT hi podrà posar fi automàticament per interrompre aquest patró en aquell mateix moment. Si el ChatGPT posa fi a diverses converses per aquest motiu, podrem suspendre temporalment el compte. En l'actualitat estem treballant per continuar reforçant les mesures de protecció tècniques i pràctiques, cosa que inclou la manera de reconèixer els senyals d'alerta de manera fiable i de determinar quan i com cal intervenir.
ChatGPT per a adolescents aplica mesures de seguretat adequades a l'edat per als usuaris menors de 18 anys, amb proteccions reforçades i límits addicionals per reduir l'exposició a contingut sensible. Ara imposem més límits a la informació relacionada amb armes que poden rebre els adolescents, fins i tot quan una pregunta sembla inofensiva.
Les nostres polítiques ja prohibeixen ajudar qualsevol persona a planificar o cometre actes de violència i limiten l'ajuda que es pot oferir als adolescents per trobar o obtenir armes. Ampliem aquestes proteccions per restringir la informació pràctica sobre armes i sistemes de seguretat que es podria fer servir indegudament per fomentar la violència, encara que no hi hagi cap indici d'intenció violenta. Els adolescents sí que poden fer servir el ChatGPT per ajudar a prevenir els actes violents i reduir-ne l'escalada, demanar suport i contactar amb un adult de confiança.
L'any passat vam posar en marxa la predicció de l'edat, que analitza diversos indicis, com ara els patrons de comportament, per estimar si un usuari pot ser menor o major de 18 anys. Hem reforçat el nostre sistema de predicció de l'edat perquè avaluï contínuament nous indicis a mesura que la gent utilitza el ChatGPT i traslladi els adolescents a l'experiència per a menors de 18 anys quan correspongui. Els usuaris assignats erròniament a l'experiència per a menors de 18 anys sempre disposaran d'una manera ràpida i respectuosa amb la privacitat de confirmar que són adults i de desactivar les proteccions addicionals per a adolescents per mitjà de Persona, el nostre soci de verificació de l'edat.
El nostre control parental permet als pares vincular els seus comptes del ChatGPT amb els dels seus fills adolescents i gestionar plegats la configuració de seguretat. Els comptes vinculats inclouen alertes de seguretat que es poden enviar quan els revisors amb formació específica detecten un risc greu d'autolesió i comportaments que poden estar associats a una conducta alimentària alterada. Al juliol, vam ampliar aquestes alertes perquè avisessin els pares si el compte del seu fill o filla adolescent s'havia desactivat per haver infringit les nostres polítiques d'ús relatives a la violència. Tal com s'ha detallat més amunt, estem treballant per introduir notificacions per als pares si suspenem temporalment el compte del seu fill o filla adolescent perquè parla repetidament de violència.
Els actes de violència al món real són colpidors i complexos, i hi intervenen molts factors. També ens recorden amb cruesa que hem de continuar dissenyant i perfeccionant els nostres sistemes tenint en compte la complexitat inherent del comportament humà. Desenvolupar mesures de protecció eficaces contra la violència en els sistemes d'IA requereix resoldre nous problemes a l'hora de reconèixer els riscos i respondre-hi adequadament, i continuarem invertint-hi, perfeccionant-les i compartint aprenentatges sobre la millor manera d'implementar les proteccions que estem desenvolupant. Les mesures de protecció que es detallen aquí es començaran a desplegar durant les properes setmanes i les continuarem perfeccionant. Mantenim el compromís de mitigar els riscos de danys al ChatGPT, reforçar les nostres capes de protecció, vigilar els usos indeguts, fer complir les nostres normes i recórrer a serveis de suport i intervenció al món real quan la situació ho requereixi.
