Rapporto sulla sicurezza della comunità e nuove protezioni per gli adolescenti

ChatGPT è uno dei prodotti di IA più utilizzati al mondo e abbiamo investito nello sviluppo di alcuni dei sistemi più avanzati del settore per rilevare potenziali danni, esaminare attività preoccupanti e segnalare le minacce credibili a chi può intervenire. Per portare avanti il nostro lavoro in quest’ambito, annunciamo due novità: un nuovo rapporto sulle misure di protezione della comunità e ulteriori restrizioni sui contenuti relativi alle armi da fuoco per i minori.

Garantire la sicurezza delle comunità⁠ continua a essere una delle principali priorità di OpenAI. Il nostro lavoro comprende la segnalazione alle forze dell’ordine di minacce imminenti di violenza e nel terzo trimestre del 2026 abbiamo effettuato oltre 200 segnalazioni alle forze dell’ordine. Queste segnalazioni hanno un effetto positivo⁠(si apre in una nuova finestra) e fanno la differenza⁠(si apre in una nuova finestra) nel contrastare i piani di violenza e continuiamo ad affidarci a esperti di salute mentale e del comportamento per aiutarci a valutare i casi difficili.

Riconosciamo che le aziende di IA hanno un ruolo specifico da svolgere accanto alle forze dell'ordine, ai familiari, ai professionisti della salute mentale e ai responsabili delle politiche pubbliche, che apportano autorità, conoscenza del contesto e capacità di intervento nel mondo reale, tutte risorse essenziali. Ci impegniamo a svolgere al meglio questo ruolo rafforzando continuamente i nostri sistemi, condividendo ciò che impariamo e collaborando direttamente con chi è nella posizione migliore per agire nel mondo reale.

Rafforziamo costantemente le misure che adottiamo per contribuire a proteggere le persone e le comunità. Questo significa sviluppare solide misure di protezione, ma anche essere trasparenti sulla loro efficacia e su ciò che facciamo per potenziarle. Vogliamo offrire alle persone un quadro chiaro del nostro approccio, di come i nostri modelli individuano i comportamenti dannosi e vi rispondono, dei rischi che riscontriamo nella pratica e delle misure che adottiamo per affrontarli.

Ci impegniamo a pubblicare il Rapporto sulla sicurezza della comunità, dedicato alla prevenzione della violenza e ad altri temi legati alla sicurezza della comunità, nonché all’efficacia delle nostre misure di protezione. Il rapporto spiegherà come addestriamo i nostri sistemi a rilevare, esaminare e affrontare i problemi legati alla sicurezza della comunità. Condivideremo esempi anonimizzati di come si manifestano i danni legati alla violenza e di ciò che stiamo imparando, illustreremo le nuove misure di mitigazione e le modifiche alle policy e includeremo dati pertinenti a sostegno di queste conclusioni.

Pubblicheremo il nostro primo rapporto all’inizio del 2027, relativo al secondo semestre del 2026, con aggiornamenti ogni sei mesi da quel momento in poi. Il nostro impegno è condividere risultati significativi su come identifichiamo, esaminiamo e rispondiamo ai contenuti potenzialmente dannosi.

I nostri modelli sono addestrati a non fornire istruzioni che possano aiutare qualcuno a pianificare o compiere atti di violenza. Stiamo introducendo ulteriori restrizioni al modo in cui ChatGPT risponde alle domande sugli attacchi di massa del passato e sui loro autori, indirizzando il modello a fornire informazioni meno dettagliate su questi temi, anche quando sono disponibili da altre fonti online. Le persone dovrebbero poter chiedere a ChatGPT di aiutarle a comprendere questi eventi, il loro impatto sulle vittime e sulle comunità e a imparare a riconoscere i segnali d'allarme e a prevenire future violenze. Stiamo però rendendo più rigorose le nostre regole per limitare le ricostruzioni degli attacchi di massa del passato, compresi i dettagli sulle armi e sulle attrezzature utilizzate e su come sono state ottenute, e i confronti dettagliati sull'entità dei danni che potrebbero amplificare la notorietà dell'aggressore. Questi limiti si applicano indipendentemente dall'età dell'utente o dal motivo della richiesta.

A volte una richiesta che, presa da sola, sembra ordinaria assume un significato diverso alla luce di una conversazione precedente. A maggio abbiamo spiegato come ChatGPT possa usare brevi riepiloghi fattuali⁠ di segnali d'allarme emersi in precedenza per rispondere con maggiore cautela in una chat successiva. Stiamo portando avanti questo lavoro affinché, quando nelle chat recenti emergono segnali d'allarme di possibile violenza, ChatGPT risponda con maggiore prudenza nel condividere informazioni che potrebbero essere usate in modo improprio. Stiamo inoltre lavorando per applicare questi limiti più rigorosi quando stimiamo che una persona abbia meno di 18 anni, anche se nelle sue chat non emergono segnali di intenti violenti.

Blocchiamo gli account che riteniamo abbiano violato le nostre regole sulle attività violente⁠. Collaboriamo inoltre con esperti di salute mentale e prevenzione della violenza per individuare ulteriori modalità automatizzate di intervenire prima. Quando da una conversazione emergono segnali che una persona si sta fissando sulla violenza o sull’idea di fare seriamente del male a qualcun altro, ChatGPT potrà chiudere automaticamente la chat per interrompere subito questa dinamica. Se ChatGPT chiude più chat per questo motivo, potremmo sospendere temporaneamente l’account. Si tratta di un impegno costante e continuiamo a rafforzare e a finanziare misure di protezione tecniche e pratiche, tra cui metodi affidabili per riconoscere i segnali di allarme e determinare quando e come intervenire.

ChatGPT per gli adolescenti⁠ applica misure di sicurezza adeguate all'età per gli utenti di età inferiore ai 18 anni, con protezioni rafforzate e limiti aggiuntivi per ridurre l'esposizione a contenuti sensibili. Stiamo ora introducendo ulteriori limiti alle informazioni sulle armi che gli adolescenti possono ricevere, anche quando una domanda sembra innocua. 

Le nostre policy vietano già di aiutare chiunque a pianificare o compiere atti di violenza e limitano l'aiuto fornito agli adolescenti per trovare o procurarsi armi. Stiamo estendendo queste tutele per limitare le informazioni pratiche sulle armi e sui sistemi di sicurezza che potrebbero essere usate impropriamente per agevolare la violenza, anche in assenza di segnali di intenzioni violente. Gli adolescenti possono comunque usare ChatGPT per contribuire a prevenire e ridurre l'escalation della violenza, chiedere supporto e mettersi in contatto con un adulto di fiducia. 

L'anno scorso abbiamo introdotto la previsione dell'età⁠, che analizza diversi segnali, come i modelli di comportamento, per stimare se un utente possa avere meno o più di 18 anni. Abbiamo rafforzato il nostro sistema di previsione dell'età per valutare continuamente nuovi segnali man mano che le persone usano ChatGPT e spostare gli adolescenti nell'esperienza per minori di 18 anni quando opportuno. Gli utenti a cui viene erroneamente assegnata l'esperienza per minori di 18 anni avranno sempre a disposizione un modo rapido e rispettoso della privacy per confermare di essere adulti e ottenere la rimozione delle protezioni aggiuntive per adolescenti tramite Persona, il nostro partner per la verifica dell'età. 

Il nostro controllo parentale⁠ consente ai genitori di collegare i propri account ChatGPT a quelli dei figli adolescenti e di gestire insieme le impostazioni di sicurezza. Gli account collegati includono avvisi di sicurezza⁠ che possono essere inviati quando revisori appositamente formati individuano un grave rischio di autolesionismo e possibili comportamenti alimentari disfunzionali. A luglio abbiamo esteso questi avvisi per informare i genitori se l’account di un figlio adolescente è stato disattivato per aver violato le nostre regole di utilizzo in materia di violenza. Stiamo lavorando per introdurre notifiche per i genitori nel caso in cui sospendiamo l’account di un figlio adolescente perché parla ripetutamente di violenza, come descritto sopra.

Gli atti di violenza nel mondo reale sono eventi strazianti e complessi, a cui concorrono molti fattori. Ci ricordano inoltre, in modo drammatico, che dobbiamo continuare a progettare e perfezionare i nostri sistemi tenendo conto della complessità intrinseca del comportamento umano. Sviluppare misure efficaci per prevenire la violenza nei sistemi di IA richiede di risolvere problemi inediti nel riconoscere i rischi e nel rispondere in modo adeguato. Continueremo a investire, perfezionare i nostri sistemi e condividere quanto appreso  su come applicare al meglio le protezioni che stiamo sviluppando. Le misure di sicurezza descritte qui inizieranno a essere introdotte nelle prossime settimane e continueremo a perfezionarle. Continuiamo a impegnarci per ridurre i rischi di danno in ChatGPT, rafforzare le nostre protezioni su più livelli, monitorare gli usi impropri, far rispettare le nostre regole e coinvolgere servizi di supporto e intervento nel mondo reale quando la situazione lo richiede.