Rapport om säkerhet i communityn och nya skyddsåtgärder för tonåringar

ChatGPT är en av världens mest använda AI-produkter, och vi har investerat i att bygga några av branschens mest avancerade system för att upptäcka potentiell skada, granska oroande aktivitet och föra trovärdiga hot vidare till rätt instans. För att stärka vårt arbete på detta område tillkännager vi två nyheter: en ny rapport om skyddsåtgärder för communityn och ytterligare begränsningar för innehåll om skjutvapen för minderåriga.

Att säkerställa säkerheten i vårt community⁠ är fortsatt en högsta prioritet för OpenAI. Vårt arbete innefattar att uppmärksamma brottsbekämpande myndigheter på överhängande våldshot, och under tredje kvartalet 2026 lämnade vi in över 200 anmälningar till brottsbekämpande myndigheter. Dessa anmälningar gör en positiv⁠(öppnas i ett nytt fönster) skillnad⁠(öppnas i ett nytt fönster) vad gäller att avvärja planerade våldshandlingar, och vi fortsätter att anlita experter inom psykisk hälsa och beteendevetenskap för att hjälpa oss att bedöma svåra fall.

Vi är medvetna om att AI-företag har en särskild roll att spela vid sidan av brottsbekämpande myndigheter, familjemedlemmar, yrkesverksamma inom psykisk hälsa och beslutsfattare. De bidrar med viktiga befogenheter, kunskap om sammanhanget och möjligheter att agera i verkliga livet. Vi vill ta vara på den rollen fullt ut genom att ständigt förstärka våra system, dela med oss av det vi lär oss och samarbeta direkt med dem som har bäst förutsättningar att agera i verkliga livet.

Vi stärker ständigt våra åtgärder för att skydda människor och samhällen. Det innebär att bygga starka skydd, men också att vara öppna med hur väl de fungerar och vad vi gör för att förbättra dem. Vi vill ge människor en tydlig bild av vårt tillvägagångssätt, hur våra modeller identifierar och bemöter skadligt beteende, vilka risker vi ser i praktiken och vilka åtgärder vi vidtar för att hantera dem.

Vi åtar oss att publicera rapporten om säkerheten i vår community, med fokus på förebyggande av våld och andra frågor som rör säkerheten i vår community samt hur effektiva våra säkerhetsåtgärder är. Rapporten kommer att redogöra för hur vi tränar våra system att upptäcka, utreda och reagera på säkerhetsproblem i vår community. Vi kommer att dela anonymiserade exempel på hur skador relaterade till våld yttrar sig och vad vi lär oss, lyfta fram nya förebyggande åtgärder och policyändringar samt inkludera relevant data för att underbygga dessa resultat.

Vi publicerar vår första rapport i början av 2027. Den omfattar andra halvåret 2026, och därefter kommer uppdateringar var sjätte månad. Vårt åtagande är att dela med oss av viktiga insikter om hur vi identifierar, granskar och hanterar potentiellt skadligt innehåll.

Våra modeller är tränade att inte ge instruktioner som kan hjälpa någon att planera eller utföra våldshandlingar. Vi inför nu ytterligare begränsningar för hur ChatGPT svarar på frågor om tidigare massattacker och gärningsmännen bakom dem, och instruerar modellen att ge mindre detaljer om dessa ämnen, även om informationen är tillgänglig från andra källor på nätet. Människor ska kunna be ChatGPT om hjälp att förstå dessa händelser, hur offren och lokalsamhällena påverkades, samt att lära sig att känna igen varningssignaler och förebygga framtida våld. Men vi skärper våra riktlinjer för att begränsa rekonstruktioner av tidigare massattacker, inklusive information om de vapen och den utrustning som användes samt om hur de införskaffades, och detaljerade jämförelser av skadornas omfattning, som skulle kunna öka uppmärksamheten kring en gärningsman. Dessa begränsningar gäller oavsett användarens ålder eller anledningen till frågan.

Ibland får en fråga som i sig verkar helt vanlig en annan innebörd mot bakgrund av ett tidigare samtal. I maj berättade vi hur ChatGPT kan använda korta, sakliga sammanfattningar⁠ av tidigare varningssignaler för att svara försiktigare i en senare chatt. Vi bygger vidare på det arbetet så att ChatGPT blir mer återhållsamt med att dela information som kan missbrukas när de senaste chattarna innehåller varningssignaler om möjligt våld. Vi arbetar också för att tillämpa dessa striktare begränsningar när vi uppskattar att någon är under 18 år, även om personens chattar inte visar några tecken på våldsavsikter.

Vi stänger av konton som vi anser har brutit mot våra policyer om våldshandlingar⁠. Vi samarbetar också med experter inom psykisk hälsa och våldsförebyggande arbete för att hitta ytterligare, automatiserade sätt att ingripa tidigare. När ett samtal visar tecken på att någon fastnar i tankar om våld eller om att allvarligt skada en annan person kommer ChatGPT att kunna avsluta chatten automatiskt för att bryta mönstret där och då. Om ChatGPT avslutar flera chattar av den anledningen kan vi tillfälligt pausa kontot. Det är ett fortlöpande arbete, och vi fortsätter att stärka och satsa på tekniska och praktiska skyddsåtgärder, bland annat när det gäller hur vi på ett tillförlitligt sätt kan känna igen varningssignaler och avgöra när och hur vi ska ingripa.

ChatGPT för tonåringar⁠ har åldersanpassade skyddsåtgärder för användare under 18 år, med starkare skydd och ytterligare begränsningar för att minska exponeringen för känsligt innehåll. Vi inför nu ytterligare begränsningar för vilken information om vapen tonåringar kan få, även när en fråga kan verka harmlös. 

Våra policyer förbjuder redan att hjälpa någon att planera eller utföra våldshandlingar och begränsar hjälp till tonåringar att hitta eller skaffa vapen. Vi utökar dessa skyddsåtgärder till att även begränsa praktisk information om vapen och säkerhetssystem som kan missbrukas för att främja våld, även när det inte finns några tecken på våldsamma avsikter. Tonåringar kan fortfarande använda ChatGPT för att förebygga och minska våld, söka stöd och komma i kontakt med en vuxen som de litar på. 

Förra året lanserade vi en funktion för åldersuppskattning⁠, som analyserar flera signaler, till exempel beteendemönster, för att bedöma om en användare kan vara under eller över 18 år. Vi har förstärkt vårt system för åldersuppskattning så att det kontinuerligt utvärderar nya signaler i takt med att användarna använder ChatGPT, och flyttar tonåringar till upplevelsen för personer under 18 år när det är relevant. Användare som felaktigt placeras i miljön för personer under 18 år kommer alltid att ha ett snabbt och integritetsskyddande sätt att bekräfta att de är vuxna och ta bort det extra skyddet för tonåringar via Persona, vår partner inom åldersverifiering. 

Med föräldrainställningar⁠ kan föräldrar koppla sina ChatGPT‑konton till sina tonåringars konton och gemensamt hantera säkerhetsinställningarna. Kopplade konton omfattar säkerhetsvarningar⁠ som kan skickas ut när särskilt utbildad personal vid en granskning identifierar allvarlig risk för självskada och beteenden som kan vara förknippade med ätstörningar. I juli utökade vi dessa varningar så att föräldrar får ett meddelande om deras tonårings konto har inaktiverats på grund av brott mot våra användarregler gällande våld. Vi arbetar med att införa aviseringar till föräldrar om vi stänger av deras tonårings konto på grund av upprepade samtal om våld, vilket beskrivs närmare ovan.

Våldshandlingar i det verkliga livet är förkrossande och komplexa, med många bidragande faktorer. De är också en skarp påminnelse om att vi måste fortsätta att utveckla och förbättra våra system så att de tar hänsyn till hur komplex mänskligt beteende i grunden är. Utvecklingen av effektiva säkerhetsåtgärder mot våld i AI-system kräver att vi löser nya utmaningar när det gäller att identifiera risker och reagera på lämpligt sätt, och vi kommer att fortsätta att investera i och vidareutveckla dessa säkerhetsåtgärder samt dela med oss av våra erfarenheter om hur vi bäst implementerar de skyddsåtgärder som vi arbetar med. De säkerhetsåtgärder som beskrivs här kommer att börja införas under de närmaste veckorna, och vi kommer att fortsätta förbättra dem. Vi är fortsatt fast beslutna att minska risken för skada i ChatGPT, stärka våra många lager av skydd, övervaka missbruk, upprätthålla våra regler och involvera stöd och insatser i den verkliga världen när situationen kräver det.