Zpráva o bezpečnosti komunity a nová ochranná opatření pro dospívající

ChatGPT patří mezi nejpoužívanější AI produkty na světě. Investovali jsme do vybudování systémů, které patří mezi nejpokročilejší v oboru a slouží k odhalování možných škod, prověřování znepokojivých aktivit a předávání věrohodných hrozeb k dalšímu řešení. Oznamujeme dvě novinky, které posouvají naši práci v této oblasti dál: novou zprávu o bezpečnosti komunity a další omezení obsahu týkajícího se střelných zbraní pro nezletilé.

Zajišťování bezpečnosti komunit⁠ je pro OpenAI i nadále jednou z hlavních priorit. V rámci našich aktivit upozorňujeme orgány činné v trestním řízení na bezprostřední hrozby násilí, přičemž jsme jim ve 3. čtvrtletí 2026 předali více než 200 podnětů. Tyto podněty mají pozitivní⁠(otevře se v novém okně) dopad⁠(otevře se v novém okně) na maření plánovaných násilných činů a i nadále se spoléháme na odborníky na duševní zdraví a chování, kteří nám pomáhají posuzovat složité případy.

Uvědomujeme si, že společnosti vyvíjející AI mají svou specifickou úlohu vedle orgánů činných v trestním řízení, rodinných příslušníků, odborníků na duševní zdraví a tvůrců veřejných politik. Ti dodávají nezbytné pravomoci, znalost souvislostí a možnost působení v reálném světě. Tuto úlohu chceme naplňovat co nejlépe: průběžně posilovat naše systémy, sdílet získané poznatky a přímo spolupracovat s těmi, kdo mají nejlepší možnosti reagovat v reálném světě.

Neustále posilujeme opatření, kterými pomáháme chránit lidi a komunity. Znamená to vytvářet silná ochranná opatření a zároveň otevřeně informovat o tom, jak dobře fungují a co děláme pro jejich další posílení. Chceme lidem jasně přiblížit náš přístup, to, jak naše modely rozpoznávají škodlivé chování a reagují na něj, rizika, se kterými se v praxi setkáváme, a kroky, které podnikáme k jejich řešení.

Zavazujeme se vydat zprávu o bezpečnosti komunity zaměřenou na prevenci násilí a další otázky týkající se bezpečnosti komunity i účinnosti našich ochranných opatření. Zpráva vysvětlí, jak trénujeme naše systémy na to, aby odhalovaly, zkoumaly a řešily problémy související s bezpečnosti komunity. Budeme sdílet anonymizované příklady toho, jak se projevují škody související s násilím a toho, co jaké poznatky z toho získáváme, upozorníme na nová opatření ke zmírnění rizik a změny zásad a zahrneme relevantní data, která podpoří tato zjištění.

První zprávu zveřejníme začátkem roku 2027 a bude se týkat druhé poloviny roku 2026. Poté ji budeme aktualizovat každých šest měsíců. Zavazujeme se sdílet podstatná zjištění o tom, jak odhalujeme a posuzujeme potenciálně škodlivý obsah a jak na něj reagujeme.

Naše modely jsou trénované tak, aby neposkytovaly návody, které by někomu pomohly naplánovat nebo spáchat násilí. Nyní zavádíme další omezení toho, jak ChatGPT odpovídá na otázky o realizovaných hromadných útocích a lidech, kteří je spáchali. Model bude v těchto oblastech poskytovat méně podrobné informace, i když jsou tyto informace dostupné z jiných online zdrojů. Lidé by měli mít možnost požádat ChatGPT o pomoc při snaze pochopit tyto události, jejich dopad na oběti a komunity a při snaze dozvědět se, jak rozpoznávat varovné signály a předcházet budoucímu násilí. Zároveň ale zpřísňujeme naše zásady a omezujeme rekonstrukce minulých hromadných útoků, včetně podrobností o použitých zbraních a vybavení a o tom, jak byly získány. Stejně tak omezujeme podrobná srovnání rozsahu škod, která by mohla zvýšit útočníkovu proslulost. Tato omezení platí bez ohledu na věk uživatele nebo důvod jeho dotazu.

Požadavek, který sám o sobě působí běžně, může v kontextu dřívější konverzace získat jiný význam. V květnu jsme popsali, jak ChatGPT může využívat stručná, věcná shrnutí⁠ dřívějších varovných signálů, aby v pozdějším chatu reagoval obezřetněji. Na tuto práci navazujeme: pokud se v nedávných chatech objeví varovné signály možného násilí, ChatGPT bude při sdílení informací, které by mohly být zneužity, postupovat zdrženlivěji. Pracujeme také na tom, aby tato přísnější omezení platila pro uživatele, u nichž odhadujeme věk pod 18 let, i když jejich chaty nevykazují žádné známky násilných úmyslů.

Blokujeme účty, u kterých zjistíme, že porušily naše zásady týkající se násilného jednání⁠. Společně s odborníky na duševní zdraví a prevenci násilí také hledáme další, automatizované způsoby, jak zasáhnout dříve. Pokud konverzace vykazuje známky toho, že se někdo upíná k násilí nebo k představě vážného ublížení druhému člověku, ChatGPT bude moci chat automaticky ukončit, a tento vzorec chování tak v danou chvíli přerušit. Pokud ChatGPT z tohoto důvodu ukončí více chatů, můžeme účet dočasně pozastavit. Jedná se o nikdy nekončící snahu a nadále posilujeme technická i praktická ochranná opatření a investujeme do nich. To platí i pro spolehlivé rozpoznávání varovných signálů a určování, kdy a jak zasáhnout.

ChatGPT pro dospívající⁠ uplatňuje u uživatelů mladších 18 let ochranná opatření přiměřená jejich věku. Silnější ochrana a další omezení snižují jejich kontakt s citlivým obsahem. Nyní dále omezujeme informace o zbraních, které mohou dospívající získat, a to i v případech, kdy otázka působí neškodně. 

Naše zásady už zakazují pomáhat komukoli s plánováním nebo pácháním násilí a omezují pomoc dospívajícím při hledání nebo získávání zbraní. Tato ochranná opatření rozšiřujeme tak, aby omezovala poskytování praktických informací o zbraních a bezpečnostních systémech, které by mohly být zneužity k usnadnění násilí. A to v situaci, kdy nic nenasvědčuje násilnému úmyslu. Dospívající můžou ChatGPT dál využívat jako pomoc při předcházení násilí a jeho zmírňování, hledání podpory a navazování kontaktu s dospělým, kterému důvěřují. 

Loni jsme zavedli odhad věku⁠, který podle analýz různých signálů, například vzorců chování, odhaduje, zda je uživatel mladší 18 let nebo starší 18 let. Náš systém odhadu věku jsme posílili, aby při používání ChatGPT průběžně vyhodnocoval nové signály a v případě potřeby převedl dospívající do režimu pro osoby mladší 18 let. Uživatelé nesprávně zařazení do režimu pro osoby mladší 18 let budou mít vždy k dispozici rychlý způsob, jak při zachování ochrany svého soukromí potvrdit plnoletost a nechat si dodatečná ochranná opatření pro dospívající vypnout. Ověření zajišťuje náš partner pro ověřování věku Persona. 

Naše rodičovská kontrola⁠ umožňuje rodičům propojit své účty ChatGPT s účty jejich dospívajících dětí a společně spravovat bezpečnostní nastavení. Součástí propojených účtů jsou bezpečnostní upozornění⁠, která mohou být odeslána, pokud speciálně vyškolení hodnotitelé zjistí závažné riziko sebepoškozování a chování, které může souviset s poruchami příjmu potravy. V červenci jsme tato upozornění rozšířili tak, aby rodiče byli informování i v případě, že byl účet jejich dospívajícího dítěte deaktivován kvůli porušení našich zásad používání týkajících se násilí. Pracujeme na zavedení upozornění pro rodiče v případě, že jejich dospívajícímu dítěti dočasně pozastavíme účet kvůli opakovaným konverzacím o násilí v souladu s tím, jak podrobně popisujeme výše.

Násilné činy v reálném světě jsou nešťastné a složité a přispívá k nim mnoho faktorů. Zároveň nám důrazně připomínají, že musíme naše systémy nadále navrhovat a zdokonalovat tak, aby zohledňovaly přirozenou složitost lidského chování. Vývoj účinných ochranných opatření proti násilí v systémech umělé inteligence vyžaduje řešení nových problémů a současně rozpoznávání rizik a vhodné reakce. I nadále budeme investovat, průběžně vylepšovat a sdílet poznatky o tom, jak co nejlépe zavádět námi sledovaná ochranná opatření. Zde popsaná ochranná opatření se začnou zavádět během několika příštích týdnů a budeme je dál zdokonalovat. I nadále se zavazujeme snižovat riziko negativních dopadů při používání ChatGPT, posilovat jednotlivé vrstvy ochrany, sledovat zneužívání, vymáhat dodržování našich pravidel a v případě potřeby zapojovat pomoc a zásahy v reálném světě.