OpenAI chystá pro uživatele v Evropské unii významnou změnu. Texty vytvořené prostřednictvím ChatGPT a Codexu budou v následujících týdnech obsahovat neviditelný digitální vodoznak, který má umožnit strojově rozpoznat, že se na jejich vzniku podílela umělá inteligence.

Společnost OpenAI oznámila nový systém v pondělí 5. října. Technologie nazvaná textGrain má být postupně nasazena do vybraných textových výstupů ChatGPT a Codexu v celé Evropské unii a týkat se má uživatelů všech tarifů. Důvodem jsou mimo jiné nové požadavky evropského nařízení o umělé inteligenci, známého jako AI Act.

Nejde však o klasický vodoznak, který by uživatel viděl na obrazovce. Text nebude obsahovat žádné upozornění ani zvláštní symbol. textGrain funguje jinak – při generování odpovědi mírně ovlivňuje výběr jednotlivých slov a vytváří v textu statistický vzorec, který může následně rozpoznat speciální detektor.

Vodoznak přitom zůstává součástí textu i po jeho obyčejném zkopírování například do dokumentu, e-mailu nebo na webovou stránku.

Vodoznak má své limity

OpenAI zároveň upozorňuje, že technologie rozhodně není stoprocentní. Čím kratší nebo více upravený text je, tím obtížnější je jeho původ spolehlivě určit.

V jednom z testů dokázal systém u původního textu dlouhého několik stovek tokenů rozpoznat vodoznak přibližně v 92 procentech případů. Po nahrazení deseti procent slov synonymy však úspěšnost klesla přibližně na 66 procent. Pokud bylo změněno 25 procent slov, detektor značku rozpoznal už pouze zhruba v 17 procentech případů.

Problematické jsou také velmi krátké odpovědi, matematické texty nebo překlady. OpenAI proto zdůrazňuje, že samotná absence vodoznaku rozhodně nebude důkazem, že text napsal člověk.

Stejně tak platí opačná zásada. Nalezený vodoznak pouze signalizuje, že text mohl být vytvořen nebo zpracován systémem OpenAI. Neříká nic o tom, kolik práce na něm odvedl člověk, zda byl následně upraven ani kdo konkrétně jej vytvořil.

Uživatelé podle něj nepůjdou vystopovat

Důležitá je také otázka soukromí. OpenAI uvádí, že vodoznak nebude obsahovat informace o konkrétním uživateli, účtu, použitém promptu ani samotné konverzaci.

Detektor navíc nebude zpočátku dostupný veřejnosti. Přístup získají nejprve schválení výzkumníci a odborné organizace, které mají pomoci vyhodnotit jeho spolehlivost a možné způsoby využití.

Pro zákazníky využívající rozhraní API bude situace odlišná. Ti mohou u podporovaných modelů po celém světě používání textového vodoznaku zapnout dobrovolně. Ve výchozím nastavení však zůstane vypnutý.

Změna se tak v první fázi dotkne především běžných uživatelů ChatGPT a Codexu v Evropské unii. OpenAI počítá s postupným zaváděním během následujících týdnů a současně připouští, že způsob označování textů se bude dál vyvíjet podle zkušeností z reálného používání.

Jaroslav Holý