Ilustrační foto. FOTO: Pixabay/Geralt
FOTO: Pixabay/Geralt
NÁZOR / Nalezl jsem v médiích zprávu o studentech, kteří v dobré víře sestrojili nástroj, který by měl varovat před dezinformacemi. Lze jej – zdarma – nainstalovat do prohlížeče a pak si nechat prověřit navštívenou stránku. Proskenoval jsem si s ním několik svých článků a zjistil zajímavou novinu: Píšu prý téměř stoprocentně seriózní dezinformace. To mne zaujalo a začal jsem nástroj studovat podrobněji.
„Míra pravdivosti“ je podle tohoto nástroje od jedné do sta, já měl obvykle kolem 35. Zato serióznost byla téměř vždy skoro stoprocentní. To, proč jsem sbíral trestné body a byl vyhodnocen jako dezinformátor, byl vždy a za všech okolností „útočný jazyk“. A seriózní jsem byl proto, že nepoužívám vulgarismy a řetězce vykřičníků. Nástroj neumí rozlišit mezi zpravodajstvím (které by mělo být neutrální) a komentářem. Já mám v popisu práce psát komentáře o sociálně patologických jevech – kritické komentáře, ve kterých kritizuji nějaký závažně negativní společenský jev. A to, že je píšu ostře, na plnou hubu, případně „útočným jazykem,“ je dáno tím, že ty jevy odsuzuji. A zásadní odsudek laskavým a vstřícným jazykem skutečně napsat neumím, a navíc si myslím, že by to bylo metodicky zásadně špatně. A určitá obliba mých článků dle zpětných vazeb čtenářů pramení právě z toho, že bez servítků nazývám zlo zlem. Nástroj Verifee mi za to ale nakládal trestné „dezinformační“ body.
Autorům nelze nic vyčítat
Přímo na webu, odkud si jejich software stahujete, výslovně píšou: „Verifee je nástroj, který pomocí umělé inteligence určuje důvěryhodnost článků na českých zpravodajských webech. Za cíl si klade nabídnout pomoc čtenářům v internetovém světě přehlceném informacemi. Verifee vám neříká, zda je to, co čtete, pravda. Místo toho vás upozorní, že je článek napsaný stylem, který užívají neseriózní média, a měli byste proto přistupovat k jeho obsahu obezřetně.“
Takže autoři nelžou. Netvrdí, že nástroj pozná dezinformace, jen může upozornit na potenciálně nepravdivý text. A – hrál jsem si s tím nástrojem celý večer – na jednoduché texty nástroj víceméně funguje a je to impozantní programátorská práce. Ale pokud má analyzovat názorový komentář, ve kterém se vyskytuje ironie, sarkasmus, ale také citace textu, který komentář kriticky hodnotí, jsou výsledky opravdu vachrlaté. Software využívá generativní umělou inteligenci založenou na velkém jazykovém modelu – LLM. A tak jsem se šel zeptat na detaily v této oblasti nejdostupnější autority, co na webu zadarmo je.
ChatGPT 3,5
jxd: Je možné testovat text, zda obsahuje dezinformace, softwarovým nástrojem, který neumí rozeznat pravdivost informace?
ChatGPT: Ano, je možné testovat texty na přítomnost dezinformací pomocí různých softwarových nástrojů, i když tyto nástroje obvykle nerozpoznávají pravdivost informací, ale spíše se zaměřují na analýzu různých znaků, které mohou naznačovat potenciální dezinformace. Tyto nástroje se nazývají nástroji pro detekci dezinformací nebo nástroji pro analýzu faktů a jsou navrženy k identifikaci nepravdivých nebo zavádějících tvrzení. Některé z těchto nástrojů využívají strojové učení a analýzu textu k identifikaci podezřelých vzorů, jako jsou nekonzistence v příběhu, přemrštěné tvrzení, časté používání emocionálního jazyka nebo neověřené zdroje informací. Tyto nástroje mohou být užitečné pro analýzu velkého objemu textu a identifikaci potenciálních dezinformací. Je však důležité poznamenat, že tyto nástroje nejsou dokonalé a nejsou schopny definitivně určit pravdivost informace. Rozpoznávání dezinformací může být obtížné, protože některé dezinformace mohou být rafinované a obtížné k odhalení. Kromě toho se pravdivost informací může měnit v čase, což může znamenat, že dříve pravdivé informace se mohou stát nepravdivými a naopak. Nejlepší přístup k identifikaci dezinformací zahrnuje také lidskou analýzu a kritické myšlení. Nástroje pro detekci dezinformací mohou sloužit jako užitečný nástroj pro začátek analýzy, ale konečné rozhodnutí o pravdivosti informace by mělo záviset na kombinaci softwarových nástrojů a lidského úsudku.
jxd: Znamená to tedy, že ony softwarové nástroje hledají dezinformace pouze dle formálních znaků, nikoliv podle smyslu a obsahu toho textu?
ChatGPT: Ano, většina softwarových nástrojů pro detekci dezinformací se zaměřuje především na formální znaky textu, jako jsou slovník, gramatika, syntaxe a statistiky, a na různé vzory, které by mohly naznačovat dezinformace. Tyto nástroje používají techniky strojového učení a analýzy textu k identifikaci nekonzistencí a podezřelých vzorů v textu. Tyto nástroje obvykle nejsou schopny rozumět obsahu textu na stejné úrovni jako lidský čtenář. Rozpoznání dezinformací na základě smyslu a kontextu textu je složitější a vyžaduje hlubší porozumění obsahu a nápadů, což je schopnost, kterou má lidský analytik, ale kterou většina softwarových nástrojů zatím nemá na takové úrovni. Proto je důležité, aby lidská analýza byla součástí procesu ověřování informací a identifikace dezinformací, a že softwarové nástroje slouží jako pomůcka k identifikaci potenciálně problematických prvků v textu.
jxd: Chápu dobře, že formálně velmi solidním, neemotivním a spisovným jazykem napsaná hrubá lež nebude takovým software odhalena jako potenciální dezinformace?
ChatGPT: Ano, máte pravdu, že softwarové nástroje pro detekci dezinformací mohou mít obtíže s odhalením dezinformace, která je napsaná formálně a gramaticky správně, bez emocí a srozumitelně. Taková dezinformace, která je prezentována výborným jazykem a formálním stylem, může být obtížnější k odhalení na základě formálních znaků samotných. Pro konečné stanovení pravdivosti informace je třeba provádět hloubkovou analýzu obsahu a kontextu, což je dovednost, kterou má často lidský analytik a kterou softwarové nástroje nemají na takové úrovni.
Mediální reflexe
Míra nepochopení toho nástroje a míra nepochopení možností generativní inteligence, která protekla českými médii v článcích o Verifee, je však alarmující. A to i přesto, že sami autoři před limity svého nástroje varují – citováno výše. Stačí titulky a vstupy článků, které o Verifee vyhledal Google:
cedmohub: „Podporujeme aplikaci Verifee. Nástroj Verifee za pomoci umělé inteligence odhaluje dezinformace.“
radiozurnal: „Antivirus pro vaše informace. Česká aplikace vás upozorní na dezinformační články.“
bezpecnevsiti: „Důvěřujte, ale prověřujte: s nástrojem Verifee snadno odhalíte manipulace a dezinformace na internetu“
mediaguru: „Nový program Verifee má poznat dezinformace na webech.“
mam: „Umělá inteligence Verifee odhalí dezinformace a manipulativní zprávy.“
smartmania: „Verifee dokáže díky AI rozpoznat dezinformace. Vyzkoušet jej může každý.“
Řada novinářů – přestože autoři Verifee výslovně, poctivě a nepřehlédnutelně píšou všude, kde můžete Verifee stáhnout, jeho limity – si to přebrala tak, že Verifee je děd Vševěd, jenž odhaluje dezinformace. Ve skutečnosti je Verifee nástroj zkoumající text z hlediska přítomnosti formálních znaků jazyka, kterým jsou obvykle psány dezinformace. Ovšem články, které o něm vycházejí, doslova lákají k tomu, aby byl Verifee používán jako jakýsi univerzálně platný „měřič dezinformací“. Což je zcela mimo kompetence toho softwaru. A tak mně mediální nadšení z Verifee potvrdilo obavu, kterou jsem četl vyřčenou od nějakého digitálního klasika, ale zapomněl jsem, od kterého:
Sama umělá inteligence nás nemůže ohrozit. Hrozbou je, že nějaký tukan nechá z hlubokého nepochopení jejích limitů umělou inteligencí řídit systémy, které jsou zcela zásadně nad její současné schopnosti a dovednosti. A nemusí to být jen analýza textů stran dezinformací. Horší bude, až generativní umělé inteligenci někdo dá možnost odpalovat rakety.
