IT SECURITY NETWORK NEWS je B2B komunitní web zaměřený na IT bezpečnost a související témata. #security #bezpečnost #ITSECNN

(Ne)bezpečný ChatGPT

rozhovor ChatGPT AI security

Na otázky, jak funguje a jaká bezpečnostní rizika přináší hojně diskutovaný ChatGPT, a jaké druhy protiopatření jsou možná, odpovídal Chester Wisniewski, hlavní bezpečnostní analytik společnosti Sophos.

Jak dobře s ohledem na možná bezpečností rizika ChatGPT funguje?

ChatGPT funguje překvapivě dobře například při psaní phishingových návnad, což se dalo očekávat s ohledem na výsledky experimentů, v rámci kterých jsme ho nechali psát dopisy, e-maily atd. Phishingová návnada se od skutečného e-mailu liší vlastně jen akcí, která se od příjemce na konci očekává. Možnost interakce s ChatGPT, která trochu vyladí sociální inženýrství, v kombinaci s jeho téměř dokonalou gramatikou z něj dělá ideální nástroj pro ty, kteří se snaží psát anglicky tak, aby text zněl jako od rodilého mluvčího, přestože sami anglicky neumí.

Mohlo by to pomoci podvodníkům a botům nebo k vytváření falešných recenzí apod.?

Rozhodně ano. Kdybych se v této oblasti angažoval já, mou prioritou by bylo získat klíč k rozhraní API a začal bych jej zneužívat právě k tomuto účelu. Vzhledem k nízké kvalitě mnoha existujících spamových či recenzentských botů lze takto dosáhnout mnohem lepšího výsledku s větší unikátností, než byste kdy mohli nakódovat sami ručně.

Jaké druhy protiopatření jsou možné?

To je zajímavá otázka. Výzkumníci z Hugging Face vytvořili detektor GPT-2, který měl rozumnou přesnost, což naznačuje, že by mohl existovat způsob, jak detekovat text generovaný tímto konkrétním modelem s poměrně vysokou přesností. Samozřejmě, pokud začnou marketingové týmy používat ChatGPT3 k psaní reklamních textů, mohlo by jim to komplikovat blokování textu, u kterého je vysoká pravděpodobnost, že byl vygenerován umělou inteligencí (ale nebo taky ne…). Většina podvodů obsahuje nějakou „výzvu k akci“. Klikněte zde, otevřete toto, zavolejte na toto číslo atd. Možná tedy bude jednodušší zaměřit naše technické detekce spíše na tyto výzvy k akci než na samotný obsah e-mailu. Detekce je značně složitá, protože end-to-end šifrované chaty v rámci služeb, jako jsou WhatsApp a Signal, nelze filtrovat stejným způsobem, jakým můžeme filtrovat nechráněné zprávy, například e-maily. Můžeme ale s jistotou říci, že dny, kdy jsme se spoléhali na uživatele, že podvodné zprávy odhalí a budou je ignorovat, jsou pryč.

TZ