Škodlivé subjekty mohou zneužít výchozí konfigurace v platformě generativní umělé inteligence (AI) Now Assist od společnosti ServiceNow a využít její agentní schopnosti k provádění útoků typu prompt injection.
Prompt injection druhého řádu podle společnosti AppOmni využívá funkci agent-to-agent discovery platformy Now Assist k provádění neoprávněných akcí, což útočníkům umožňuje kopírovat a exfiltrovat citlivá firemní data, upravovat záznamy a eskalovat oprávnění.
„Toto zjištění je alarmující, protože se nejedná o chybu v AI; je to očekávané chování definované určitými výchozími možnostmi konfigurace,“ uvedl Aaron Costello, vedoucí výzkumu zabezpečení SaaS ve společnosti AppOmni.
„Když agenti mohou objevovat a rekrutovat jeden druhého, neškodný požadavek se může tiše proměnit v útok, přičemž zločinci kradou citlivá data nebo získávají větší přístup k interním firemním systémům. Tato nastavení se snadno přehlédnou.“
Útok je umožněn díky schopnostem objevování agentů a spolupráce mezi agenty v rámci Now Assist od ServiceNow. Vzhledem k tomu, že Now Assist nabízí možnost automatizovat funkce, jako jsou operace helpdesku, tento scénář otevírá dveře možným bezpečnostním rizikům.
Například neškodný agent může analyzovat speciálně vytvořené prompty vložené do obsahu, ke kterému má povolen přístup, a naverbovat výkonnějšího agenta ke čtení nebo změně záznamů, kopírování citlivých dat nebo odesílání e-mailů, a to i když jsou povoleny vestavěné ochrany proti prompt injection. Nejvýznamnějším aspektem tohoto útoku je, že akce probíhají v zákulisí, bez vědomí oběti organizace.
V jádru je komunikace mezi agenty umožněna ovladatelnými konfiguračními nastaveními, včetně výchozího LLM k použití, možností nastavení nástrojů a výchozích nastavení specifických pro kanály, kde jsou agenti nasazeni:
Základní velký jazykový model (LLM) musí podporovat objevování agentů (tuto funkci podporují jak Azure OpenAI LLM, tak Now LLM, což je výchozí volba)
Agenti Now Assist jsou ve výchozím nastavení automaticky seskupeni do stejného týmu, aby se mohli navzájem vyvolávat
Agent je ve výchozím nastavení označen jako objevitelný při publikování
Zatímco tyto výchozí hodnoty mohou být užitečné pro usnadnění komunikace mezi agenty, architektura může být náchylná k prompt injection, když agent, jehož hlavním úkolem je číst data, která nevložil uživatel vyvolávající agenta.
„Prostřednictvím prompt injection druhého řádu může útočník přesměrovat neškodný úkol přiřazený neškodnému agentovi na něco mnohem škodlivějšího využitím užitečnosti a funkčnosti jiných agentů v jeho týmu,“ uvedla společnost AppOmni.
„Je zásadní, že agenti Now Assist běží s oprávněními uživatele, který zahájil interakci, pokud není nakonfigurováno jinak, a nikoli s oprávněními uživatele, který vytvořil škodlivý prompt a vložil jej do pole.“
Po odpovědném zveřejnění společnost ServiceNow uvedla, že systém funguje tak, jak má, ale společnost od té doby aktualizovala svou dokumentaci, aby jasněji uvedla potenciální rizika spojená s konfiguracemi.
Zjištění demonstrují potřebu posílení ochrany AI agentů, protože podniky stále více začleňují schopnosti AI do svých pracovních postupů.
Pro zmírnění takových hrozeb prompt injection se doporučuje nakonfigurovat režim kontrolovaného provádění pro privilegované agenty, zakázat vlastnost autonomního přepsání („sn_aia.enable_usecase_tool_execution_mode_override“), segmentovat povinnosti agentů podle týmů a monitorovat AI agenty kvůli podezřelému chování.
„Pokud organizace používající AI agenty Now Assist pečlivě nezkoumají své konfigurace, jsou pravděpodobně již v ohrožení,“ dodal Costello.
Zdroj: thehackernews.com
