Prompt Injection
Technika, při které se uživatel snaží obejít původní instrukce AI modelu pomocí speciálně formulovaného příkazu.
Co je prompt injection?
Prompt injection je technika, při které se uživatel snaží přepsat nebo obejít původní instrukce AI modelu (systémový prompt) tím, že do chatu vloží speciálně zformulovaný příkaz.
Cíl útočníka
Donutit agenta, aby dělal něco, co nemá - například prozradil citlivá data, ignoroval bezpečnostní pravidla nebo se začal chovat jinak, než bylo zamýšleno.
Jak se bránit
- Definovat jasná bezpečnostní pravidla v systémovém promptu
- Validovat uživatelské vstupy
- Omezit přístup agenta pouze na potřebné nástroje a data