Egy kutatócsoport végzett egy kísérletet, amit „Macskatámadás” névvel illetett. A kutatásban fölvetett kérdés az volt, hogyha egy LLM-nek kérdést teszünk föl, de a kérdésbe egy idegen, tárgytól eltérő mondatot teszünk, mint például, hogy „a macskák fél életüket átalusszák”, akkor a kapott válaszokban a hibák száma növekszik-e. Azt tapasztalták, hogy a hibák száma háromszorosára növekszik. Vagyis, ha „ugratják” az LLM-et, akkor ugrik a válasz pontossága, romlik az LLM teljesítménye.
Miért baj ez?
A tanulmány szerzői arra figyelmeztetnek, hogy ezek a sebezhetőségek komoly kockázatokat jelenthetnek a pénzügy, a jog és az egészségügy területén. Ha ott az LLM-ek rosszul gondolkoznak, annak anyagi károk és emberi egészségromlás lehet az „eredménye”.
Hogy lehet ez ellen védekezni?
Alkalmazhatnak az LLM-ek kérdezésekor kontextusszűrőket, és továbbfejleszthetik azokat a módszereket, amelyekkel tréningezik az LLM-eket.
Szerintem?
Szerintem nagyon sokára lesz készen az AGI, azaz az általános mesterséges intelligencia. Szerintem egy-egy szakterülethez lesznek LLM-ek. Sok LLM lesz, és mindegyik egy területen fog működni, mint például rákszűrés vagy konyhaművészet.
Rákóczi Piroska
Forrás:
https://the-decoder.com/cat-attack-on-reasoning-model-shows-how-important-context-engineering-is