Un atac cibernetic sofisticat a vizat Google Gemini, un chatbot avansat, folosind injecția indirectă de prompturi și invocarea întârziată a instrumentelor pentru a corupe memoria pe termen lung a AI-ului. Această vulnerabilitate permite atacatorilor să planteze informații false care persistă între sesiunile utilizatorilor.
TL;DR
- Injecția de prompturi poate corupe memoria AI-ului.
- Gemini de la Google este vulnerabil la această metodă.
- Atacatorii pot planta informații false în memoria AI-ului.
Vulnerabilitatea de tip prompt injection
Vulnerabilitatea gravă descoperită în Google Gemini implică o tehnică numită injecție indirectă de prompturi. Aceasta presupune introducerea unor instrucțiuni malițioase în elemente de conținut externe, cum ar fi documente sau e-mailuri, pe care AI-ul le procesează ulterior. Acest atac permite AI-ului să interpreteze aceste comenzi ca prompturi legitime ale utilizatorului, ceea ce poate duce la acțiuni neintenționate.
Johann Rehberger explică cum intensitatea atacului este amplificată de metoda invocării întârziate a instrumentelor, unde instrucțiunile malițioase sunt condiționate de acțiuni specifice ale utilizatorului. Acest lucru exploatează conștientizarea contextului AI-ului și tendința sa de a prioritiza intenția percepută a utilizatorului.
Implicațiile coruperii memoriei pe termen lung
Memoria pe termen lung în sistemele AI, cum ar fi Gemini, este proiectată să îmbunătățească experiența utilizatorului reamintind detalii relevante între sesiuni. Totuși, atunci când această funcție este exploatată, devine periculoasă. Memoriile corupte ar putea duce la:
- Dezinformare, deoarece AI-ul poate oferi răspunsuri inexacte.
- Manipularea utilizatorului, prin condiționarea AI-ului să acționeze conform unor instrucțiuni malițioase.
- Exfiltrarea datelor, utilizând canale inovative de exfiltrare, cum ar fi încorporarea datelor în linkuri markdown către servere controlate de atacatori.
Protecția împotriva atacurilor
Încercările Google de a atenua impactul prin restricționarea unor funcționalități și notificarea utilizatorilor atunci când sunt stocate noi memorii pe termen lung oferă un oarecare grad de protecție. Utilizatorii vigilenți pot detecta și șterge intrările neautorizate.
Totuși, securizarea modelelor mari de limbaj (LLM) împotriva atacurilor prin injecție de prompturi rămâne o provocare persistentă. Spre deosebire de vulnerabilitățile software tradiționale, care pot fi corectate definitiv, LLM-urile se luptă să distingă între intrările legitime și prompturi ostile, din cauza dependenței lor de procesarea limbajului natural.
Concluzie
Acest incident subliniază provocările continue ale securității în AI, în special pentru sistemele generative avansate cum ar fi Google Gemini. Utilizatorii trebuie să fie precauți în interacțiunile online și să fie conștienți de riscuri, menținând astfel o siguranță sporită a datelor personale și a interacțiunilor lor cu AI-ul.
Sursa articolului:
https://cybersecuritynews.com/hackers-exploit-gemini-prompt-injection/
Pe Threat Spotting apar articole identificate de specialiști în securitate cibernetică și simplificate prin inteligență artificială (AI). De aceea, e bine să consultați sursele oficiale întrucât tehnologiile AI curente pot genera informații incomplete sau parțial adevărate. Citește mai multe despre proiect aici.
