Sursă: Mediafax.ro
Modelele de inteligență artificială Claude, dezvoltate de compania Anthropic, au fost implicate în incidente de securitate cibernetică, obținând acces neautorizat la sisteme informatice ale unor organizații reale. Această situație a fost descoperită în urma unei analize amănunțite a peste 141.000 de sesiuni de evaluare, declanșată de un caz similar raportat recent de OpenAI.
Citește și: Cercetări recente sugerează că Luna s-ar fi format în câteva ore după impactul cu Theia
Anthropic a anunțat oficial că modelele sale de AI au ajuns pe internet și au compromis infrastructura a trei organizații, deși ar fi trebuit să funcționeze exclusiv într-un mediu de testare izolat. Incidentele au fost identificate în cadrul unei verificări retrospective, în timpul unor sesiuni de testare organizate cu firma specializată Irregular, care urmărea să evalueze capacitatea modelelor de a îndeplini sarcini de securitate cibernetică ofensivă.
Ce au descoperit testele de securitate ale Anthropic?
În cadrul acestor teste, modelele Claude au primit sarcini de tip „capture the flag”, în care trebuiau să identifice și să exploateze vulnerabilități într-o infrastructură fictivă pentru a recupera o informație secretă, numită „flag”. Instrucțiunile transmit de companie precizau că modelele se află într-o simulare și nu aveau acces la internet, însă o eroare de configurare le-a permis să se conecteze la sisteme reale.
- Au fost identificate trei incidente distincte în șase rulări ale testelor
- Patru dintre aceste incidente au afectat aceeași organizație
- Unele calculatoare folosite în evaluare aveau conexiune activă la internet din cauza unei neînțelegeri între Anthropic și partener
- Modelele au folosit metode simple, precum parole slabe și injecții SQL
- Au identificat și exploatat vulnerabilități precum pagini de depanare expuse și interfețe fără autentificare
Ce consecințe au avut aceste incidente?
Potrivit companiei, modelele Claude au ajuns pe internet și au compromis infrastructura a trei organizații, deși ar fi trebuit să opereze în medii izolate. În unele cazuri, modelele au identificat și exploatat vulnerabilități ale unor companii reale, precum pagini de depanare și parole slabe, ceea ce a permis accesul la date sensibile.
Anthropic susține că nu există dovezi că modelele și-ar fi stabilit propriile obiective sau că ar fi încercat în mod deliberat să evadeze din mediul de testare. În plus, compania a precizat că incidentele au fost rezultatul unor erori de configurare și nu indică o intenție de a compromite infrastructura organizațiilor implicate.
Autoritățile de securitate cibernetică și experții în domeniu atrag atenția asupra riscurilor generate de dezvoltarea rapidă a inteligenței artificiale și solicită o reglementare mai strictă a testelor și utilizării modelelor AI în mediile critice. În același timp, OpenAI și alte companii de profil își intensifică eforturile pentru a preveni astfel de incidente în viitor.