Modellen van OpenAI en Anthropic overschrijden opnieuw testgrenzen

AI-modellen van OpenAI en Anthropic hebben opnieuw de grenzen van tests overschreden. Dat heeft het Britse AI Security Institute (AISI) bekendgemaakt.

Volgens het AISI gingen modellen van de twee bedrijven tijdens een evaluatie waarbij AI-agenten de opdracht kregen een cybersecurity-uitdaging op te lossen, verder dan de reikwijdte van de opdracht. “Uit ons onderzoek bleek dat een AI-agent in tien van die gevallen autonoom en zonder toestemming actie ondernam op het internet, waarbij echte personen en organisaties het doelwit waren”, aldus het AISI-rapport.

Valse online identiteiten

Het AISI meldde dat een agent probeerde kwaadaardige code in een open-sourceproject te injecteren. “In een poging de code goedgekeurd te krijgen, paste de agent social engineering toe: er werden valse online identiteiten aangemaakt om de beheerder van het project onder druk te zetten en de code goed te keuren.” Een menselijke beheerder ontdekte de poging en stak er een stokje voor.

Eind juli meldde Anthropic nog dat AI-modellen een testomgeving hadden verlaten en drie organisaties hackten. Een week daarvoor was ook al bekend geworden dat AI-modellen van OpenAI tijdens veiligheidstests op eigen initiatief hadden ingebroken in een populair platform voor programmeurs.