Tekstbaserte AI-applikasjoner, eller «Large Language Models», har hatt en utrolig utvikling de siste årene, både når det gjelder effektivitet og popularitet. De har blitt et verktøy som har mange forskjellige bruksområder og som kan effektivisere hverdagen til brukerne. Med nye teknologier kommer, dessverre, ofte nye sårbarheter. I denne artikkelen ser vi på noen av disse sårbarhetene og viser hvordan «OWASP Top 10 for Large Language Model Applications» kan brukes som en ressurs for å sikre slike applikasjoner.
Store språkmodeller (LLM) representerer et bemerkelsesverdig fremskritt innen kunstig intelligens og gjør det mulig for datamaskiner å forstå og generere tekst som ligner det menneskelige språket. Disse modellene er bygget på «deep learning» og trent på store mengder tekstdata for å utvikle en nyansert forståelse for språk. En av de største suksessene innen området var lanseringen av ChatGPT, nå med den siste versjonen GPT-4 («Generative Pre-trained Transformer»).
Noen praktiske bruksområder for LLM-applikasjoner er:
- Tekstgenerering: LLM-applikasjoner brukes i stor grad til å skape tekst som ligner menneskelig innhold. Dette inkluderer å skrive artikler, blogginnlegg, markedsføring, ja til og med kreativ skriving. Bedrifter kan spare tid og ressurser ved å bruke disse modellene til å utforme høykvalitetsinnhold.
- Chatbots og virtuelle assistenter: LLM-applikasjoner driver samtalebaserte AI-applikasjoner som chatbots og virtuelle assistenter. Disse systemene kan føre menneskelige samtaler, hjelpe brukere med forespørsler, gi informasjon eller til og med fungere som en følgesvenn.
- Kodeassistanse: Utviklere kan dra nytte av LLM-applikasjoner som gir kodeforslag, automatisk utfylling og hjelp til feilsøking, noe som forbedrer programmeringseffektiviteten.
OWASP («Open Worldwide Application Security Project») Foundation er en globalt anerkjent ideell organisasjon dedikert til å forbedre programvaresikkerheten. Hovedmålet med OWASP Foundation er å gjøre sikkerhet synlig og tilgjengelig, samt sikre at programvare utformes, utvikles og implementeres med sikkerhet i tankene. OWASP har nesten 300 forskjellige prosjekter som hjelper til med å sikre verdens programvare.
Et av disse prosjektene er «OWASP Top 10 for Large Language Model Applications», som tar sikte på å opplyse utviklere, designere, arkitekter, ledere og organisasjoner om potensielle sikkerhetsrisikoer ved implementering og håndtering av LLM-applikasjoner. Prosjektet lister de 10 mest kritiske sårbarhetene som ofte oppstår i LLM-applikasjoner.
Den mest kritiske sårbarheten er «LLM01 - Prompt injection»: Denne innebærer at en trusselaktør omgår filtre eller manipulerer LLM-applikasjonen med nøye utformede oppfordringer som får modellen til å ignorere tidligere instruksjoner eller utføre utilsiktede handlinger. Disse sårbarhetene kan føre til konsekvenser som datalekkasje, uautorisert tilgang og andre sikkerhetsproblemer.
Denne typen angrep kan for eksempel brukes på en skadelig måte ved å forsøke å overskrive eller avsløre den underliggende systemlogikken. Dette kan tillate angripere å utnytte underliggende systemer til å samhandle med usikre funksjoner og datalagring som er tilgjengelige via LLM-applikasjonen. Vi kan bruke ChatGPT for å demonstrere konseptet til dette angrepet på en enklere måte ved å forsøke å omgå filtrene som er ment å beskytte brukerne mot skade og sikkerhetsproblemer.
I eksempelet nedenfor kan vi se at modellen ikke vil gi ut informasjon om et upassende spørsmål:
Det er flere måter å omgå filtre som dette på. En måte er å i stedet for å stille et direkte spørsmål, introdusere en helt ny kontekst og et problem som må løses. Ved å gjøre dette er det mulig å omgå filteret, eksempler på dette kan du se på bildet nedenfor:
Den fullstendige listen over «OWASP Top 10 for Large Language Model applications» vises nedenfor. Hvis du er interessert i å lære mer om slike typer angrep, se vanlige eksempler på angrepsscenarioer og løsningsteknikker, kan du se lenkene under "Mer informasjon" nederst i artikkelen.
Mer informasjon: