Nedlastingen: introduksjon til Nature-nummeret
Introduksjon til AI Security Governance Framework
Den teknologiske akselerasjonen vi opplever har ført til at AI-systemer raskt blir implementert uten tilstrekkelig kontroll og overvåking. Ifølge den nyeste utgivelsen fra Mend, AI Security Governance: A Practical Framework for Security and Development Teams, er dette et stort problem som mange organisasjoner står overfor. Med støtte for detaljerte tiltak for å håndtere sikkerhetsutfordringer knyttet til AI, fokuserer rammeverket på betydningen av synlighet i AI-governance.
AI-governance krever en høy grad av gjennomsiktighet og arbeidsprosesser som lar organisasjoner effektivt spore, administrere og beskytte sine AI-tilganger. I rammeverket defineres AI-ressurser bredt for å inkludere verktøy for AI-utvikling, tredjeparts APIer, åpne kildekodede modeller, samt interne og autonome AI-agenter. Dette er sentralt for å unngå det som ofte omtales som «shadow AI», hvor verktøy benyttes uten godkjenning fra sikkerhetsteamet – et problem som er både vanlig og risikabelt.
Risiko og kategorisering av AI-deployeringer
Rammeverket introduserer et risikotiersystem som kategoriserer AI-deployeringer basert på ulike faktorer. Hver AI-ressurs vurderes på en skala fra 1 til 3, med fokus på fem dimensjoner: Databasens sensitivitet, beslutningsmyndighet, systemtilgang, ekstern eksponering og opprinnelse i forsyningskjeden. Det er viktig å forstå at en modells risikokategori kan endres dramatisk uten at koden nødvendigvis endres – for eksempel når det legges til skrive-tilgang eller eksponering til eksterne brukere.
Prinsippet om minste privilegium er essensielt i AI-systemer. Dette prinsippet tilsier at AI-tilgang kun skal gis for de ressurser som er nødvendige for å utføre oppgaven. API-nøkler må spesifiseres strengt, og det bør unngås å dele legitimasjon mellom AI og menneskelige brukere. Lesetilgang bør være standard der skrivetilgang ikke er nødvendig. Videre er det avgjørende å ha kontroll på utdataene fra AI-systemene for å forhindre lekkasje av sensitiv informasjon.
Overvåkning og compliance for AI-modeller
Ett av de viktigste tiltakene for å håndtere risikoen forbundet med AI-drift er etableringen av spesifikke overvåkningslag. Det kreves en grundig overvåking for å oppdage indikatorer på promptinjeksjon, atferdsmanipulering og annen skadelig aktivitet. Rammeverket introduserer også begrepet AI Bill of Materials (AI-BOM), som utvider det tradisjonelle konseptet med programvarekomponenter til også å inkludere modeller, data og infrastruktur knyttet til AI.
En komplett AI-BOM skal inneholde detaljer som modellens navn, versjon, opprinnelse, treningsdata, avhengigheter og kjente sårbarheter med deres status. Når flere reguleringer, som EU AI Act, uttrykkelig nevner krav til åpenhet i forsyningskjeden, blir AI-BOM et verdifullt verktøy for compliance.
I tillegg til overvåking er det avgjørende at AI-systemene overholder relevante reguleringer for å beskytte brukere og data. Dette krever at virksomheten implementerer gode rutiner for sikkerhet og ansvarlighet når de utvikler og distribuerer AI-løsninger.
Praktiske implikasjoner
Det er klart at den tradisjonelle IT-sikkerheten ikke er tilstrekkelig for dagens AI-drevne miljøer. Eksempelvis har bedrifter som har implementert AI uten å anvende de foreslåtte sikkerhetskarakteristikkene, ofte opplevd datalekkasje eller ineffektive modeller som ikke har de nødvendige sikkerhetstiltakene på plass.
For produktledere og teknikere betyr dette en endring i tilnærmingen til AI-implementeringer. De må sørge for at eksisterende sikkerhetsprosedyrer oppdateres og tilpasses for å inkludere overvåking av AI-modeller, samt integrere prinsippene fra AI-governance-rammeverket. Implementering av AI-BOM og risikokategorisering kan avskrekke misbruk av AI-funksjoner og gi en robust overholdelse av aktuelle reguleringer. Ved bevisst å prioritere synlighet i AI-governance kan man ikke bare redusere risiko, men også styrke tilliten til AI i organisasjonen.
Avslutning
Det er en utfordrende tid for organisasjoner i det teknologiske landskapet, spesielt med integreringen av AI i hvitt arbeid. Mends rammeverk gir en verdifull ressurs for å styre denne utfordringen. Med tiltakene nevnt her kan norske produktledere, gründere og teknologi-interesserte begynne å navigere i kompleksiteten ved AI-sikkerhet, og dermed skape en mer ansvarlig og trygg framtid for AI-drift.
