Nu steeds meer organisaties Artificial Intelligence (AI) toepassingen ontwikkelen, rijst de vraag hoe secure deze eigenlijk zijn. AI-systemen kunnen om de tuin geleid worden met alle gevolgen van dien. Daarom heeft de AIVD de brochure ‘AI-systemen: ontwikkel ze veilig’ gepubliceerd. In deze blog een opsomming van het type aanvallen dat nu al plaatsvindt tegen AI-systemen en de 5 stappen om uw systeem hiertegen te wapenen.

 5 type aanvallen tegen AI-systemen

In de brochure onderscheidt de Algemene Inlichtingen- en Veiligheidsdienst (AIVD) 5 type aanvallen tegen AI-systemen.

Welke dat zijn?

1. Poisoning aanvallen

Bij deze aanval wordt geprobeerd om aanpassingen te maken in de data, het algoritme of het model. Hierdoor wordt het AI-systeem als het ware vergiftigd en werkt het niet meer naar behoren.

2. Input (evasion) aanvallen

Een AI-systeem wordt bij dit type aanval om de tuin geleid, zodat het systeem niet (goed) meer werkt. Dit gebeurt door middel van specifieke input, zoals ruis over een foto.

3. Backdoor aanvallen

Hierbij wordt een achterdeurtje in het AI-model gebouwd, waardoor een externe partij een extra pad kan toevoegen. Hiermee kan de uiteindelijke beslissing van het model worden bepaald.

4. Model reverse engineering & inversion aanvallen

Het doel van deze aanval is om erachter te komen hoe een AI-model werkt, zodat de dataset die gebruikt is om het model te trainen geconstrueerd kan worden.

5. Inference aanvallen

Dit type aanval is gericht op het achterhalen of een specifieke set gegevens is gebruikt als trainingsdata voor een model.

Wapen je AI-systeem in 5 stappen tegen aanvallen

Het beveiligen van AI-systemen is heel belangrijk. Door de systemen voor ons te laten denken, zijn de gevolgen van kwaadwillende manipulaties groter dan ooit. Tegelijk is het algoritme achter deze systemen heel waardevol en wilt u niet dat deze (ongemerkt) gekopieerd wordt.

Het is dan ook niet genoeg om AI-systemen enkel van algemene cybersecuritymaatregelen te voorzien. De AIVD adviseert om veiligheid al vanaf het ontwerp mee te nemen in een AI-systeem. Hiervoor zijn 5 stappen of principes geformuleerd die helpen bij het nadenken over het veilig ontwikkelen en gebruiken van AI-modellen.

1. Datakwaliteit op orde

Een AI-systeem leeft op data. De kwaliteit van die data is dan ook van groot belang. Zorg dus dat de data die gebruikt wordt gestructureerd is, de databronnen bekend zijn en de kwaliteit ervan controleerbaar is.

Ook zijn er manieren om de data te bewerken, waardoor het lastiger wordt om deze te manipuleren. De AIVD benoemt datatransformaties, gradient shaping en NULL-labeling.

2. Validatie van data

Bij data uit externe bronnen is niet altijd bekend hoe die tot stand is gekomen. Het is dan ook belangrijk om de data goed te kunnen valideren. Zorg dat u weet hoe de dataset tot stand is gekomen en dat u niet te afhankelijk bent van een enkele databron.

Op externe data kunt u meestal geen invloed uitoefenen en die afhankelijkheid maakt uw systeem kwetsbaar. Het is daarom belangrijk om externe bronnen continu te monitoren en waar mogelijk proactief te controleren.

3. Supply chain security

Downloadt u een kant-en-klaar AI-model of laat u er één door een externe partij inrichten? Dan bestaat er het risico op een backdoor-aanval. Om een backdoor te herkennen heeft u veel kennis van het model en het systeem nodig.

Heeft u echt een externe partij nodig voor de ontwikkeling van uw AI-systeem? Controleer dan hoe betrouwbaar de leverancier is en welke garanties er zijn om de partij in kwestie te vertrouwen. Dit wordt ook wel supply chain security genoemd.

4. Robuust tegen aanvallen

Door bovenstaande stappen toe te passen, maakt u een AI-systeem al meer robuust tegen aanvallen. Met deze vierde stap zorgt u dat het model ook getraind wordt tegen mogelijke aanvallen.

De AIVD deelt in haar brochure meerdere manieren om een AI-model te trainen, waaronder adversarial training. Door dit type training herkent een model aangepaste, kwaadaardige data en is hier tegen bestand.

5. Controleerbaarheid

Zorg dat uw AI-model geen black box wordt. Een model geeft immers voorspellingen, maar hoe komen die tot stand? Of zoals de AIVD in haar brochure zegt: “herkent jouw beeldherkenningsmodel echt de paarden op afbeeldingen, of wordt het model om de tuin geleid door een onopvallend watermerk?”

Door bij het bouwen en trainen van een model rekening te houden met de controleerbaarheid, krijgt u meer grip. Dit wordt ook wel Explainable AI genoemd.

Zorg dat u niks mist!

Abonneer u direct op onze nieuwsbrief en ontvang onze blogs maandelijks in uw mailbox.