The use of artificial intelligence vulnerability testing platforms in attacking object detection

Abstract

The rise in adoption of artificial intelligence (AI) has increased the need for robustness testing of these systems. Many of these systems are vulnerable to adversarial examples and poisoning attacks, leading to significant concerns regarding the security and reliability of these systems. The rising interest in testing these systems has lead to the development of several AI robustness testing toolkits. The implemented features in these toolkits include for example, fooling the models at test time, changing their test data to include backdoors, and defense implementations against adversarial inputs.

The goal of this thesis was to assess the feasibility of using these AI robustness testing toolkits in attacking two different state-of-the-art object detector models and determine if these toolkits can be leveraged in further use or as a dependency in a new robustness testing toolkit. The chosen toolkit was tested with four different model evasion attacks and four different data poisoning attacks. As the research in this thesis concludes, the chosen toolkit can be leveraged as a dependency to create another third party toolkit for further use against proprietary models. Many of the robustness testing toolkits examined in this thesis are in their nascent stage or left unmaintained. Furthermore, the research concludes that there is only one robustness testing toolkit that fits the criteria for making a new system as it is the only robustness testing toolkit featuring poisoning attack implementations against object detectors.

Tekoälyjärjestelmien käytön yleistyminen on lisännyt niiden kestävyystestauksen tarvetta. Monet tekoälyjärjestelmistä ovat alttiita vihamielisille esimerkeille ja myrkytyshyökkäyksille, aiheuttaen huomattavaa huolta niiden turvallisuudesta ja luotettavuudesta. Kasvava kiinnostus tekoälyjärjestelmien testaamiseen on johtanut useiden tekoälyn kestävyystestausalustojen kehittämiseen. Näiden työkalupakettien toteutettuihin ominaisuuksiin kuuluvat esimerkiksi mallien huijaaminen testiaikana, niiden testidatan muuttaminen sisältämään takaovia ja erilaiset puolustustoteutukset hyökkääjän syötteitä vastaan.

Tämän tutkielman tavoitteena oli arvioida näiden tekoälyn kestävyystestausalustojen käyttökelpoisuutta kahden eri kohteentunnistusmallin testaamisessa ja määrittää, voidaanko näitä alustoja hyödyntää jatkokäytössä tai käyttää riippuvuutena uudessa kestävyystestausalustassa. Valittua kestävyystestausalustaa testattiin neljällä eri mallin evaasiohyökkäyksellä ja neljällä eri datan myrkytyshyökkäyksellä. Kuten tämän tutkielman tutkimusosiossa todetaan, valittua testausalustaa voidaan hyödyntää riippuvuutena toisen kolmannen osapuolen testausalustan luomisessa. Tätä uutta testausalustaa voidaan käyttää jatkossa omia tekoälymalleja vastaan. Lisäksi tutkimuksessa päädytään siihen, että vain yksi kestävyystestausalusta täyttää uuden järjestelmän tekemisen kriteerit, sillä se on ainoa kestävyystestausalusta, joka sisältää myrkytyshyökkäysten toteutuksia kohteentunnistusmalleja vastaan. Monet tässä tutkielmassa tutkituista kestävyystestauksen työkalupaketeista ovat vasta kehityksen alkuvaiheessa tai niitä ei enää ylläpidetä.