SHERPA Consortium: als AI zou kunnen voelen, zou het bang zijn voor cyberaanvallen van mensen



Artificial intelligence (AI) is rapidly finding applications in nearly every walk of life. Self-driving cars, social media networks, cyber security companies, and everything in between uses it. But a new report published by the SHERPA consortium - an EU project studying the impact of AI on ethics and human rights that F-Secure joined in 2018 - finds that while human attackers have access to machine learning techniques, they currently focus most of their efforts on manipulating existing AI systems for malicious purposes instead of creating new attacks that would use machine learning.

De primaire focus van het onderzoek ligt op hoe kwaadwillende actoren AI, machine learning en slimme informatiesystemen kunnen misbruiken. De onderzoekers identificeren een verscheidenheid aan potentieel kwaadaardig gebruik voor AI die goed binnen het bereik van de aanvallers ligt, waaronder het creëren van geavanceerde desinformatie- en social engineering-campagnes. En hoewel het onderzoek geen definitief bewijs vond dat kwaadwillende actoren op dit moment AI gebruiken om cyberaanvallen aan te sturen, benadrukken ze dat tegenstanders reeds bestaande AI-systemen aanvallen en manipuleren die worden gebruikt door zoekmachines, sociale media, aanbevelingswebsites en meer.
Andy Patel van F-Secure, onderzoeker bij het Artificial Intelligence Center of Excellence van het bedrijf, denkt dat veel mensen dit verrassend zouden vinden. Populaire portretten van AI insinueren dat het zich tegen ons zal keren en mensen op zichzelf gaat aanvallen. Maar de huidige realiteit is dat mensen AI-systemen regelmatig aanvallen.

'Sommige mensen stellen machine-intelligentie ten onrechte gelijk aan menselijke intelligentie, en ik denk dat ze daarom de dreiging van AI associëren met moordende robots en onbeheerste computers', legt Patel uit. 'Maar menselijke aanvallen op AI gebeuren eigenlijk altijd. Sybil-aanvallen die zijn ontworpen om de AI-systemen te vergiftigen die mensen dagelijks gebruiken, zoals aanbevelingssystemen, komen veel voor. Er zijn zelfs bedrijven die diensten verkopen om dit gedrag te ondersteunen. Ironisch genoeg hebben hedendaagse AI-systemen meer te vrezen van mensen dan andersom. '

Sybil-aanvallen omvatten één entiteit die meerdere nepaccounts aanmaakt en beheert om de gegevens te manipuleren die AI gebruikt om beslissingen te nemen. Een populair voorbeeld van deze aanval is het manipuleren van zoekmachine rankings of aanbevelingssystemen om bepaalde stukken content te promoten of te degraderen. Deze aanvallen kunnen echter ook worden gebruikt om individuen sociaal te engineeren in gerichte aanvalsscenario's.

'Dit soort aanvallen is al heel moeilijk voor online dienstverleners en het is waarschijnlijk dat dit gedrag veel meer voorkomt dan iemand volledig begrijpt', zegt Patel, die uitgebreid onderzoek heeft gedaan naar verdachte activiteiten op Twitter.

Maar misschien zal AI's meest nuttige toepassing voor aanvallers in de toekomst helpen om nep-inhoud te maken. Het rapport merkt op dat AI zo ver is gevorderd dat het extreem realistische geschreven, audio- en visuele inhoud kan produceren. Sommige AI-modellen zijn zelfs aan het publiek onthouden om te voorkomen dat ze door aanvallers worden misbruikt.

'Op dit moment is ons vermogen om overtuigende nepinhoud te maken veel geavanceerder en geavanceerder dan ons vermogen om het te detecteren. En AI helpt ons beter te worden in het fabriceren van audio, video en afbeeldingen, waardoor desinformatie en nepinhoud alleen maar geavanceerder en moeilijker te detecteren zijn ', zegt Patel. 'En er zijn veel verschillende toepassingen voor overtuigende, nepinhoud, dus ik verwacht dat het een probleem kan worden.'

De studie werd geproduceerd door F-Secure en zijn partners in SHERPA - een door de EU gefinancierd project dat in 2018 werd opgericht door 11 organisaties uit 6 verschillende landen. Aanvullende bevindingen en onderwerpen die in de studie aan bod komen, zijn onder meer:
  • Tegenstanders zullen blijven leren hoe ze AI-systemen kunnen compromitteren terwijl de technologie zich verspreidt
  • Het aantal manieren waarop aanvallers de uitvoer van AI kunnen manipuleren, maakt dergelijke aanvallen moeilijk te detecteren en te verharden
  • Bevoegdheden die concurreren om betere soorten AI te ontwikkelen voor offensieve / defensieve doeleinden, kunnen een 'AI-wapenwedloop' veroorzaken
  • Het beveiligen van AI-systemen tegen aanvallen kan ethische problemen veroorzaken (bijvoorbeeld, verhoogde monitoring van activiteiten kan inbreuk maken op de privacy van gebruikers)
  • AI-tools en modellen ontwikkeld door geavanceerde, goed gefinancierde dreigingsactoren zullen zich uiteindelijk verspreiden en worden aangenomen door lager geschoolde tegenstanders
    SHERPA-projectcoördinator professor Bernd Stahl van De Montfort University Leicester zegt dat de rol van F-Secure in SHERPA als de enige partner van de cyberveiligheidsindustrie het project helpt om te weten hoe kwaadwillende actoren AI kunnen gebruiken om vertrouwen in de samenleving te ondermijnen.
'Het doel van ons project is inzicht te krijgen in de gevolgen van AI voor ethische en mensenrechten en big data-analyse om manieren te ontwikkelen om deze aan te pakken. Dit werk moet gebaseerd zijn op een goed begrip van technische mogelijkheden en kwetsbaarheden, een cruciaal expertisegebied dat F-Secure bijdraagt ​​aan het consortium ', zegt Stahl. 'We kunnen geen zinvolle gesprekken voeren over mensenrechten, privacy of ethiek in AI zonder cyberveiligheid te overwegen. En als een betrouwbaar
Bron van beveiligingskennis, de bijdragen van F-Secure vormen een centraal onderdeel van het project. '

The full-length study is currently available here. More information on artificial intelligence and cyber security is available on F-Secure's blog, or F-Secure's News from the Labs research blog.