Mit ‚Creation Attacks‘ KI-Systeme auf den Prüfstand stellen

Wie sicher ist künstliche Intelligenz (KI)? Sieht eine Maschine ihre Umwelt anders als der Mensch? Kann man der Einschätzung eines Algorithmus vertrauen? Mit diesen und weiteren Fragen beschäftigen wir uns im Projekt "SuKI - Sicherheit für und mit künstlicher Intelligenz". Je weiter KI in unseren Alltag integriert wird, desto mehr drängen sich diese Fragestellungen auf: Wenn kritische Entscheidungen – sei es im Straßenverkehr, im Finanzsektor oder gar im medizinischen Bereich – von autonomen Systemen getroffen werden sollen, ist es essentiell, KI vertrauen zu können. Im Rahmen von SuKI ist es uns nun gelungen, das State-of-the-Art Objekterkennungssystem YoloV3 [0] auszutricksen.

Wie sich KI durch gezielte Angriffe austricksen lässt

Ein buntes Fraunhofer-Logo auf einem Smartphone wird als Auto klassifiziert (siehe Abbildung 1). Mit unserem Angriff haben wir gezeigt, wie einfach es ist, KI-basierte Erkennungsverfahren so zu manipulieren, dass sie Objekte erkennen, wo physisch keine sind. Eine Täuschung, die zum Beispiel im Straßenverkehr erhebliche Konsequenzen haben kann. Diese sogenannten „Creation Attacks“ funktionieren mit beliebigen Objekten und lassen sich vor menschlichen Beobachtern verstecken. Anwendung finden unsere Erkenntnisse bereits im Rahmen des Fraunhofer-Cluster of Excellence Cognitive Internet Technologies CCIT im Projekt SmartIO zur Verbesserung einer intelligenten Straßenkreuzung.

Abbildung 1: Ein buntes Fraunhofer-Logo auf einem Smartphone wird als Auto klassifiziert.

Angriffe von innen und außen

Wie ist das Team hierbei vorgegangen? Schon seit einigen Jahren beschäftigen wir uns mit sogenannten „Adversarial Examples“. Dies sind präperierte Bilder oder Audiodateien mit speziellen Eigenschaften, die KI-Algorithmen zu falschen Klassifkationen verleiten. Ein menschlicher Beobachter nimmt diese Veränderungen der Bild- und Audiodateien meist gar nicht wahr – die KI jedoch erkennt genau das, was die Angreifenden sie erkennen lassen möchten.

In ihrer ursprünglichen Variante konnten diese Angriffe nur durchgeführt werden, wenn die Eingabe, also zum Beispiel das manipulierte Bild, direkt an den Computer übergeben wurde. Die neue Generation der Angriffe ist umso realistischer, da sie auch aus der Ferne, also auch über die Bilder einer Kamera, funktionieren. Einen solchen Angriff, in der Fachsprache „Physical Adversarial Attack“genannt, haben wir nun verfeinert. Hierbei haben wir, aufbauend auf Arbeiten internationaler Forschenden [1,2,3], einen Ansatz weiterentwickelt, mit welchem die Angriffe robuster werden. 

Abbildung 2: Ein sogenanntes „Adversarial Example“ ist verleitet KI-Algorithmen zu falschen Klassifkationen.

Algorithmus analysiert neuronales Netz

Technisch wird ein Algorithmus verwendet, der das neuronale Netz zur Objekterkennung genau analysiert. Mittels Gradienten-basierter Verfahren kann nachvollzogen werden, wie die Eingabe angepasst werden muss, um das zugrundeliegende neuronale Netz zu täuschen. Im Optimierungsprozess haben wir ein Bild erstellt, das für die KI aussieht wie aus der Klasse des Zielobjekts. Dies führt zu hohen Erkennungsraten, selbst dann, wenn physisch gar kein Objekt vorliegt. Um die Angriffe vor menschlichen Beobachtern zu verstecken, haben wir zusätzlich berücksichtigt, dass die Manipulationen nur in einem bestimmten Bereich stattfinden dürfen, im dargestellten Beispiel also nur im Bereich des Fraunhofer-Logos. Da wir während der Erstellung des Angriffsmusters äußerliche Veränderungen wie Lichteinfall und Farbveränderungen simuliert haben, funktioniert der Angriff auch in der „echten Welt“ zuverlässig. Im Generierungsprozess haben wir die Eingabe iterativ erneuert: In jedem Schritt wird der Angriff so optimiert, dass er in verschiedenen Szenarien und unter diversen Transformationen seine Funktion behält.

Dasselbe Vorgehen funktioniert auch für andere Zielobjekte: So kann das bunte Logo statt zu einem Auto auch zu einer Fußgängerin oder einem Straßenschild werden.

Und wieso ist das relevant? Angriffe dieser Art können beispielsweise kritische Auswirkungen auf die Sicherheit autonomer Fahrzeuge haben: Angreifende können z.B. das Fahrverhalten eines anderen Autos beeinflussen, wenn sie mit dem Bild auf einem Smartphone die Objekterkennung im Fahrzeug austricksen.

Forschungsbedarfe erkennen und Angriffe abwehren

Mit unserem konkreten Anwendungsbeispiel wollen wir auf den weiteren Forschungsbedarf für diese Technologien aufmerksam machen. Im Forschungsprojekt SuKI werden neben der Anwendung im autonomen Fahrzeug noch weitere Einsatzfelder untersucht. Ein weiterer Fokus des Projekts liegt beispielsweise auf dem Einsatz von künstlicher Intelligenz in Spracherkennunssystemen oder bei der Zugangskontrolle. Insbesondere beschäftigen wir uns auch damit, wie derartige Angriffe abgewehrt werden können, indem wir KI-Verfahren robust gegenüber solchen Angriffen gestalten. Die entsprechenden Forschungsergebnisse wurden bereits auf hochrangigen Konferenzen präsentiert [4-7].

[0] REDMON, Joseph; FARHADI, Ali. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018.

[1] CHEN, Shang-Tse, et al. Shapeshifter: Robust physical adversarial attack on faster r-cnn object detector. In: Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham, 2018. S. 52-68.

[2] ATHALYE, Anish, et al. Synthesizing robust adversarial examples. In: International conference on machine learning. ICML, 2018. S. 284-293.

[3] CARLINI, Nicholas; WAGNER, David. Towards evaluating the robustness of neural networks. In: 2017 ieee symposium on security and privacy (sp). IEEE, 2017. S. 39-57.

[4] SCHULZE, Jan-Philipp; SPERL, Philip; BÖTTINGER, Konstantin. DA3G: Detecting Adversarial Attacks by Analysing Gradients. In: European Symposium on Research in Computer Security. Springer, Cham, 2021. S. 563-583.

[5] SPERL, Philip; BÖTTINGER, Konstantin. Optimizing Information Loss Towards Robust Neural Networks. arXiv preprint arXiv:2008.03072, 2020.

[6] DÖRR, Tom, et al. Towards resistant audio adversarial examples. In: Proceedings of the 1st ACM Workshop on Security and Privacy on Artificial Intelligence. 2020. S. 3-10.

[7] SPERL, Philip, et al. DLA: dense-layer-analysis for adversarial example detection. In: 2020 IEEE European Symposium on Security and Privacy (EuroS&P). IEEE, 2020. S. 198-215a

Weiterführende Informationen
Autoren
Karla_Markert2
Karla Pizzi

Karla Pizzi arbeitet seit 2018 nach einem Studium in Mathematik, Politikwissenschaft und Informatik als wissenschaftliche Mitarbeiterin am Fraunhofer AISEC. In der Forschungsabteilung Cognitive Security Technologies beschäftigt sie sich aktuell vornehmlich mit Adversarial Examples, um Systeme der Künstlichen Intelligenz vor Manipulation zu schützen. 

Jan-Philipp_Schulze_2
Jan-Philipp Schulze

Jan-Philipp Schulze hat an der ETH Zürich Elektrotechnik und Informationstechnologie studiert und ist seit Januar 2019 als wissenschaftlicher Mitarbeiter am Fraunhofer AISEC tätig. Zudem promoviert er in Informatik an der TU München. Sein Forschungsschwerpunkt in der Forschungsabteilung Cognitive Security Technologies liegt auf Anomalie-Erkennung und Adversarial Machine Learning.

Most Popular

Keinen Beitrag verpassen?

Bitte geben Sie Ihre E-Mail-Adresse ein, um keinen Blog-Beitrag zu verpassen.
Bitte füllen Sie das Pflichtfeld aus.
Bitte füllen Sie das Pflichtfeld aus.
Bitte füllen Sie das Pflichtfeld aus.

* Pflichtfeld

* Pflichtfeld

Mit dem Ausfüllen des Formulars akzeptieren Sie unsere Datenschutzerklärung.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Weitere Artikel

gallia – ein erweiterbares Framework für Penetrationstests

gallia ist ein erweiterbares Framework für Penetrationstests mit Fokus auf den Automotive-Bereich, das von Fraunhofer AISEC unter der Apache 2.0 Lizenz entwickelt wurde. Der Anwendungsbereich der Toolchain umfasst die Durchführung von Penetrationstests von einem einzelnen Steuergerät bis hin zu ganzen Fahrzeugen. Derzeit liegt der Hauptfokus von Testings auf der UDS-Schnittstelle, ist aber nicht darauf beschränkt.
Der folgende Blogartikel gibt einen Gesamtüberblick über die Architektur von gallia. Er geht auf die Plugin-Schnittstelle sowie den beabsichtigten Automotive-Anwendungsfall ein. Der Beitrag behandelt zudem die Interaktion zwischen einzelnen Komponenten und zeigt, wie gallia für andere Anwendungsfälle erweitert werden kann.

Weiterlesen »

Sicherheitskritische Risiken mit Android App Links

Android App Links ermöglichen die Verknüpfung von Webinhalten mit mobilen Anwendungen. Die bestehenden Systeme weisen jedoch mehrere sicherheitskritische Probleme auf – vor allem drei verschiedene Arten des Link-Hijacking. Bisher gab es kaum Informationen über den Forschungsstand hinsichtlich dieser Sicherheitslücken. Wurden sie bereits behoben und wann? Wie funktionieren unsichere Übertragungswege von Webinhalten zu mobile Anwendungen? Dieser Beitrag informiert über den Stand dieser Probleme und zeigt Wege auf, den Transfer sicherer zu gestalten.

Weiterlesen »

Eine behutsame Einführung in die gitterbasierte Post-Quanten-Kryptografie

In den letzten Jahren wurden erhebliche Fortschritte bei der Erforschung und Entwicklung von Quantencomputern erzielt. Ein voll entwickelter Quantencomputer wird in der Lage sein, eine Reihe von mathematischen Problemen – wie die ganzzahlige Faktorisierung und den diskreten Logarithmus – effizient zu lösen, die die Grundlage für eine Vielzahl von kryptografischen Verfahren bilden. Im Jahr 2016 hat das US-amerikanisch National Institute of Standards and Technology (NIST) einen offenen Wettbewerb ausgeschrieben, mit dem Ziel, geeignete Algorithmen für quantenresistente Kryptografie zu finden und zu standardisieren. Die Standardisierungsbemühungen des NIST streben sichere Post-Quanten-KEMs und digitale Signaturen an. In diesem Artikel werden zwei der zu standardisierenden Algorithmen, Kyber und Dilithium, vorgestellt und einige ihrer mathematischen Details skizziert. Beide Algorithmen basieren auf sogenannten Gittern und dem darauf aufbauenden »Learning with Errors«, die im Artikel näher beleuchtet werden.

Weiterlesen »