Skip to main content

Über das Projekt

Der Einsatz von Künstlicher Intelligenz (KI) bedeutet für die Arbeitswelt enorme Chancen, birgt aber auch große Risiken, wenn Maschinen direkt mit Menschen interagieren oder beispielsweise ihre Qualifikationen bewerten. KI-Technologien können in sehr unterschiedlichen Kontexten zum Einsatz kommen, von der industriellen Fertigung bis hin zu Human Resources. Angesichts der – zu beobachtenden oder erwarteten – Folgen werden zahlreiche Anforderungen an die Entwicklung und den Einsatz von KI-Systemen gestellt, wie etwa Transparenz, Nachvollziehbarkeit, Fairness, Gleichbehandlung, Haftbarkeit, Zuverlässigkeit oder Datenschutz.

Forderungen allein werden aber nicht reichen. Vielmehr kommt es darauf an, zu überprüfen, ob KI-Systeme verlässlich funktionieren und die an sie gestellten Anforderungen erfüllen. Wie bei anderen Technologien auch, ist eine solche Prüfung eine zentrale Voraussetzung für die breite Anwendung von KI und die Schaffung der notwendigen gesellschaftlichen Akzeptanz. Die Identifizierung von Prüfungs- und Kontrollmöglichkeiten ist daher auch ein wichtiger Aspekt eines Ordnungsrahmens für KI, dessen Gestaltung die Bundesregierung vorantreibt.  Bislang fehlt es aber an etablierten Kontroll- und Testverfahren und entsprechenden Standards.

Hier setzt das Projekt „ExamAI – KI Testing & Auditing“ an. Gemeinsam möchten die Gesellschaft für Informatik, Fraunhofer IESE, Stiftung Neue Verantwortung, das Algorithm Accountability Lab an der TU Kaiserslautern und das Institut für Rechtsinformatik an der Universität des Saarlandes die folgenden zwei Fragen beantworten: Wie können effektive Kontroll- und Testverfahren für KI-Systeme aussehen? Wie kann die Bundesregierung solche Verfahren sinnvoll implementieren?

Das Projekt wird in einem mehrstufigen Prozess durchgeführt.

(1) In der ersten Stufe werden zunächst konkrete Anwendungsfälle aus den Bereichen Industrie-Produktion und Human Resources ausgewählt, anhand derer im Verlauf des Projekts Testing- und Auditingmöglichkeiten näher untersucht werden. Dabei soll auch eine Charakterisierung der Anwendungsfälle vorgenommen werden, die es ermöglicht, von ihnen zu abstrahieren und so verallgemeinerbare Aussagen und Empfehlungen über den betrachteten Fall hinweg zu treffen.

(2) In der nächsten Stufe sollen bestehende und sich in der Entwicklung befindende (technische) Standards identifiziert werden, die Anforderungen an KI-Systeme und deren Überprüfung, Auditierung und Zertifizierung beschreiben. Es geht darum, einen Überblick über die Vorgaben zu bekommen, die die Basis für Testing und Auditierung bilden.

(3) Im Anschluss folgt eine Betrachtung der rechtlichen Anforderungen, die sich an KI-Systeme in den Bereichen Industrieproduktion und HR stellen, und deren Einhaltung u. a. durch entsprechende Testing- und Auditing-Verfahren potenziell nachgewiesen werden soll.

(4) In der nächsten Stufe geht es um Test-, Auditierungs- und Zertifizierungsverfahren selbst: Zunächst werden entsprechende Methoden gesichtet, die zur Prüfung bestimmter Kriterien wie Sicherheit, Diskriminierungsschutz, Zuverlässigkeit geeignet erscheinen. Es sollen zudem Methoden identifiziert werden, mit deren Hilfe bereits der Prozess der Softwareentwicklung überprüft werden kann, ob er Anforderungen wie Transparenz, Nachvollziehbarkeit etc. gerecht wird.

(5) Im weiteren Verlauf werden die identifizierten Methoden noch einmal genauer abgeglichen, inwiefern sie die Überprüfung solcher Kriterien tatsächlich gewährleisten und welche Herausforderungen sich ergeben. Zudem erfolgt eine Prüfung, welche rechtlichen Anforderungen an Prüfungsmechanismen zu stellen sind, welche Mechanismen bereits gesetzlich verankert sind und inwiefern sie die identifizierten Anforderungen erfüllen.

(6) Im letzten Schritt sollen auf Basis der gewonnenen Erkenntnisse konkrete Handlungsempfehlungen entwickelt werden, wie die Bundesregierung geeignete Rahmenbedingungen für das Testen und Auditieren von KI-Systemen schaffen und entsprechende Verfahren umsetzen kann.

Das Projekt wird im Rahmen des Observatoriums Künstliche Intelligenz in Arbeit und Gesellschaft (KIO) der Denkfabrik Digitale Arbeitsgesellschaft gefördert. Die Denkfabrik, eine agile Organisationseinheit des Bundesministeriums für Arbeit und Soziales (BMAS), bündelt Projekte und Prozesse rund um die digitale Transformation innerhalb des BMAS und entwickelt daraus ein größeres Bild der Arbeitsgesellschaft der Zukunft. Mit dem KIO, einem Projekt im Rahmen der nationalen KI-Strategie, fokussiert das BMAS die Frage nach den Auswirkungen von KI auf Arbeit und Gesellschaft.