Was bedeutet das europäische KI-Gesetz für die Bildung?

Im Dezember 2023 fanden die Verhandlungen über eine EU-weite Regulierung künstlicher Intelligenz ihren vorläufigen Abschluss. Das sogenannte KI-Gesetz sieht vor, KI-Systeme entsprechend ihrem Risiko einzustufen und mit unterschiedlichen Auflagen zu versehen. Der verbindliche Rechtsrahmen soll einen sicheren Umgang mit künstlicher Intelligenz gewährleisten und die Grundrechte und Werte der EU schützen.

Warum ist das wichtig?

Aufgrund ihrer hohen Leistungsfähigkeit und weiten Verbreitung können von KI-Systemen ernstzunehmende Gefahren ausgehen, insbesondere wenn sie missbräuchlich verwendet werden. Dazu zählen neben gezielten Manipulationen, Betrug, Täuschungen oder Deepfakes, auch ungerechtfertigte Benachteiligungen oder die Diskriminierung bestimmter Personen(gruppen). Riskant ist auch, nicht nachvollziehen zu können, wie KI-Systeme zu bestimmten Ergebnissen kommen. Diese Risiken erfordern entsprechende Vorkehrungen.

Was sieht das KI-Gesetz vor?

Die EU will KI-Systeme zukünftig in Hinblick auf das Risiko, das von ihnen ausgeht, differenzieren und mit entsprechenden Auflagen versehen. Der risikobasierte Ansatz der EU unterscheidet dabei zwischen (1) KI, die keiner Regulierung bedarf, (2) KI-Systemen mit allgemeinem Verwendungszweck, die begrenzte Risiken aufweisen, (3) Hochrisiko-KI-Systemen und (4) jenen, die ein unannehmbares Risiko aufweisen und daher verboten sind. Ja nach Risikostufe gelten unterschiedlich strenge Auflagen für KI-Systeme. 

KI in der Bildung

Künstliche Intelligenz im Bildungsbereich gilt als Hochrisiko-KI, da sie den Zugang zur Bildung sowie Bildungsbiografien beeinflussen kann. Der Gleichbehandlungsgrundsatz bzw. das Recht auf Bildung und jenes auf Nichtdiskriminierung könnten dadurch bedroht sein. Ob es vernünftig ist, KI im Bildungsbereich ausnahmslos als hochriskant einzustufen, wird kontrovers diskutiert.

Wie werden KI-Systeme reguliert?

Für KI-Systeme mit begrenztem Risiko, wie für Basismodelle, die mit großen Mengen an Daten trainiert wurden, gelten bestimmte Transparenzpflichten. Sie müssen etwa offenlegen, dass es sich um KI-generierte Inhalte handelt, um den Nutzer*innen die Entscheidungsmöglichkeit über eine Weiterverwendung dieser Inhalte einzuräumen. Für sie soll klar sein, dass sie mit einem KI-Chatbot interagieren.

Hochrisiko-KI-Systeme unterliegen strikteren Anforderungen, insbesondere was Transparenz, Sicherheit und Datenqualität betrifft. Die Auflagen sehen hier etwa menschliche Aufsichtsmaßnahmen vor, eine ausführliche Dokumentationspflicht, klare Informationen für Nutzer*innen sowie eine hohe Qualität der Datensätze, um das Risiko der Diskriminierung zu minimieren. Systeme, die als Hochrisiko-KI eingestuft werden, finden sich etwa in der Strafverfolgung, dem Migrations-, Asyl- und Grenzkontrollmanagement, in Sicherheitskomponenten von Produkten, in kritischer Infrastruktur und auch im Bildungsbereich.

Bestimmte KI-Anwendungen gelten als verboten. Dazu zählen etwa KI-Systeme, die das Verhalten manipulieren würden, Emotionserkennung in Bildungseinrichtungen oder am Arbeitsplatz oder auch die biometrische Echtzeit-Fernidentifizierung. Für letztere werden aber auch Ausnahmen für Strafverfolgungsbehörden genannt, etwa um Terroranschläge abzuwenden oder gezielt nach einem vermissten Kind zu suchen.

Das KI-Gesetz enthält zudem Vorschriften für das Inverkehrbringen von KI-Systemen und die fortlaufende Marktüberwachung. Es wird zudem ein „Amt für künstliche Intelligenz“ zur Überwachung von KI-Modellen eingerichtet. Betreiber von Hochrisiko-KI-Systemen müssen vor ihrer Inbetriebnahme eine Folgenabschätzung mit Blick auf die Grundrechte veranlassen.

Hintergrund zum AI-Act und Ausblick

Bereits im April 2021 wurde der Vorschlag der Europäischen Kommission über harmonisierte Vorschriften für künstliche Intelligenz erstellt. Die Verhandlungen dauerten lange an. Die Verbreitung von ChatGPT durch OpenAI im November 2022 und die raschen Entwicklungen im Bereich generativer KI in den letzten Monaten verschärften die Dringlichkeit des Vorhabens. Im Juni 2023 erfolgte eine Abänderung des Vorschlags durch das europäische Parlament. Zuletzt waren es insbesondere Regulierungen im Zusammenhang mit biometrischen Daten, die noch verhandelt wurden, ehe es im Dezember 2023 zu einer vorläufigen Einigung um das KI-Gesetz kam.

Der europäische Rat und das Parlament müssen den Gesetzestext noch formell annehmen. Zwei Jahre nach seinem Inkrafttreten soll er dann in der EU und somit auch in Österreich verbindlich zur Anwendung kommen.