Der Begriff „KI-Agent“ wird in der öffentlichen Debatte häufig uneinheitlich verwendet, was zum Teil auf eine verschwommene und sich immer noch entwickelnde Abgrenzung zwischen KI-Agenten und anderen Arten von KI zurückzuführen ist. Es besteht jedoch weitgehend Einigkeit darüber, dass ein KI-Agent in der Lage sein muss, Eingaben aus seiner Umgebung zu empfangen und zu verarbeiten und auf dieser Verarbeitung basierende Aktionen auszuführen, die mit seiner Umgebung interagieren oder diese beeinflussen können (z. B. das Ausgeben von Funktionsaufrufen). Der Begriff „Agentische KI“ wird manchmal verwendet, um anspruchsvollere Konfigurationen zu beschreiben, die mehrere KI-Agenten integrieren. Dennoch entwickelt sich die genaue Wechselbeziehung zwischen diesen beiden Begriffen weiter.
In der Regel enthält ein KI-Agent mindestens ein allgemeines KI-Modell (GPAI) und stellt ein KI-System dar, da es normalerweise eine Art Schnittstelle aufweist, die als Systemkomponente gilt (Erwägungsgrund 97 des KI-Gesetzes). Eine genauere Aussage als „typischerweise“ ist schwierig zu machen, da der Begriff KI-Agent nicht gesetzlich definiert ist und umgangssprachlich für verschiedene Arten von Artefakten verwendet wird. Während KI-Agenten nach dem KI-Gesetz keine eigene Kategorie von KI sind, reichen die Definitionen eines KI-Systems in Artikel 3 Absatz 1 des KI-Gesetzes und eines GPAI-Modells in Artikel 3 Absatz 63 des KI-Gesetzes aus, um KI-Agenten abzudecken. Dies bedeutet, dass die nach dem KI-Gesetz für KI-Systeme und GPAI-Modelle geltenden Vorschriften auch für KI-Agenten gelten.
Von den Vorschriften für KI-Systeme sind insbesondere die Verbote der schädlichen Manipulation und Ausnutzung von Schwachstellen im KI-Gesetz (Artikel 5 Absatz 1 Buchstaben a und b des KI-Gesetzes) relevant, deren Einhaltung möglicherweise Schutzvorkehrungen bei der Konzeption und Entwicklung der KI-Agenten erfordern kann, um verbotene Praktiken zu vermeiden, die nach vernünftigem Ermessen einen erheblichen Schaden verursachen können. Wenn der KI-Agent ab dem 2. August 2026 als Hochrisiko-KI-System eingestuft wird, unterliegt er auch zusätzlichen Anforderungen, die seine Sicherheit und Vertrauenswürdigkeit für seine beabsichtigte Verwendung gewährleisten (Kapitel III KI-Gesetz). Wenn der KI-Agent mit natürlichen Personen interagieren oder Inhalte generieren soll, gelten darüber hinaus Transparenzvorschriften (Artikel 50 KI-Gesetz) – ein Verhaltenskodex zur Operationalisierung dieser Vorschriften befindet sich in der Entwicklung.
In Bezug auf die GPAI-Modelle, die in der Regel KI-Agenten zugrunde liegen, können Faktoren wie der Grad der Autonomie oder der Werkzeugeinsatz des Modells für die Einstufung des Modells als Modell mit Systemrisiko entscheidend sein (Artikel 51 Absatz 1 Buchstabe b, Anhang XIII Buchstabe e, KI-Gesetz). Darüber hinaus unterliegen Anbieter von GPAI-Modellen mit Systemrisiko Risikomanagementverpflichtungen, die Überlegungen zu den autonomen Fähigkeiten des Modells und seiner agentischen Nutzung umfassen (operationalisiert beispielsweise in Maßnahme 5.1 Nummer 7, Anlage 1.3.1 Nummern 5 und 7, Anlage 1.3.3 Nummern 1, 4 und 12 oder Anlage 3.2 Absatz 2, Kapitel Sicherheit und Gefahrenabwehr des GPAI-Praxiskodex).
Da sich die Entwicklungen im Zusammenhang mit KI-Agenten in jüngster Zeit vollziehen und sich rasch weiterentwickeln, sind die regulatorischen Erwägungen der Europäischen Kommission zum jetzigen Zeitpunkt nur vorläufig. Das Amt für künstliche Intelligenz beobachtet diese Entwicklungen weiterhin genau und wird erforderlichenfalls die Entwicklung von Strategien zur Bewältigung der potenziellen Risiken von KI-Agenten erwägen. So umfasst beispielsweise die jüngste Ausschreibung des Amtes für künstliche Intelligenz zur technischen Hilfe im Bereich der KI-Sicherheit viel, das der Bewertung der Sicherheit von KI-Agenten gewidmet ist.