hochrisiko-art-6-abs-2-anhang-iii

Hochrisiko-KI nach Art. 6 Abs. 2 i.V.m. Anhang III KI-VO

Zweck

Dieser Skill prüft, ob ein bereits als KI-System eingeordnetes System nach Art. 6 Abs. 2 KI-VO Hochrisiko ist, weil es in einen der Anhang-III-Tatbestände fällt. Schwerpunkt ist die konkrete Zweckbestimmung und der reale Einsatzkontext, nicht der bloße Name des Modells oder Tools.

Wichtig: Ein allgemeiner Chatbot, ein GPAI-System oder eine ChatGPT-ähnliche Oberfläche ist nicht allein deshalb Hochrisiko, weil man ihn theoretisch in Personalwesen, Justiz, Bildung oder Verwaltung einsetzen könnte. Hochrisiko entsteht regelmäßig erst durch den intendierten oder tatsächlich verantworteten Einsatz für einen Anhang-III-Zweck.

Vorfragen

Vor der Anhang-III-Prüfung immer erfassen:

1. Welches KI-System wird geprüft: Modell, API, Chatbot, Agent, Workflow, Fachmodul, Gesamtprodukt?
2. Wer bestimmt den Zweck: Anbieter, Betreiber, Fachabteilung, Kunde, öffentliche Stelle?
3. Was steht in Gebrauchsanweisung, Leistungsbeschreibung, Marketing, Prompt-Bibliothek, Systemrollen, Berechtigungskonzept und technischer Dokumentation?
4. Welche tatsächlichen Nutzungsszenarien sind erlaubt, geduldet, technisch möglich oder ausdrücklich verboten?
5. Betrifft die Ausgabe natürliche Personen oder kritische Infrastrukturen?
6. Wird die Ausgabe nur allgemein assistierend genutzt oder beeinflusst sie Entscheidung, Bewertung, Zugang, Priorisierung, Zuweisung oder Rechtsanwendung?

Kernlogik: Zweckbestimmung vor Tool-Label

Prüfe getrennt:

| Ebene | Frage | Bedeutung | |---|---|---| | Anbieter-Zweckbestimmung | Für welchen konkreten Kontext wird das System laut Anbieter bestimmt? | Ausgangspunkt der Klassifikation | | Betreiber-Zweck | Wofür nimmt der Betreiber das System in Betrieb? | Kann eigenen Hochrisiko-Einsatz begründen | | Tatsächlicher Organisationsgebrauch | Wird ein kritischer Einsatz erlaubt, verlangt, geduldet oder systematisch genutzt? | Kann Zweckbild prägen und Pflichten auslösen | | Vernünftigerweise vorhersehbarer Fehlgebrauch | Ist Off-label-Nutzung naheliegend, obwohl nicht intendiert? | Governance, Warnungen, Kontrollen, Re-Evaluation | | Isolierter Regelverstoß | Nutzt ein Mitarbeiter das Tool entgegen klarer Regeln und Kontrollen? | Vorfall/Compliance-Thema, nicht automatisch neue Anbieter-Zweckbestimmung |

Chatbot-/GPAI-Grundsatz

Ein General-Purpose-AI-Modell oder allgemeiner Chatbot ist typischerweise breit verwendbar. Die Hochrisiko-Einstufung knüpft aber an das KI-System und seine Zweckbestimmung in einem Anhang-III-Kontext an.

Prüfe deshalb:

• Allgemeiner Assistent: Textgenerierung, Recherche, Zusammenfassung, Übersetzung, Entwurfshilfe ohne Einsatz zur Entscheidung über natürliche Personen: regelmäßig nicht allein Hochrisiko; Art. 50 und ggf. GPAI-Pflichten prüfen.
• Fachlich eingebetteter Assistent: LLM wird in Recruiting, Kredit, Bildung, Justiz, Notfalltriage, Migration oder Strafverfolgung integriert: Anhang III konkret prüfen.
• Nur theoretische Möglichkeit: Mitarbeitende könnten ChatGPT missbrauchen, aber Zweck, Richtlinie, technische Sperren und Schulungen schließen dies aus: kein automatisches Hochrisiko, aber dokumentierte Governance nötig.
• Geduldeter oder funktional angelegter Hochrisiko-Einsatz: Tool wird trotz allgemeiner Bezeichnung faktisch für Bewerberranking, Leistungsbewertung, Kreditwürdigkeit, Rechtsanwendung usw. genutzt: Hochrisiko sehr naheliegend.
• Zweckänderung oder wesentliche Änderung: Betreiber, Importeur oder Händler kann nach Art. 25 KI-VO Anbieterpflichten auslösen; zusätzlich anbieter-werden-art-25.

Anhang III: vollständige Bereichsmatrix

Bereich 1 — Biometrie

Nur soweit der Einsatz nach Unions- oder nationalem Recht überhaupt erlaubt ist.

Hochrisiko-Tatbestände:

• Remote biometric identification, außer reine biometrische Verifikation zur Bestätigung, dass eine bestimmte Person die behauptete Person ist.
• Biometrische Kategorisierung nach sensiblen oder geschützten Attributen oder Merkmalen, soweit diese Attribute oder Merkmale inferiert werden.
• Emotionserkennung.

Prüffragen:

• Wird eine natürliche Person aus der Entfernung identifiziert?
• Geht es nur um 1:1-Authentifizierung oder um Identifikation gegen Referenzdatenbank?
• Werden sensible/protected attributes aus biometrischen Daten abgeleitet?
• Wird Emotion, Absicht oder innerer Zustand aus biometrischen Daten inferiert?
• Greift zusätzlich ein Verbot nach Art. 5, etwa Emotionserkennung am Arbeitsplatz/Bildung oder verbotene biometrische Kategorisierung?

Bereich 2 — Kritische Infrastruktur

Hochrisiko sind KI-Systeme, die als Sicherheitskomponenten in Management und Betrieb folgender Bereiche eingesetzt werden:

• kritische digitale Infrastruktur
• Straßenverkehr
• Versorgung mit Wasser, Gas, Wärme oder Elektrizität

Prüffragen:

• Ist die KI-Komponente sicherheitsrelevant oder nur kaufmännisch/administrativ?
• Kann Fehlfunktion Gesundheit, Sicherheit, Versorgung, Verkehr oder Grundrechte ernsthaft beeinträchtigen?
• Steuert oder priorisiert das System Betrieb, Lasten, Warnungen, Zugriff, Wartung oder Ausfälle?

Bereich 3 — Bildung und berufliche Ausbildung

Hochrisiko-Tatbestände:

• Zugang, Zulassung oder Zuweisung zu Bildungs- oder Ausbildungseinrichtungen
• Bewertung von Lernergebnissen, auch wenn diese den Lernprozess steuern
• Bewertung des angemessenen Bildungsniveaus oder Zugangs
• Überwachung und Erkennung verbotenen Verhaltens bei Prüfungen

Prüffragen:

• Bewertet das System Schüler, Studierende, Prüflinge oder Bewerber?
• Fließt die Ausgabe in Zulassung, Einstufung, Noten, Lernpfad, Prüfungsüberwachung oder Sanktion ein?
• Ist der Output nur redaktionelle Hilfe oder tatsächlicher Bewertungs-/Steuerungsfaktor?

Bereich 4 — Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbständigkeit

Hochrisiko-Tatbestände:

• Rekrutierung oder Auswahl natürlicher Personen, insbesondere gezielte Stellenanzeigen, Analyse/Filterung von Bewerbungen, Bewertung von Kandidaten
• Entscheidungen über Bedingungen arbeitsbezogener Beziehungen
• Beförderung oder Beendigung arbeitsbezogener Vertragsbeziehungen
• Aufgabenverteilung auf Grundlage individuellen Verhaltens oder persönlicher Eigenschaften/Merkmale
• Überwachung und Bewertung von Leistung oder Verhalten

Prüffragen:

• Wird das System für Bewerberfilter, Ranking, Shortlisting, Interviewauswertung oder Eignungsbewertung eingesetzt?
• Betrifft es Zielgruppensteuerung von Jobanzeigen?
• Beeinflusst es Einsatzplanung, Schicht, Aufgaben, Beförderung, Kündigung, Vergütung oder Performance-Management?
• Nutzt die Organisation einen allgemeinen Chatbot, um HR-Entscheidungen faktisch vorzubereiten? Dann Zweck und Governance streng prüfen.

Bereich 5 — Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen und Leistungen

Hochrisiko-Tatbestände:

• Öffentliche Stellen oder deren Beauftragte bewerten Anspruch/Berechtigung natürlicher Personen auf wesentliche öffentliche Unterstützungsleistungen und Dienste, einschließlich Gesundheitsdienste, oder gewähren, reduzieren, widerrufen oder fordern solche Leistungen zurück.
• Bewertung der Kreditwürdigkeit natürlicher Personen oder Erstellung eines Credit Score, ausgenommen Betrugsaufdeckung.
• Risikoabschätzung und Preisgestaltung gegenüber natürlichen Personen bei Lebens- und Krankenversicherung.
• Bewertung/Klassifizierung von Notrufen natürlicher Personen, Disposition oder Priorisierung von Notfalleinsätzen, einschließlich Polizei, Feuerwehr, medizinischer Hilfe und Notfall-Gesundheitstriage.

Prüffragen:

• Geht es um natürliche Personen, nicht nur Unternehmen?
• Ist der Output entscheidungsnah für Zugang, Preis, Leistung, Priorität oder Rückforderung?
• Ist Fraud Detection tatsächlich der Zweck oder nur Vorwand für Bonitätsbewertung?
• Bei Versicherungen: betrifft es Leben/Kranken und natürliche Personen?

Bereich 6 — Strafverfolgung

Nur soweit der Einsatz nach Unions- oder nationalem Recht erlaubt ist.

Hochrisiko-Tatbestände: -