accuracy-robustness-cybersecurity-ai

Accuracy, Robustness, Cybersecurity bei KI im Roboter

Fachkern: Accuracy, Robustness, Cybersecurity bei KI im Roboter

• Normen-/Quellenanker: EU-Maschinenverordnung, Produkthaftungsrecht, ProdSG/GPSR, AI Act, MDR/MPDG bei Medizinrobotik, DSGVO, Cybersecurity/NIS2 und Arbeitsschutz.
• Entscheidende Weiche: Prüfe Rolle Hersteller/Integrator/Betreiber, bestimmungsgemäße Verwendung, CE-Konformität, Sicherheitsfunktion, Lern-/Updateverhalten, Schadenpfad und Rückrufpflicht.

Worum geht es konkret

Hochrisiko-KI-Systeme in Robotern (Anhang III der KI-VO, z. B. Sicherheitskomponenten von Maschinen, Medizin-, Verkehrsrobotik) müssen ein "angemessenes Maß" an Genauigkeit, Robustheit und Cybersicherheit aufweisen, Art. 15 VO (EU) 2024/1689 (KI-VO). Dieser Skill operationalisiert diese drei Anforderungen für Roboter: vom Performance-Test (Accuracy) über Stresstests gegen Drift, Sensorrauschen und Adversarial Inputs (Robustness) bis zu Härtung gegen Manipulation der Trainingsdaten (Data Poisoning), des Modells (Model Evasion) oder der Inferenz (Prompt-Injection bei GenAI-Robotik). Schnittstellen zum Cyber Resilience Act (VO (EU) 2024/2847, CRA) und zur MaschinenVO VO (EU) 2023/1230 müssen mitgedacht werden.

Wann dieses Modul hilft / Kaltstart-Fragen

1. Rolle: Anbieter (provider) i. S. d. Art. 3 Nr. 3 KI-VO, Betreiber (deployer), Hersteller, Importeur, Integrator, Marktüberwachungsbehörde oder Geschädigter.
2. Robotertyp: Industrieroboter, Cobot, AMR/AGV, Service-, Pflege-, OP-, autonomer Liefer- oder Sicherheitsroboter.
3. KI-Funktion: Bildverarbeitung, Hinderniserkennung, Pfadplanung, Greifsteuerung, Spracherkennung, GenAI-Schnittstelle, Reinforcement-Learning-Komponente.
4. Anlass: CE-Freigabe, Audit der Benannten Stelle, Vorfall mit Fehlverhalten, Behördenanfrage, Vertragsverhandlung Performance-Garantien.
5. Unterlagen: Test- und Validierungsberichte, Datenblatt zum Modell (Model Card), Datensatzdokumentation (Data Sheet), Logs, Penetration-Test-Berichte, SBOM, CVE-Tracking.

Rechtlicher Rahmen

• Art. 15 KI-VO Genauigkeit, Robustheit, Cybersicherheit; Geltung für Hochrisiko-KI ab 02.08.2026 (Art. 113 KI-VO).
• Art. 9 KI-VO Risikomanagementsystem; Art. 10 KI-VO Daten-Governance.
• MaschinenVO VO (EU) 2023/1230, Anhang III Nr. 1.1.6 Ergonomie und sichere Steuerung, Nr. 1.2 Steuerungssysteme; Geltung ab 20.01.2027.
• CRA VO (EU) 2024/2847 Hauptpflichten ab 11.12.2027, Schwachstellen-Meldepflichten ab 11.09.2026; Robotik regelmäßig "Produkt mit digitalen Elementen".
• NIS-2 Umsetzung im BSIG, OT-Sicherheit bei Robotik in kritischen Sektoren.
• § 1 ProdHaftG / VO (EU) 2024/2853 neue Produkthaftungs-RL (Inkrafttreten 09.12.2026): Software und KI sind Produkte, Beweiserleichterungen.

Schritt für Schritt

1. Use-case-Schärfung. Definieren Sie den Einsatzkontext exakt: Umgebung, Beleuchtung, Geschwindigkeitsbereich, Personenkreis, Lastfälle. Performance-Aussagen ohne Kontext sind irreführend.
2. Metriken festlegen. Accuracy nicht nur als Single-Number-Wert: Precision, Recall, F1 je Klasse; bei Wahrnehmungsfunktionen mAP, IoU; bei Steuerung Erfolgsquote und Time-to-Stop. Mindestschwellen schriftlich.
3. Test-Set kuratieren. Realistische, aus Trainingsverteilung disjunkte Daten; Edge-Cases (Regen, Gegenlicht, ungewöhnliche Posen) explizit abdecken; Daten-Governance nach Art. 10 KI-VO dokumentieren.
4. Robustheits-Tests. Verteilungs-Drift (Domain Shift), Sensorrauschen, Sensorausfall, adversariale Eingaben (FGSM, PGD), physikalische Patch-Attacken bei Bildmodellen.
5. Cybersecurity-Test. Threat-Model (STRIDE) speziell für KI-Pipeline: Trainingsdaten, Modell-Repository, OTA-Update-Pfad, Inferenz-API, Sensor-Spoofing. Pen-Test gegen Steuerungsschnittstelle.
6. Logging und Nachvollziehbarkeit. Art. 12 KI-VO Logs während des gesamten Lebenszyklus; Mindestaufbewahrung 6 Monate (Art. 19 KI-VO), bei Robotik regelmäßig länger wegen § 199 BGB.
7. Human Oversight. Art. 14 KI-VO; bei Robotern: Notaus, Override, Trennung Autonomie-Level (z. B. SAE-Level analog).
8. Konformitätsbewertung. Modul nach Anhang VI/VII KI-VO; bei Robotik im Maschinen-Bezug regelmäßig integrierte Konformitätsbewertung mit MaschinenVO (Art. 8 ff.).

Trade-off-Matrix

Dimension	Konservativ (sicher)	Aggressiv (Performance)	Konsequenz
Schwelle Hinderniserkennung	hohe Recall, viele Fehlalarme	hohe Precision, mehr Restrisiko	Stillstandskosten vs. Verletzungsrisiko
Update-Frequenz	seltene, validierte Releases	kontinuierliches Lernen	erneute Konformitätsbewertung bei "substantial modification" Art. 3 Nr. 23 KI-VO
Edge vs. Cloud	Edge, isoliert	Cloud, mehr Rechenleistung	Datenschutz, NIS-2, OT-Angriffsfläche
Closed-Loop-Lernen	aus	an	Drift, Reproduzierbarkeit, Forensik

Praxistipps

• Reproduzierbarkeit: Seed, Modell-Hash, Daten-Hash und Toolchain-Versionen dokumentieren. Ohne Reproduzierbarkeit lässt sich kein Versagensfall forensisch klären.
• Sensorredundanz: Bei sicherheitskritischen Funktionen mindestens zwei Sensormodalitäten (z. B. Kamera + LiDAR + Ultraschall) und Plausibilitätsprüfung.
• Out-of-Distribution-Detector: Eigene Komponente, die unsichere Eingaben erkennt und Sicherheitsmodus auslöst.
• CVE-Pflegeprozess: Tägliche SBOM-Auswertung, Patch-SLA dokumentieren; im CRA verlangt.
• Sprach- und GenAI-Komponenten: Prompt-Injection-Tests und allowlist für Kommandos, die zu physischer Bewegung führen.
• Drift-Monitoring: Eingangsverteilungs- und Performance-Telemetrie nach Inverkehrbringen (Art. 72 KI-VO Post-Market-Monitoring) automatisiert; Alerts bei Abweichung über vordefinierten Schwellen.
• Versionsstand jederzeit ermittelbar. Roboter zeigt aktuellen Modell- und Software-Versionsstand auf Anforderung an; ohne diese Transparenz kein forensischer Nachweis nach Vorfall.
• Trennung Safety- und Convenience-Funktionen. Sicherheitskritische Funktionen laufen auf eigenem, zertifizierten Controller; KI-Komfortfunktionen separat.
• Schulung der Operatoren auf Grenzen des Systems (Out-of-Distribution-Erkennung manuell, Override-Pfad).

Mustertexte

Klausel Performance-Garantie (Auszug Liefervertrag Cobot):

Der Lieferant garantiert für den Pick-and-Place-Anwendungsfall gemäß Anlage 3 eine durchschnittliche Erfolgsquote von mindestens 99,2 % (Toleranz +/- 0.3 %) je Schicht über eine Messdauer von 30 Tagen unter den dort beschriebenen Umgebungsbedingungen. Maßgeblich sind ausschließlich die in Anlage 4 definierten Testfälle. Bei Unterschreitung gilt § 437 BGB; eine Verkürzung der Verjährung wird nicht vereinbart.

Auszug Risikobeurteilung KI-Funktion:

Risikoquelle: Personenerkennung im Cobot-Arbeitsbereich. Schadensszenario: Nicht-Erkennung eines knienden Mitarbeiters bei Gegenlicht. Wahrscheinlichkeit nach Maßnahmen: 1 in 10^6 Betriebsstunden. Maßnahmen: redundante Sensorik (RGB + Tiefenkamera), OOD-Detector, Stopp bei Konfidenz unter 0.85, jährliches Re-Validation-Audit. Restrisiko: vertretbar im Sinne Art. 9 Abs. 5 KI-VO. Konformitätsnachweis: Anhang VI KI-VO.

Typische Fehler

• Performance-Aussagen ohne Datensatzbeschreibung ("99,9 %") – nicht prüfbar, haftungsträchtig.
• Vergessene erneute Bewertung nach Update Art. 43 Abs. 4 KI-VO substantial modification.
• Keine Trennung Trainings-/Test-/Real-World-Daten, dadurch verdeckter Data Leakage.
• Fehlende OT-Härtung der Inferenz-API (offene MQTT-, ROS-Schnittstellen).
• Keine Aufbewahrung der Logs über die Verjährungsfrist.
• Allgemeine "Black-Box"-Aussagen zur KI-Funktion gegenüber Notified Body – Art. 13 KI-VO Transparenz verlangt nachvollziehbare Beschreibung.
• Keine Pen-Tests der OTA-Update-Kette; Folge: Manipulation des Modells unbemerkt möglich.
• Auslagerung an Cloud-Anbieter ohne TIA bei Drittlandtransfer der Inferenz-Anfragen.

Anwendungsbeispiele

• Pick-and-Place Cobot. Kollabiert bei Glas mit Reflexionen. Maßnahmen: Adversarial-Beispiele mit Reflexionen ins Test-Set; OOD-Detector; Geschwindigkeit drosseln bei niedriger Konfidenz.
• AMR im Lager. Verwechselt Schatten mit Hindernis. Maßnahmen: Kombiniere LiDAR und Tiefenkamera; Kalibrierung bei Tageslicht; Heuristik gegen ground-shadow.
• Service-Roboter mit Sprachsteuerung. Prompt-Injection beim GenAI-Layer. Maßnahmen: Allowlist physischer Aktionen, Two-Person-Confirmation für sicherheitsrelevante Bewegungen.

Eskalationspfad bei Sicherheitsvorfall

1. Sofort (T+0 bis T+1h): Stillstand, Sicherheitsraum sichern, Verletzte versorgen, Behörden bei Personenschaden.
2. T+1h bis T+24h: Logs sichern (Hash, Write-Lock), Versionsstände dokumentieren, Forensik startklar machen.
3. T+24h bis T+72h: Vigilanz-Meldung Art. 73 KI-VO bei schwerem Vorfall innerhalb 15 Tagen, Cyber-Vorfall Art. 14 CRA innerhalb 24h Frühwarnung / 72h Zwischenbericht.
4. T+1 Woche: Root Cause Analysis, Korrekturmaßnahmen, Information der betroffenen Betreiber (Field Safety Notice).
5. T+1 Monat: Abschlussbericht, ggf. Rückruf, ggf. Konformitätsbewertung wiederholen bei substantial modification.

Checkliste vor Inverkehrbringen

• Use-Case-Spezifikation mit Umgebungs- und Personen-Kontext schriftlich fixiert
• Performance-Metriken je Klasse und Subgruppe (Art. 10 KI-VO) gemessen
• Test-Set disjunkt zum Trainings-Set, Hashes dokumentiert
• Adversariale Tests durchgeführt (mind. FGSM, PGD, physikalische Patches bei Bildmodellen)
• Threat-Model (STRIDE) für KI-Pipeline erstellt
• Pen-Test extern (mind. einmal pro Major-Release)
• OOD-Detector implementiert und getestet
• Human-Oversight-Pfad funktional (Art. 14 KI-VO)
• Logging Art. 12 KI-VO aktiv und resistent gegen Manipulation (write-once)
• SBOM und Schwachstellen-Policy verfügbar (CRA-Vorgriff)
• Konformitätsbewertung Modul Anhang VI/VII abgeschlossen
• EU-Konformitätserklärung unterzeichnet, technische Dokumentation Anhang IV erstellt

Quellen Stand 06/2026

• VO (EU) 2024/1689 (KI-VO), insb. Art. 9, 10, 12, 13, 14, 15, 43, 113.
• VO (EU) 2023/1230 (MaschinenVO), Anhang III.
• VO (EU) 2024/2847 (CRA).
• VO (EU) 2024/2853 (neue ProdHaftRL).
• ENISA, AI Threat Landscape, fortlaufend; BSI, Leitlinien zu KI-Cloud-Diensten.
• Live-Verifikation in eur-lex.europa.eu und auf BSI-, BfDI-, EDPB-Seiten; lizenzierte Datenbanken (beck-online, juris) nur bei vorhandenem Zugang.