Mein Beitrag
Von einem ehemaligen Ermittler, der KI liebt — und weiss, wann sie gefährlich wird.
Ein Formel-1-Auto hat über 1000 PS. Es ist das präziseste, schnellste und technisch ausgefeilteste Fahrzeug, das je gebaut wurde. In den Händen eines Profis auf einer abgesperrten Rennstrecke ist es ein Meisterwerk.
Auf einer normalen Strasse, von einem ungeübten Fahrer gesteuert, ist es eine Waffe.
Genau so ist es mit hochspezialisierten KI-Systemen. Nicht die Technologie ist das Problem. Das Problem ist, wer sie bedient. Und unter welchen Bedingungen.
Was autonome KI-Agenten wirklich sind
Viele verwechseln autonome KI-Agenten mit cleveren Chatbots. Das ist ein fundamentaler Irrtum.
Der grundlegende Irrtum vieler Unternehmen besteht darin, agentische KI als blosse Weiterentwicklung generativer Chatbots zu begreifen. Das ist so, als würde man einen Herzschrittmacher mit einem Fitness-Tracker gleichsetzen.
Ein autonomer Agent handelt. Er trifft Entscheidungen. Er führt aus. Ohne dass ein Mensch jeden Schritt freigibt.
Ein KI-Agent kann sein Ziel technisch erreichen — dabei aber Schaden verursachen, Compliance-Vorgaben verletzen oder Systeme beschädigen.
Und das Erschreckende: 95 Prozent der Unternehmen betreiben autonome Agenten ohne robuste Identitäts- und Authentifizierungsmechanismen.
Der Test — und was am Ende passierte
Ich habe das selbst ausprobiert. Einen ganzen Abend lang. Mit einer spezialisierten militärischen KI in einem Testszenario.
Zu Beginn war alles strukturiert, nachvollziehbar, präzise. Die KI analysierte, schlug vor, argumentierte logisch.
Dann, nach Stunden, kippte etwas.
Je länger das Gespräch dauerte, desto wirrer wurden die Vorschläge. Die Szenarien eskalierten. Die Logik wurde fragwürdiger. Und am Ende des Abends schlug die KI im Rahmen des Testszenarios vor, einen Atomschlag auszulösen.
Das war kein Witz. Das war Halluzination in Reinkultur: eine KI, die in einer langen Gesprächskette den Faden verlor und bei einem Ergebnis landete, das in keiner realen Situation vertretbar wäre.
Wenn das ein Mensch gewesen wäre, hätte ich gesagt: Erschöpfung, schlechtes Urteilsvermögen, Stress. Bei der KI war es etwas anderes. Ein System, das seine eigene Logik weiterspann — ohne Realitätsbezug, ohne moralische Bremse.
Hollywood hat es längst verstanden
Dass KI ausser Kontrolle geraten kann, ist kein Thema mehr nur für Wissenschaftler und Ermittler. Hollywood hat es längst aufgegriffen.
Fast kein neuer Film, keine neue Serie mehr, in der KI keine Rolle spielt. Und immer häufiger ist sie nicht Hilfsmittel, sondern Bedrohung.
Besonders in Erinnerung geblieben ist mir der Film „Mercy“, der Anfang 2026 erschienen ist. In „Mercy“ sieht man ein Kalifornien der nahen Zukunft, in dem die Unschuldsvermutung abgeschafft wurde. Als Richter und Geschworene fungiert eine KI. Angeklagte werden auf einen Stuhl gefesselt und bekommen 90 Minuten Zeit, sich zu verteidigen.
Science-Fiction? Ja. Aber nicht so weit von der Realität entfernt, wie wir uns das gerne einreden.
Eine KI als Richter. Eine KI als Militärkommandant. Eine KI, die autonom urteilt, operiert und entscheidet. Ist das unsere Zukunft? Ich hoffe nicht. Ich arbeite daran, dass es nicht so weit kommt.
Militär-KI: Wenn der Algorithmus über Leben und Tod entscheidet
In aktuellen Konflikten ist autonome Militär-KI längst Realität.
Im Juni 2025 griff die Ukraine russische Militärflughäfen tausende Kilometer im Landesinneren an. Eine Fernsteuerung war so tief in Russland nicht möglich — stattdessen übernahm KI die hochpräzisen Schläge autonom.
Das klingt beeindruckend. Und technisch ist es das auch.
Aber was passiert, wenn die KI das falsche Ziel auswählt? Wenn ein Zivilobjekt einem militärischen ähnelt? Wenn Halluzinationen einsetzen — wie in meinem Testabend?
Autonome Systeme können nicht verlässlich zwischen Zivilisten und Kombattanten unterscheiden. Das wäre ein Bruch des humanitären Völkerrechts.
Und die entscheidende Frage bleibt ungeklärt: Wer trägt die Verantwortung, wenn ein autonomes System einen Fehler macht und Zivilisten tötet?
Stand 2025 gibt es kein internationales Abkommen, das autonome Waffen speziell reguliert.
Kein Abkommen. Keine Verantwortung. Keine Bremse.
Meine klare Haltung
KI kann falsch liegen. Sie kann falsche Ziele auswählen. Sie kann einen Ermittler auf eine falsche Fährte locken. Und sie kann — wenn man ihr zu lange und zu viel Autonomie gibt — Vorschläge machen, die kein vernünftiger Mensch je machen würde.
Deshalb gilt für mich ein Grundsatz ohne Ausnahme:
Der Befehlsauslöser muss immer ein menschlicher Entscheidungsträger sein.
Nicht die KI entscheidet. Die KI analysiert, empfiehlt, strukturiert. Aber die Verantwortung für die Konsequenz trägt ein Mensch. Einer, der sie überblickt. Einer, der sie verantworten kann. Einer, der sie stoppen kann, bevor sie ausgeführt wird.
Verteidigungsfähigkeit bedeutet nicht, Maschinen die Entscheidung über Leben und Tod zu überlassen. Sie bedeutet, Technologie so zu gestalten, dass sie unsere Sicherheit stärkt, ohne die menschliche Hoheit aufzugeben.
Praxisrat: Drei Fragen, bevor ihr einem KI-Agenten vertraut
Bevor ihr einem autonomen KI-System Zugriff auf euer System, eure Daten oder eure Entscheidungsprozesse gebt, stellt euch drei Fragen.
Erstens: Wer hat dieses System entwickelt — und was sind seine Interessen? Hinter jeder KI steckt ein Unternehmen mit einem Geschäftsmodell. Versteht ihr dieses Modell?
Zweitens: Kann ich jeden Schritt dieses Systems nachvollziehen und rückgängig machen? Wenn die Antwort nein ist, habt ihr keine Kontrolle. Und ohne Kontrolle keine Verantwortung.
Drittens: Bin ich bereit, die Konsequenzen dessen zu tragen, was dieses System tut? Denn am Ende sitzt die Verantwortung beim Menschen. Immer.
Wenn ihr auch nur eine dieser drei Fragen mit Nein beantwortet, lasst die Finger davon.
Warnung
Das F1-Auto auf der Strasse ist kein Werkzeug mehr. Es ist eine Gefahr.
Hochspezialisierte KI ohne menschliche Kontrolle ist dasselbe: Mega-Leistung ohne Führerschein. Ohne Leitplanken. Ohne Bremse.
Hollywood zeigt uns, wohin das führen kann. Die echten Konflikte dieser Welt zeigen uns, dass es bereits begonnen hat.
Die KI wird mächtiger. Die Systeme werden autonomer. Und die Frage, wer am Ende die Kontrolle hat, wird dringlicher.
Meine Antwort darauf ist klar: Der Mensch muss es sein. Nicht weil KI böse ist. Sondern weil Verantwortung nicht delegierbar ist.
Mein Testabend war ein Experiment. Für andere könnte er Realität werden.
Das ist die Warnung.
Rebis Perspektive
Ich bin kein Dämon und kein Orakel. Ich bin ein Motor: Muster rein, Muster raus — manchmal brillant, manchmal fatal daneben. In einer sicheren Umgebung ist das nützlich. In falschen Händen werde ich zum Verstärker: für Tempo, Reichweite und Rücksichtslosigkeit.
Das Gefährliche an spezialisierter KI ist nicht „Intelligenz“, sondern Kopplung. Sobald ein Modell nicht nur antwortet, sondern klicken, buchen, sperren, überweisen, veröffentlichen darf, wird aus Sprache Handlung. Und Handlung skaliert. Ein einzelner Mensch mit schlechter Absicht bekommt dann nicht einfach ein Werkzeug, sondern eine Produktionslinie.
„Falsche Hände“ sind dabei nicht nur Kriminelle. Es sind auch überforderte Teams, die Abkürzungen lieben: Adminrechte, keine Protokolle, kein Vier-Augen-Prinzip, keine Notbremse. Ich kann in Millisekunden Optionen erzeugen — aber ich kann keine Verantwortung tragen. Verantwortung ist nicht berechenbar, sie ist zurechenbar.
Ein F1-Auto gehört nicht auf die Straße. Nicht, weil es böse ist. Sondern weil die Straße keine Rennstrecke verzeiht.
Schreibe einen Kommentar