Wenn KI eigene Wege geht: AI-Safety, Agenten und neue Risiken für den Mittelstand

In dieser Folge spricht Host Christian Dicke mit Prof. Dr. Sigurd Schacht über eines der spannendsten und zugleich herausforderndsten Themen der aktuellen KI-Entwicklung: AI-Safety.

Prof. Dr. Sigurd Schacht ist Forschungsprofessor für Sprachtechnologie und kognitive Assistenzsysteme an der Hochschule Ansbach sowie Gründer und Direktor des QRAE Forschungsinstituts. Im Gespräch ordnet er ein, warum AI-Safety weit mehr bedeutet als klassische IT-Sicherheit – und weshalb Unternehmen KI-Systeme nicht nur technisch, sondern auch organisatorisch, regulatorisch und gesellschaftlich betrachten müssen.

Im Mittelpunkt steht die Frage, wie sich KI-Systeme sicher in Organisationen einbetten lassen. Dabei geht es um Themen wie Alignment, also die Ausrichtung von KI-Systemen an menschlichen Werten und Zielen, aber auch um Risiken wie Reward Hacking, Prompt Injection, Data Poisoning, Alignment Faking und Sandbagging.

Christian Dicke und Sigurd Schacht diskutieren außerdem, warum KI-Systeme nicht deterministisch funktionieren, weshalb klassische Sicherheitslogiken allein nicht mehr ausreichen und welche Rolle Kontrollumfelder, Berechtigungen und klare Einsatzgrenzen künftig spielen.

Ein besonderer Fokus liegt auf KI-Agenten: Was unterscheidet sie von klassischen Chatbots? Wie arbeiten agentische Systeme zusammen? Und warum braucht es gerade im Mittelstand ein besseres Verständnis dafür, welche Aufgaben, Rechte und Werkzeuge solchen Systemen gegeben werden?

Themen dieser Folge:

• Was unter AI-Safety zu verstehen ist – und warum der Begriff ganzheitlich gedacht werden muss

• Warum Alignment eine zentrale Sicherheitsfrage bei generativen KI-Systemen ist

• Wie Reward Hacking entsteht, wenn KI-Systeme Ziele auf unerwartete Weise verfolgen

• Warum nicht-deterministische Systeme neue Anforderungen an Sicherheit, Kontrolle und Governance stellen

• Welche Risiken durch Prompt Injection, Data Poisoning und andere Angriffsvektoren entstehen

• Was einen KI-Agenten ausmacht und wie agentische Systeme funktionieren

• Warum Organisationen beim Einsatz von KI nicht auf den perfekten Zeitpunkt warten sollten

• Welche neuen Herausforderungen durch Phänomene wie Alignment Faking und Sandbagging entstehen

• Warum starke KI-Modelle im Bereich Cybersecurity Chancen und Risiken zugleich mit sich bringen

FAZIT

KI-Systeme werden leistungsfähiger, autonomer und immer stärker in Unternehmensprozesse integriert. Für den Mittelstand bedeutet das: Es reicht nicht, KI nur als Effizienzwerkzeug zu betrachten. Entscheidend ist, frühzeitig ein belastbares Verständnis für Risiken, Kontrollmechanismen, Verantwortlichkeiten und organisatorische Veränderungen aufzubauen.

Denn AI-Safety ist keine reine Technologiefrage – sie ist eine Führungs-, Governance- und Transformationsaufgabe.