154 - LLMs automatisiert knacken

Sicherheitsleitplanken bei KIs sind keine harten Grenzen, sondern eine gefährliche Illusion. In dieser Folge zeigen wir, wie Forscher von Palo Alto und Unit 42 mithilfe von genetischen Algorithmen und automatisiertem Prompt-Fuzzing jedes bekannte Large Language Model (LLM) erfolgreich knacken konnten.Wir erklären die Mechanismen dahinter und diskutieren folgende Kernpunkte:

• Automatisierte Jailbreaks: Wie Angreifer in wenigen Minuten dutzende Sicherheitslücken ausnutzen.
• Gefahr durch offene Modelle: Warum sich Schutzmechanismen bei lokalen Modellen einfach heraustrainieren lassen.
• Indirect Prompt Injection: Wie über externe Dokumente (RAG) unsichtbare Befehle in die KI eingeschleust werden können, was OWASP zur Top-Bedrohung für 2025 erklärt hat.