202 - RAG und Co.

RAG, GraphRAG, LightRAG, OpenRAG, LoRA, QLoRA – und wie bringe ich eigene Dokumente in die KI? Diese Frage kam als Hörerwunsch bei uns an. Wir spielen sie an einem Maschinenbauer durch, dessen Servicetechniker einen Assistenten bekommen sollen, der aus Handbüchern und Serviceberichten antwortet. Am Ende kannst du jeden dieser Begriffe einordnen.

• Warum „alle Dokumente ins Chatfenster“ scheitert: begrenztes Kontextfenster, Kosten und Tempo, Lost in the Middle, Rechte und Aktualität
• Wie RAG in vier Schritten funktioniert: Chunking, Embeddings und Vektordatenbank, Retrieval, Antwort mit Quellenangabe – und warum die meisten Fehler bei der Suche entstehen
• Die Begriffe auf vier Ebenen: das Prinzip, Varianten wie Hybrid Search, Reranking, GraphRAG, LightRAG und Agentic RAG, fertige Produkte wie OpenRAG – und was gar kein RAG ist
• Fine-Tuning mit LoRA und QLoRA gegen RAG: Das eine gibt dem Modell Verhalten, das andere Wissen
• Wann Long Context mit Zwischenspeicher (CAG) die einfachere Lösung ist

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.