153. Kan man lura AI? – Evaluations och LLM-as-a-judge

I avsnitt 153 pratar Erik och Dick om hur man bygger och kvalitetssäkrar AI-agenter. Med exempel på hur chatbotar kan “luras” går de igenom vad evaluations (evals) är, hur LLM-as-a-judge fungerar och hur företag använder detta för att förbättra sina AI-system över tid. De diskuterar också feedbackloopar, skillnaden mellan offline och online-utvärdering samt varför human in the loop fortfarande är avgörande. Ett avsnitt för dig som vill förstå hur AI-produkter fungerar bakom kulisserna