Synthetisches Abfragetesten: Assistenten sondieren, um Zitierregeln zu rekonstruieren

Read the full article: Synthetisches Abfragetesten: Assistenten sondieren, um Zitierregeln zu rekonstruieren

Discover more at Content Marketing Automation

Excerpt:

Einleitung Moderne KI-Assistenten (Chatbots wie ChatGPT oder Bing Chat) versuchen oft, Benutzerfragen zu beantworten und ihre „Arbeit“ durch das Zitieren von Quellen zu belegen. Studien zeigen jedoch, dass viele Antworten fehlerhafte oder fehlende Zitate aufweisen. Zum Beispiel fanden Forscher der Stanford University heraus, dass etwa die Hälfte der KI-Chat-Antworten unbelegte Aussagen oder falsche Zitate enthielt (www.axios.com). Bei medizinischen Tests gaben neue KI-Tools oft Antworten, die nicht durch die von ihnen zitierten Quellen belegt waren (doaj.org). Diese Probleme bedeuten, dass wir bessere Methoden benötigen, um das Zitierverhalten von KI-Assistenten zu testen.

Um zu verstehen, wie eine KI auswählt, was zitiert werden soll, schlagen wir einen groß angelegten Testplan vor. Wir werden viele synthetische Abfragen (erfundene Fragen) erstellen, die verschiedene Themenbereiche und Fragetypen abdecken. Diese werden wir automatisch durch KI-Assistenten laufen lassen, deren Antworten und Zitate sammeln und jede zitierte Quelle nach ihrer Aktualität (wie neu), Autorität (wie vertrauenswürdig) und Struktur (Typ oder Format) kennzeichnen. Anschließend verwenden wir einfache Statistiken, um zu sehen, welche Faktoren die Wahrscheinlichkeit erhöhen, dass eine KI eine Quelle zitiert. Wir werden all unsere Daten und Tools offen teilen. Auf diese Weise können wir Verbesserungen im Crowdsourcing vornehmen und das Zitierverhalten von KI-Assistenten kontinuierlich überwachen.

... Continue reading