Retrieval Augmented Generation Systeme stellen durch die Anbindung von externen Datenquellen zusätzliches Wissen für große Sprachmodelle (LLM) bereit. Dabei ruft das RAG-System relevante Dokumente aus der externen Datenquelle ab, woraus das Sprachmodell kontextbasierte Antworten liefert. Doch was beeinflusst die Relevanz? In dieser monatlichen Ausgabe von "KI Journal Club" stellt ontolux Ansätze aus aktueller Forschung zur Optimierung von RAG-Systemen vor.

Was ist Retrieval Augmented Generation (RAG)?

Große Sprachmodelle (LLMs) zeigen bemerkenswerte Fähigkeiten in der semantischen Verarbeitung und verfügen über umfangreiches (Welt-)Wissen. LLMs können allerdings veraltete Informationen liefern und in manchen Fällen faktische Ungenauigkeiten (Halluzinationen) produzieren.

Da LLMs nur periodisch auf einem großen Korpus öffentlicher Daten trainiert werden, fehlt ihnen aktuelles Wissen sowie private Daten, die für das Training nicht zugänglich sind.

Retrieval Augmented Generation (RAG) ist ein Ansatz in der Entwicklung von LLM-Anwendungen, um diese Einschränkungen zu überwinden.

Doch RAG-Systeme haben ihre eigenen komplexen Fallstricken. In diesem Beitrag erläutert ontolux einen neuen Ansatz zur Qualitäts- und Faktizitätverbesserung von Sprachmodellen.

Zum Blogbeitrag: Optimierung von RAG-Systemen durch Selbstreflexion

 

Datum: 25.06.2024