Semantischer Reranker in Azure Cosmos DB für NoSQL (Vorschau)

Der semantische Reranker verwendet ein KI-Modell, um die Ergebnisse aus einer Abfrage (Vektorsuche, Hybridsuche oder einem anderen Abfragetyp) basierend auf der Relevanz für den bereitgestellten Benutzersuchbegriff oder -kontext zu ermitteln und neu anzuordnen. Durch die direkte Integration des Rerankers in Azure Cosmos DB können Entwickler das Reranking auf alle Abfrageergebnisse anwenden, die aus einem beliebigen Container abgerufen werden (z. B. mithilfe von Vektor, Volltext oder Hybridsuche ), während Sie die neuesten Azure Cosmos DB SDKs (Python & .NET) mit minimalen Codeänderungen verwenden.

Der Semantic Reranker-Dienst verwendet das Microsoft AI Semantic Ranker-Modell, das intern von Microsoft entwickelt wurde und heute im Semantic Ranker von Azure KI-Suche verfügbar ist.

Warum semantischen Reranker verwenden?

Bei der Auswertung eines Such- oder Abrufsystems definieren vier primäre Metriken die Endbenutzerumgebung:

  • Genauigkeit / Rückruf: Wie genau die abgerufenen Ergebnisse mit der Grundwahrheit übereinstimmen. Beispiel: Ungefähre Vektorsuche (DiskANN) und exakte Suche (flach)
  • Latenz: Die Gesamtzeit für die Rückgabe von Ergebnissen aus der Abfrageübermittlung bis zur Antwort
  • Relevanz: Wie gut die abgerufenen Dokumente mit der Absicht des Benutzers übereinstimmen. Beispielsweise ist eine Abfrage nach "beste Surfspots auf Hawaii" ein kuratierter Surfguide relevanter als ein allgemeiner Hawaii-Reiseartikel.

Ziel des semantischen Rerankers ist es, die Relevanz der Sortierung von Suchergebnissen im Vergleich zu der Frage des Benutzers oder einem anderen Kontext zu verbessern. Das KI-gestützte semantische Verständnis kann qualitativ hochwertigere Ergebnisse an der Spitze Ihrer Suche bereitstellen, die Benutzererfahrung verbessern und Agenten mit relevanteren Daten in Retrieval Augmented Generation (RAG) versorgen. Es bietet jedoch möglicherweise keine Vorteile für alle Workloads. Das Aufrufen der semantischen Reranker erhöht auch die Gesamtlatenz der Suche, indem ein weiterer Netzwerkaufruf und eine Ableitungszeit für das Modell eingeführt werden, um Relevanzbewertungen zu generieren. Es ist wichtig, die Relevanz sowohl vor als auch nach dem Anwenden des semantischen Rerankers zu bewerten, um zu ermitteln, ob sie messbare Verbesserungen für Ihre Such- und Abrufszenarien angesichts der erhöhung der Latenz liefert.

  • Verbesserte Ergebnisqualität: KI-gestütztes semantisches Verständnis kann höhere Ergebnisse in der Nähe der Spitze Ihrer Suche liefern, die Endbenutzererfahrung verbessern und Agenten mit relevanteren Daten in der Retrieval Augmented Generation (RAG) bereichern.
  • Nahtlose Integration in Cosmos DB SDKs: Arbeitet mit vorhandenen Vektor-, Volltext- und Hybridsuchabfragen
  • Minimale Codeänderungen: Einfach zu implementieren mit den neuesten Azure Cosmos DB SDKs
  • Flexible Anwendung: Kann auf alle Abfrageergebnisse eines beliebigen Containers angewendet werden

Semantische Rerankerausgabe

Wenn Sie einen Aufruf an den semantischen Reranker ausführen, kann die Antwort mehrere Felder enthalten, darunter:

  • Originaldokumente: Die neu bewerteten Ergebnisse enthalten dieselben Dokumente, die von der ursprünglichen Abfrage zurückgegeben wurden, aber basierend auf ihrer semantischen Relevanz auf Ihre bereitgestellte Kontextzeichenfolge neu angeordnet wurden. Der Dokumentinhalt und die Metadaten bleiben unverändert, und nur die Sortierung wird geändert, um die Relevanz zu verbessern.
  • Relevanzbewertung: Jedes Dokument in den neu bewerteten Ergebnissen enthält eine Relevanzbewertung von 0 bis 1, die angibt, wie semantisch relevant das Dokument für Ihre bereitgestellten Suchbegriffe oder den Kontext ist. Je höher die Bewertung, desto höher die Relevanz. Diese Bewertungen werden vom KI-Modell generiert und helfen Ihnen zu verstehen:
    • Welche Ergebnisse für die Absicht des Benutzers am relevantesten sind
    • Die Konfidenzstufe des semantischen Abgleichs
    • Wie man Ergebnisse basierend auf der Relevanz filtern oder Schwellenwerte setzen kann.
  • Ableitungslatenz: Die vom Dienst in der Rerankanforderung aufgewendete Zeit.

So registrieren Sie sich für die Vorschau

Der Semantische Reranker ist derzeit in einer eingeschränkten Vorschau verfügbar. So erhalten Sie Zugriff auf dieses Feature: Registrieren Sie sich für die Vorschau des semantischen Rerankers , und Sie werden der Warteliste hinzugefügt.