Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Nota
Pesquisa de IA do Azure está disponível por meio do portal Azure, APIs REST e SDKs do Azure. Ele também sustenta o IQ do Foundry, a camada de conhecimento gerenciado que transforma o conteúdo da empresa em bases de conhecimento reutilizáveis e com reconhecimento de permissão para agentes no portal do Microsoft Foundry.
Em Pesquisa de IA do Azure , semantic ranker é um recurso que melhora mensuravelmente a relevância da pesquisa usando os modelos de compreensão de linguagem da Microsoft para reordenar os resultados da pesquisa. O classificador semântico também é integrado à recuperação agêntica. Este artigo é uma introdução de alto nível para ajudá-lo a entender os comportamentos e benefícios do classificador semântico.
O classificador semântico é um recurso premium que é cobrado pelo uso, mas você pode usá-lo gratuitamente sujeito aos limites de serviço para a camada gratuita. Recomendamos este artigo em segundo plano, mas se você preferir começar, siga estas etapas.
O que é classificação semântica?
O classificador semântico é uma coleção de funcionalidades do lado da consulta que melhoram a qualidade de um resultado de pesquisa inicial classificado em BM25 ou RRF para consultas baseadas em texto, a parte de texto de consultas vetoriais e consultas híbridas. A classificação semântica estende o pipeline de execução de consulta de três maneiras:
Primeiro, ele sempre adiciona uma classificação secundária sobre um conjunto de resultados inicial que foi pontuado usando BM25 ou Reciprocal Rank Fusion (RRF). Esta classificação secundária usa modelos multilíngues de aprendizado profundo adaptados de Microsoft Bing para promover os resultados mais semanticamente relevantes.
Em segundo lugar, ele retorna legendas e, opcionalmente, extrai respostas na resposta, que você pode renderizar em uma página de pesquisa para melhorar a experiência de pesquisa do usuário.
Terceiro, se você habilitar a reescrita de consulta, ela expandirá uma cadeia de caracteres de consulta inicial em várias cadeias de caracteres de consulta semanticamente semelhantes.
A classificação secundária e as "respostas" se aplicam à resposta da consulta. A reescrita da consulta faz parte da solicitação da consulta.
O classificador semântico tem os seguintes recursos:
| Capacidade | Descrição |
|---|---|
| Classificação L2 | Usa o contexto ou o significado semântico de uma consulta para calcular uma nova pontuação de relevância em relação aos resultados pré-classificados. |
| Legendas semânticas e realces | Extrai frases e expressões literais de campos que melhor resumem o conteúdo, com destaques sobre as passagens principais para facilitar a leitura. Legendas que resumem um resultado são úteis quando campos de conteúdo individuais são muito densos para a página de resultados da pesquisa. O texto realçado eleva os termos e frases mais relevantes para que os usuários possam determinar rapidamente por que uma correspondência foi considerada relevante. |
| Respostas semânticas | Uma subestrutura opcional e extra retornada de uma consulta semântica. Ele fornece uma resposta direta para uma consulta que se parece com uma pergunta. Requer que um documento tenha texto com as características de uma resposta. |
| Reescrita de consulta | Usando consultas de texto ou a parte de texto de uma consulta vetor, o classificador semântico cria até 10 variantes da consulta, talvez corrigindo erros de digitação ou ortografia ou reformulando uma consulta usando sinônimos gerados. A consulta reescrita é executada no mecanismo de pesquisa. Os resultados são pontuados usando a pontuação BM25 ou RRF e, em seguida, reavaliados pelo classificador semântico. |
Como funciona o classificador semântico
O classificador semântico recebe uma consulta e resultados, e em seguida os envia para modelos de compreensão de linguagem hospedados pela Microsoft. Ele verifica se há correspondências melhores.
A ilustração a seguir explica o conceito. Considere o termo "capital". Tem significados diferentes dependendo se o contexto é finanças, direito, geografia ou gramática. Por meio do reconhecimento vocal, o classificador semântico detecta o contexto e promove resultados que se ajustam à intenção de consulta.
A classificação semântica usa muitos recursos e tempo. Para concluir o processamento dentro da latência esperada de uma operação de consulta, o sistema consolida e reduz as entradas para o classificador semântico. Essa abordagem ajuda a concluir a etapa de reclassificação o mais rápido possível.
A classificação semântica tem três etapas:
- Coletar e resumir entradas
- Pontuar resultados usando o classificador semântico
- Saída de resultados repontuados, legendas e respostas
Como o sistema coleta e resume entradas
Na classificação semântica, o subsistema de consulta passa os resultados da pesquisa como uma entrada para resumir e classificar modelos. Como os modelos de classificação têm restrições de tamanho de entrada dos dados e são de processamento intensivo, os resultados da pesquisa devem ser dimensionados e estruturados (resumidos) para uma manipulação eficiente.
O classificador semântico começa com um resultado classificado em BM25 de uma consulta de texto ou um resultado classificado por RRF de um vetor ou consulta híbrida. O exercício de reordenamento usa apenas texto. Mesmo que os resultados incluam mais de 50 resultados, apenas os 50 melhores resultados avançam para o ranking semântico. Normalmente, a classificação semântica usa campos informativos e descritivos.
Para cada documento no resultado da pesquisa, o modelo de resumo aceita até 2.000 tokens, em que um token tem aproximadamente 10 caracteres. O modelo monta entradas dos campos "título", "palavras-chave" e "conteúdo" listados na configuração semântica.
O sistema corta cadeias de caracteres excessivamente longas para garantir que o comprimento geral atenda aos requisitos de entrada da etapa de resumo. Este exercício de corte é o motivo pelo qual é importante adicionar campos à configuração semântica em ordem de prioridade. Se você tiver documentos muito grandes com campos de texto pesado, o sistema ignorará qualquer coisa após o limite máximo.
Campo semântico Limite de token título 128 tokens "palavras-chave" 128 tokens conteúdo tokens restantes A saída de sumarização é uma cadeia de caracteres de resumo para cada documento, composta pelas informações mais relevantes de cada campo. O sistema envia cadeias de caracteres de resumo para o classificador para pontuação e para modelos de compreensão de leitura de computador para legendas e respostas.
A partir de novembro de 2024, o resumo gerado passado para o classificador semântico terá um comprimento máximo de 2.048 tokens. Anteriormente, eram 256 tokens.
Como os resultados são pontuados
O sistema pontua os resultados com base na legenda e em qualquer outro conteúdo da cadeia de caracteres de resumo que preenche o comprimento do token de 2.048.
O sistema avalia as legendas para relevância conceitual e semântica, em relação à consulta que você fornece.
O sistema atribui um @search.rerankerScore a cada documento com base na relevância semântica do documento para a consulta fornecida. As pontuações variam de 4 a 0 (alta a baixa), em que uma pontuação mais alta indica maior relevância.
Pontuação Significado 4.0 O documento é altamente relevante e responde completamente à pergunta, embora a passagem possa conter texto extra não relacionado à pergunta. 3.0 O documento é relevante, mas não tem detalhes que o tornem completo. 2.0 O documento é um pouco relevante; ele responde à pergunta parcial ou apenas aborda alguns aspectos da pergunta. 1.0 O documento está relacionado à pergunta e responde a uma pequena parte dele. 0.0 O documento é irrelevante. O sistema lista correspondências em ordem decrescente por pontuação e inclui-as no conteúdo de resposta à consulta. O conteúdo inclui respostas, texto sem formatação, legendas realçadas e todos os campos marcados como recuperáveis ou especificados em uma cláusula SELECT.
Nota
Para qualquer consulta específica, as distribuições de @search.rerankerScore podem exibir pequenas variações devido a condições no nível da infraestrutura. As atualizações de modelo de classificação também podem afetar a distribuição. Por esses motivos, se você estiver escrevendo código personalizado para limites mínimos ou definindo a propriedade de limite para consultas vetoriais e híbridas, não torne os limites muito granulares.
Saídas do classificador semântico
Em cada cadeia de caracteres de resumo, os modelos de compreensão de leitura do computador encontram passagens que são as mais representativas.
As saídas são:
Uma legenda semântica para o documento. Cada legenda está disponível em uma versão de texto sem formatação e uma versão de realce, e é frequentemente menos de 200 palavras por documento.
Uma resposta semântica opcional, supondo que você especificou o
answersparâmetro, a consulta foi colocada como uma pergunta e uma passagem é encontrada na cadeia de caracteres longa que fornece uma resposta provável para a pergunta.
Legendas e respostas são sempre textos verbais do índice. Não há nenhum modelo de IA gerador neste fluxo de trabalho que crie ou redigir novo conteúdo.
Funcionalidades semânticas e limitações
O que o classificador semântico pode fazer:
Promova combinações semanticamente mais alinhadas à intenção da consulta original.
Encontre cadeias de caracteres a serem usadas como legendas e respostas. A resposta retorna legendas e respostas, que você pode renderizar em uma página de resultados da pesquisa.
O que o classificador semântico não pode fazer é executar novamente a consulta em todo o corpus para encontrar resultados semanticamente relevantes. A classificação semântica reclassifica o conjunto de resultados existente, que consiste nos 50 principais resultados de acordo com a pontuação do algoritmo de classificação padrão. Além disso, o classificador semântico não pode criar novas informações ou cadeias de caracteres. Os modelos de linguagem extraem legendas e respostas verbais do seu conteúdo, portanto, se os resultados não incluirem texto semelhante à resposta, eles não produzirão um.
Embora a classificação semântica não seja benéfica em todos os cenários, determinado conteúdo pode se beneficiar significativamente de suas funcionalidades. Os modelos de linguagem no classificador semântico funcionam melhor em conteúdo pesquisável que seja rico em informações e estruturado como prosa. Uma base de conhecimento, documentação online ou documentos que contêm conteúdo descritivo obtêm os maiores benefícios das capacidades do ranqueador semântico.
A tecnologia subjacente é do Bing e Microsoft Research e integrada à infraestrutura Pesquisa de IA do Azure como um recurso de complemento. Para obter mais informações sobre a pesquisa e os investimentos em IA que apoiam o ranker semântico, consulte Como a IA do Bing está alimentando Pesquisa de IA do Azure (Blog de Pesquisa Microsoft).
O vídeo a seguir fornece uma visão geral dos recursos.
Como o classificador semântico usa mapas de sinônimos
Se você habilitar o suporte para mapas de sinônimos associados a um campo em seu índice de pesquisa e incluir esse campo na configuração do ranker semântico, o classificador semântico aplicará automaticamente os sinônimos configurados durante o processo de reclassificação.
Disponibilidade e preços
O classificador semântico está disponível em regiões selecionadas. Ele pode ser usado como um recurso autônomo ou como um componente interno da recuperação por meio de agentes. Cada recurso é cobrado de forma independente.
O classificador semântico oferece um plano gratuito (padrão) com uma cota mensal de solicitações gratuitas e um plano básico com preços pagos conforme o uso, após o consumo das solicitações gratuitas. Para obter mais informações, consulte Habilitar ou desativar a cobrança do classificador semântico.
Os encargos do classificador semântico ocorrem quando as solicitações de consulta incluem queryType=semantic e a cadeia de caracteres de pesquisa não está vazia (por exemplo, search=pet friendly hotels in New York). Se a cadeia de caracteres de pesquisa estiver vazia (search=*), você não será cobrado, mesmo que o queryType esteja definido como semântico.
Como começar
(Opcional) Alterne para o plano de cobrança padrão para uso além da cota mensal gratuita.
Configure o classificador semântico em um índice de pesquisa.
Configure consultas para retornar legendas semânticas e realces.
(Opcional) Retornar respostas semânticas.