Gerenciar arquivos robots.txt

Este artigo descreve como gerenciar arquivos de robots.txt no comércio eletrônico Microsoft Dynamics 365.

O padrão de exclusão de robôs, ou robots. txt é um padrão que os sites usam para comunicar-se com os robôs da Web. Ele instrui os robôs web sobre quaisquer áreas de um site que não devem ser visitadas. Os robôs geralmente são usados por mecanismos de pesquisa para indexar sites.

Para excluir robôs de um servidor, crie um arquivo no servidor. Neste arquivo, especifique uma política de acesso para robôs. O arquivo deve ser acessível via HTTP no URL local /robots.txt. O arquivo robots. txt ajuda os mecanismos de pesquisa a indexar o conteúdo no site.

O Dynamics 365 Commerce permite carregar um arquivo robots. txt para o seu domínio. Para cada domínio no seu ambiente de Commerce, você pode carregar um arquivo robots. txt e associá-lo a esse domínio.

Para obter mais informações sobre o arquivo robots. txt, visite As Páginas de Robôs da Web.

Como robots.txt funciona com diferentes tipos de domínio

Robots.txt comportamento difere de acordo com qual tipo de domínio é usado para acessar seu site de Comércio.

Domínios de produção personalizados

Quando você carrega um arquivo robots.txt para um domínio personalizado, como www.fabrikam.com, esse arquivo é atendido quando mecanismos de pesquisa ou usuários acessam /robots.txt em seu site de produção. Esse método permite que os mecanismos de pesquisa indexem seu site de acordo com as regras configuradas.

Domínios internos gerados pelo Comércio Interno

Domínios internos que usam o formato .dynamics365commerce.ms servem o arquivo de robots.txt carregado, da mesma forma que os domínios de produção personalizados. No entanto, todas as respostas HTTP desses domínios incluem o X-Robots-Tag: noindex, nofollow cabeçalho, que instrui os mecanismos de pesquisa a não indexar ou seguir links nessas páginas. Para obter mais informações, consulte Cabeçalho de resposta X-Robots-Tag para domínios internos.

Cabeçalho de resposta X-Robots-Tag para domínios internos

A partir da versão 10.0.48 do Commerce em versão prévia, todas as respostas HTTP de domínios internos gerados pelo Commerce (.dynamics365commerce.ms) incluem um X-Robots-Tag: noindex, nofollow cabeçalho de resposta. Essa alteração se aplica automaticamente a todos os locatários e não requer nenhuma atualização de versão. O cabeçalho instrui os mecanismos de pesquisa a não indexarem a página e não seguirem nenhum links nela. Ele também ajuda os rastreadores do mecanismo de pesquisa a reexaminar páginas e descobrir a diretiva noindex, que remove o conteúdo indexado anteriormente dos resultados da pesquisa.

Testar robots.txt para um domínio específico

Para visualizar como o arquivo robots.txt aparece para um domínio personalizado específico durante o acesso por um domínio interno gerado pelo Comércio, adicione o parâmetro de consulta ?domain= à URL robots.txt.

Por exemplo, se o domínio interno for https://<e-commerce-tenant-name>.dynamics365commerce.ms e seu domínio personalizado for <your-custom-domain>, use a seguinte URL:

https://<e-commerce-tenant-name>.dynamics365commerce.ms/robots.txt?domain=<your-custom-domain>

Esse método permite que você verifique a configuração de robots.txt para qualquer um dos nomes de host com suporte antes de entrar em ação com seu domínio de produção. Para obter mais informações sobre URLs geradas pelo Comércio, consulte URLs geradas pelo Comércio. Para obter mais informações sobre como configurar domínios personalizados, consulte Configurar seu nome de domínio.

Carregar um arquivo robots. txt

Depois de criar e editar seu arquivo de robots.txt de acordo com o padrão de exclusão de robôs, verifique se você pode acessar o arquivo no computador em que usa as ferramentas de criação do Commerce. O arquivo deve ter o nome robots.txt. Para obter melhores resultados, use o formato observado no padrão. Cada cliente do Commerce é responsável por validar e manter o conteúdo do arquivo robots. txt. Para carregar um arquivo robots.txt, entre no Commerce como administrador do sistema.

Para carregar um arquivo robots.txt no Commerce, siga estas etapas:

1. Faça logon no Commerce como um administrador do sistema.
2. No painel de navegação esquerdo, selecione Configurações do Locatário (próximo ao símbolo de engrenagem) para expandi-las.
3. Em Configurações do Locatário, selecione Robots.txt. Uma lista de todos os domínios associados ao seu ambiente aparece na parte principal da janela.
4. Selecione Gerenciar para carregar um arquivo robots. txt para um domínio no seu ambiente.
5. No menu à direita, selecione o botão Carregar (a seta apontando para cima) próximo ao domínio associado ao arquivo robots. txt. Uma caixa de diálogo do navegador de arquivos é exibida.
6. Na caixa de diálogo, procure e selecione o arquivo robots. txt que deseja carregar para o domínio associado e, em seguida, selecione Abrir para concluir o carregamento.

Baixar um arquivo robots. txt

Para baixar um arquivo robots.txt no Commerce, siga estas etapas:

1. Faça logon no Commerce como um administrador do sistema.
2. No painel de navegação esquerdo, selecione Configurações do Locatário (próximo ao símbolo de engrenagem) para expandi-las.
3. Em Configurações do Locatário, selecione Robots.txt. Uma lista de todos os domínios associados ao seu ambiente aparece na parte principal da janela.
4. Selecione Gerenciar para baixar um arquivo robots. txt para um domínio no seu ambiente.
5. No menu à direita, selecione o botão Baixar (a seta apontando para baixo) próximo ao domínio associado ao arquivo robots. txt. Uma caixa de diálogo do navegador de arquivos é exibida.
6. Na caixa de diálogo, Acesse o local desejado na unidade local, confirme ou insira um nome de arquivo e selecione Salvar para concluir o download.

Excluir um arquivo robots. txt

Para excluir um arquivo robots.txt no Commerce, siga estas etapas:

1. Faça logon no Commerce como um administrador do sistema.
2. No painel de navegação esquerdo, selecione Configurações do Locatário (próximo ao símbolo de engrenagem) para expandi-las.
3. Em Configurações do Locatário, selecione Robots.txt. Uma lista de todos os domínios associados ao seu ambiente aparece na parte principal da janela.
4. Selecione Gerenciar para excluir um arquivo robots. txt para um domínio no seu ambiente.
5. No menu à direita, selecione o botão Excluir (o símbolo de lata de lixo) próximo ao domínio associado ao arquivo robots. txt. Uma janela do navegador de arquivos é exibida.
6. Na janela do navegador de arquivos, procure e selecione o arquivo robots. txt que deseja excluir do domínio e, em seguida, selecione Abrir. Uma caixa de mensagem de aviso é exibida.
7. Na caixa de mensagem, selecione Excluir para confirmar a exclusão do arquivo robots. txt.

Mais recursos

• Configurar seu nome de domínio
• Implantar um novo locatário de comércio eletrônico
• Criar um site de comércio eletrônico
• Associar um site do Dynamics 365 Commerce a um canal online
• Carregar redirecionamentos de URL em massa
• Configurar um locatário de B2C no Commerce
• Configurar páginas personalizadas para logons dos usuários
• Configurar múltiplos locatários B2C em um ambiente do Commerce
• Adicionar suporte para uma rede de entrega de conteúdo (CDN)
• Habilitar detecção de lojas com base na localização