robots.txt ファイルの管理

この記事では、Microsoft Dynamics 365 e コマースで robots.txt ファイルを管理する方法について説明します。

ロボット除外標準または robots.txt は、Web サイトが Web ロボットと通信するために使用する標準です。 Web ロボットに対して、訪問すべきではない Web サイトの領域について指示します。 多くの場合、検索エンジンはロボットを使用して Web サイトをインデックス化します。

サーバーからロボットを除外するには、サーバー上にファイルを作成します。 このファイルでは、ロボットのアクセス ポリシーを指定します。 ファイルは、ローカル URL /robots.txt で HTTP 経由でアクセスできる必要があります。 robots.txt ファイルは、検索エンジンがサイトのコンテンツをインデックス化するのに役立ちます。

Dynamics 365 Commerceでは、ドメインの robots.txt ファイルをアップロードできます。 コマース環境内のドメインごとに、robots.txt ファイルを 1 つアップロードして、そのドメインに関連付けることができます。

robots.txt ファイルの詳細については、Web ロボット ページを参照してください。

robots.txt がさまざまなドメインの種類で動作する方法

Robots.txt 動作は、コマース サイトへのアクセスに使用されるドメインの種類によって異なります。

カスタム運用ドメイン

www.fabrikam.comなどのカスタム ドメインの robots.txt ファイルをアップロードすると、検索エンジンまたはユーザーが運用サイト上の/robots.txtにアクセスすると、そのファイルが提供されます。 この方法を使用すると、検索エンジンは、構成されたルールに従ってサイトのインデックスを作成できます。

内部コマースで生成されたドメイン

.dynamics365commerce.ms形式を使用する内部ドメインは、カスタム運用ドメインと同様に、アップロードされた robots.txt ファイルを処理します。 ただし、これらのドメインからのすべての HTTP 応答には、 X-Robots-Tag: noindex, nofollow ヘッダーが含まれています。このヘッダーは、これらのページのインデックス作成やリンクのフォローを行わないよう検索エンジンに指示します。 詳細については、 内部ドメインの X-Robots-Tag 応答ヘッダーを参照してください。

内部ドメインの X-Robots-Tag 応答ヘッダー

Commerce バージョン 10.0.48 プレビュー リリース以降、内部のコマースで生成されたドメイン (.dynamics365commerce.ms) からのすべての HTTP 応答には、 X-Robots-Tag: noindex, nofollow 応答ヘッダーが含まれています。 この変更はすべてのテナントに自動的に適用され、バージョンのアップグレードは必要ありません。 ヘッダーは、ページのインデックスを作成せず、ページ上のリンクに従わないよう検索エンジンに指示します。 また、検索エンジン クローラーがページを再クロールし、 noindex ディレクティブを検出するのにも役立ちます。これにより、以前にインデックスが作成されたコンテンツが検索結果から削除されます。

特定のドメインの robots.txt をテストする

Commerce で生成された内部ドメインからアクセスするときに、特定のカスタム ドメインの robots.txt ファイルがどのように表示されるかをプレビューするには、robots.txt URL に ?domain= クエリ パラメーターを追加します。

たとえば、内部ドメインが https://<e-commerce-tenant-name>.dynamics365commerce.ms で、カスタム ドメインが <your-custom-domain>場合は、次の URL を使用します。

https://<e-commerce-tenant-name>.dynamics365commerce.ms/robots.txt?domain=<your-custom-domain>

この方法を使用すると、運用ドメインを使用する前に、サポートされているホスト名の robots.txt 構成を確認できます。 コマースで生成された URL の詳細については、「 コマースで生成された URL」を参照してください。 カスタム ドメインの構成の詳細については、「 ドメイン名の構成」を参照してください。

robots.txt ファイルのアップロード

ロボットの除外標準に従って robots.txt ファイルを作成して編集したら、コマース作成ツールを使用するコンピューター上のファイルにアクセスできることを確認します。 ファイル名は、robots.txt である必要があります。 最適な結果を得るには、標準に示されている形式を使用します。 各コマースの顧客は、robots.txt ファイルの内容を検証および維持する責任があります。 robots.txt ファイルをアップロードするには、システム管理者として Commerce にサインインします。

Commerce で robots.txt ファイルをアップロードするには、次の手順に従います。

1. システム管理者として Commerce にサインインします。
2. 左のナビゲーション ウィンドウで、テナントの設定 (ギア記号の横) を選択して展開します。
3. テナントの設定で、robots.txt を選択します。 環境に関連付けられているすべてのドメインのリストが、ウィンドウの主要部分に表示されます。
4. 管理を選択して、環境内ドメインの robots.txt ファイルをアップロードします。
5. 右側のメニューで、robots.txt ファイルに関連づけられているドメインの横にあるアップロード ボタン (上向き矢印) を選択します。 ファイル参照ダイアログ ボックスが表示されます。
6. ダイアログボックスで、関連付けられたドメインにアップロードする robots.txt ファイルを参照して選択し、開くを選択してアップロードを完了します。

robots.txt ファイルのダウンロード

Commerce で robots.txt ファイルをダウンロードするには、次の手順に従います。

1. システム管理者として Commerce にサインインします。
2. 左のナビゲーション ウィンドウで、テナントの設定 (ギア記号の横) を選択して展開します。
3. テナントの設定で、robots.txt を選択します。 環境に関連付けられているすべてのドメインのリストが、ウィンドウの主要部分に表示されます。
4. 管理を選択して、環境内ドメインの robots.txt ファイルをダウンロードします。
5. 右側のメニューで、robots.txt ファイルに関連づけられているドメインの横にあるダウンロード ボタン (下向き矢印) を選択します。 ファイル参照ダイアログ ボックスが表示されます。
6. ダイアログ ボックスで、ローカル ドライブの目的の場所に移動し、ファイル名を確認するか入力して保存を選択してダウンロードを完了します。

robots.txt ファイルの削除

Commerce で robots.txt ファイルを削除するには、次の手順に従います。

1. システム管理者として Commerce にサインインします。
2. 左のナビゲーション ウィンドウで、テナントの設定 (ギア記号の横) を選択して展開します。
3. テナントの設定で、robots.txt を選択します。 環境に関連付けられているすべてのドメインのリストが、ウィンドウの主要部分に表示されます。
4. 管理を選択して、環境内ドメインの robots.txt ファイルを削除します。
5. 右側のメニューで、robots.txt ファイルに関連づけられているドメインの横にある削除 ボタン (ごみ箱記号) を選択します。 ファイル ブラウザー ウィンドウが表示されます。
6. ファイル ブラウザー ウィンドウで、ドメインから削除する robots.txt ファイルを参照して選択し、開くを選択します。 警告のメッセージ ボックスが表示されます。
7. メッセージ ボックスで、削除を選択して robots.txt ファイルの削除を確認します。

その他のリソース

• ドメイン名のコンフィギュレーション
• 新しい E コマース テナントの配置
• E コマース サイトの作成
• オンライン チャネルを使用してDynamics 365 Commerce サイトを関連付けます
• URL リダイレクトの一括アップロード
• Commerce での B2C テナントの設定
• ユーザー ログイン用のカスタム ページの設定
• Commerce 環境での複数の B2C テナントのコンフィギュレーション
• コンテンツ配信ネットワーク (CDN) のサポートの追加
• 場所に基づく店舗検出の有効化