自動化されたエージェントには3種類あり、それぞれあなたのリンクに異なる目的でアクセスします。1つはモデルの学習用にテキストを収集しています。1つは、人が質問をしたために今まさにページを取得しています。1つは検索インデックスを構築しています。それぞれ異なるUser-Agentで現れ、異なるルールに従い、異なる対応を受けるべきです。
リダイレクトドメインは、コンテンツを持たないという点で、これらのエージェントを向ける先としては変わった存在です。あらゆるリクエストはルックアップとLocationヘッダーにすぎないため、トレーニングクローラーには得るものが何もなく、ライブフェッチャーにとっては目的のページへ向かう途中の余分なホップが1つ増えるだけです。この非対称性こそ、クラスを分けさえすれば方針決定が単純明快になる理由です。配管部分ではなくマーケティング面に関心がある場合は、アンサーエンジン最適化がページが実際に引用される仕組みを扱っています。
3種類であり、1種類ではない
トレーニングクローラー。 モデルの学習用にコンテンツを収集します。OpenAIは自社のボットを文書化しており、用途ごとに個別のUser-Agentを用意しています。Anthropicも同様の考え方で、自社のクローラーとそれが従うルールを文書化しています。Googleは独立したクローラーではなくrobotsトークンを通じて同等の仕組みを扱っており、その内容は検索エージェントと合わせてクローラーの概要にまとめられています。
ライブフェッチャー。 人がアシスタントに何かを尋ね、アシスタントがページを読むと判断したときに動きます。Perplexityはこの区別を明確に文書化しており、インデックス作成用のエージェントとユーザー起点のリクエスト用のエージェントを分けています。この区別は、本稿のどの論点よりも重要です。ライブフェッチは、1段階だけ間接的になった人間そのものだからです。
検索インデクサー。 最も古いクラスであり、リダイレクトに対する挙動が最もよく理解されています。恒久的なリダイレクトをたどり、コンテンツをリンク先に帰属させ、ショートドメインを道しるべとして扱います。
同じインフラ、3つの目的。すべてに一律のルールを適用するのは、ほとんどの場合間違った判断です。
リダイレクトにアクセスすると何が起きるか
仕組みは特に目新しいものではありません。エージェントがショートURLをリクエストすると、リダイレクトは301または302とLocationヘッダーで応答し、そのエージェントがそもそもリダイレクトをたどる仕様であれば、それに従います。リダイレクションのHTTPセマンティクスはこのために変わったわけではなく、標準のどこにもAIエージェント向けの特別な扱いはありません。
ここから2つの結果が生じます。ショートドメインは人間ではないリクエストを受け取るため、何かがフィルタリングしない限り、それはクリックデータに紛れ込みます。そしてリンク先は、エージェントが次に何をするかを目にします。ライブフェッチャーの場合、それは通常のページ読み取りです。
人々が勘違いしがちなのは、ルールがどのホストに属するかという点です。RFC 9309はrobots.txtのスコープをauthority、つまりスキーム・ホスト・ポートに限定して定義しています。example.com/robots.txtにあるルールが管理するのはexample.comだけで、それ以外は関係ありません。あなたのリダイレクトドメインは別のホストなので、そのホストへのリクエストに応答するもの自身が配信する専用のファイルが必要です。robots.txtをまったく配信していないショートドメインは多く、エージェントはそれを制限なしと読み取ります。
クリック数への影響
自動化されたトラフィックは、方針の問題である前に測定の問題です。
公開されてアクセス可能なリンクはどれも、クローラーのヒットを蓄積していきます。公開フォーラム、ドキュメント、SNSプロフィールに投稿されたリンクは、非公開のリストに送られたリンクよりもはるかに多くのヒットを集め、キャンペーンリンクの寿命がわずか2週間である一方、その効果は数か月にわたって積み重なっていきます。
Elidoは、クリックが記録された後ではなく記録される前に、既知の自動化エージェントを除外するため、ダッシュボードには人間だけが表示されます。これが望ましい挙動であり、利用しているどのツールでも確認する価値があります。生のカウンターは、クローラーの一斉アクセスをトラフィックの急増として扱ってしまうからです。短縮リンクのアナリティクス - 測定すべきことと無視すべきことではフィルタリング済みと生データの違いを、ショートリンクのクリック数とGA4のセッション数では残る差分が何で構成されているかを扱っています。
実務上の注意点が1つあります。フィルタリングはシグネチャベースであるため、新しいエージェントはそのシグネチャが判明するまで検知できません。あるリンクで同一のリクエストが突然横ばいの高原状態を示したら、キャンペーンを疑う前にUser-Agentを確認してください。
リダイレクトドメインのrobots.txtに何を書くべきか
リダイレクト専用ホストのための、短く筋の通った方針。
ライブフェッチャーは許可しましょう。これらのリクエストが存在するのは、誰かがあなたのページが答えられるかもしれない質問をしたからであり、それをブロックすれば、心配していた学習データからは除外されないまま、回答からだけ除外されることになります。これがファイル内で最も重要な1行です。
トレーニングクローラーについては、効果ではなく原則に基づいて判断しましょう。リダイレクトドメインには学習対象になるものが何もないからです。もし組織としてモデル学習に対する方針があるなら、一貫性のためにここでも適用してください。ただし、どちらに転んでも測定可能な変化は期待できません。
理由がない限り、検索インデクサーはそのままにしておきましょう。リダイレクトをたどってリンク先に評価を帰属させてくれるので、それがまさに望む結果です。
そしてrobots.txtにできないことも忘れないでください。それはアクセス制御ではなくリクエストであり、リダイレクトが人に対して機能するかどうかには何の影響も与えません。Disallowの行はリンクを壊しません。準拠するエージェントに対して、フェッチしないよう求めるだけです。robots.txtを無視するものへの対処は、別の道具を使う別の問題です。
自分が所有し、コントロールしたいドメインでリンクを運用していますか? Elido のカスタムドメインを使えば、そのホストを自分で配信できます。これは、そもそもこうしたルールを適用するための前提条件です。
ショートリンクは引用を犠牲にするか?
それ自体では犠牲になりません。リダイレクトをたどるエージェントは、検索クローラーとまったく同じように、リンク先を読んでそこで見つけたものを引用します。
実際にコストとなるのは、ホップの途中にある摩擦です。コンテンツにたどり着くまでに2つ3つと連なるリダイレクトのチェーン、JavaScriptに依存した解決、応答の遅さ、あるいはインタースティシャルで応答するリンク先。そのひとつひとつが、フェッチが放棄される機会になり、放棄されたフェッチは回答に反映されなかったページを意味します。
コンテンツチームに伝えたいルールはこうです。コンテンツの本文には正規のURLを掲載してください。そこはモデルがそれを対象物のアドレスとして読み取る場所です。そして配布にはショートリンクを使ってください。そこは人間が読む場所です。そうすれば引用はあなたのページを指し、必要なチャネルでのトラッキングも機能し続けます。エージェント型コマースでは、エージェントが読むのではなく取引を行うケースを扱っています。
戻ってくるトラフィックを測定する
その一部は可視化されています。リファラーを送信するアシスタントは通常のリファラル行として表示され、その中の1つは独自のキャンペーンパラメータを付加します。これが、レポート内でchatgpt.comがソースとして表示されることがある理由です。残りはダイレクトトラフィックとして届きます。チャットインターフェースには自らを名乗る義務がないためです。
可視化されている分は、全体ではなく下限として扱いましょう。AI経由の紹介がレポートするに値するほど重要であれば、誠実なやり方は、確認できるソースからの方向性のあるトレンドを示しつつ、実際の数字はもっと大きいと注記することです。AI経由の紹介の正確なパーセンテージを示す人は誰であれ、自分が測定できた部分だけを示しているにすぎません。
コーナーストーン記事を読む
本稿はengineeringクラスターに属します。短縮リンクをTerraformで管理するは、リンクインフラをコードとして管理するためのコーナーストーンであり、アンサーエンジン最適化は引用されるためのコンテンツ面を扱っています。
ブログの関連記事
よくある質問
AIクローラーはショートリンクをたどりますか?
基本的にはたどります。リダイレクトは通常のHTTPレスポンスであり、行儀の良いエージェントはリンク先までたどります。リンク先こそ、探していたコンテンツが存在する場所だからです。このホップはショートドメインへのリクエストとしてログに記録され、リンク先にはその後に続くアクセスが記録されます。
メインサイトのrobots.txtはショートドメインもカバーしますか?
いいえ。robotsのルールはホストごとに適用されるため、example.comで配信されるファイルはgo.example.comについて何も語りません。リダイレクトドメインには、そのホストへのリクエストに応答するもの自身が配信する、専用のrobots.txtが必要です。そうしなければ、エージェントは制限なしとみなします。
ショートリンクからAIクローラーをブロックすべきですか?
リダイレクトドメインには学習する価値のあるものが何もないため、トレーニングクローラーをブロックしてもほとんど失うものはありません。ユーザー起点のフェッチャーをブロックするかどうかは別の判断です。これらのリクエストは、人がアシスタントに何かを尋ねたために発生するものであり、フェッチをブロックすれば、そのページは回答に反映されなくなります。
AIボットはクリック数を水増ししますか?
生のカウントは水増しされます。フィルタリングされていないリクエスト合計を表示するツールはどれも、自動化されたトラフィックが人によるアクセスと混ざって表示され、公開リンクは非公開リンクよりもそれを多く引き寄せます。既知のエージェントをカウント前にフィルタリングすることが解決策であり、利用している短縮ツールがデフォルトでそれを行っているかどうかを確認する価値があります。
AIアシスタント経由のトラフィックを確認できますか?
部分的には可能です。読み取り可能なリファラーを送信するアシスタントもあれば、独自のキャンペーンパラメータを付加するものもあるため、一部のトラフィックは分析ツール上で識別できます。残りはダイレクトとして届きます。チャットインターフェースには、訪問者がどこから来たかをサイトに伝える義務がないためです。
ショートリンクを使うと引用される可能性が下がりますか?
リダイレクトが速く、エージェントが読めるページに解決される限り、実質的には下がりません。実際に損なうのは、複数のホップが連なるチェーン、解決にJavaScriptを必要とするリンク、応答が遅いリンク先です。コンテンツ本体には正規のURLを掲載し、ショートリンクは配布用に使いましょう。
Elidoを試す
URLを貼り付けて短縮リンクを取得
登録不要。リンクは30日間有効。永久に保存するには登録してください。
Free、登録不要 · 1日あたり2件