1分で読了エンジニアリング

URLリダイレクトのキャッシュ: 現在の2層構成の仕組み

URLリダイレクトのキャッシュを端から端まで解説。L1、Redis L2、オリジン、実際のTTL、編集が両層をパージする仕組み、ブラウザ。

Marius Voß
DevRel · edge infra

URLリダイレクトのキャッシュとは、「このスラッグはどこを指しているか」という問いに、毎回データベースに尋ねることなく答える層です。当社のキャッシュはオリジンの前に2つの層を持ちます。60秒だけ保持される小さなプロセス内LRUと、5分間保持される共有Redisキャッシュです。両方がミスした場合、エッジはオリジンに問い合わせ、戻る途中で両方を埋めます。

これが設計のすべてで、形よりも数字のほうが重要です。この記事では、各層、現在運用しているTTL、編集が両方の層をどうクリアするか(それが失敗したらどうなるか)、そしてこの言葉で検索する人がたいてい思い浮かべるもう一つのリダイレクトキャッシュ、つまりブラウザの内部にあるものを順に説明します。リダイレクトp95のコーナーストーン記事では、レイテンシバジェットの全体を扱っています。この記事はキャッシュに特化した部分です。

この記事の最初の版は、コードにふさわしい以上の自信をもって書いてしまいました。実際のエッジサービスに照らして書き直したので、以下の内容はすべて、改善したい部分も含めて、現在稼働しているものを説明しています。

リダイレクトにそもそもキャッシュが必要な理由

リダイレクトが行う検索は1つだけです。ホストとスラッグを入力に、遷移先とルールを出力します。それ以外のものはリクエストパスに置くべきではありません。遷移先、ステータス、有効期限、ターゲティングルール、クリック上限はすべてリンクレコードにあり、そのレコードはオリジンAPIの背後にあるPostgresにあります。

クリックのたびにオリジンを呼ぶのは、遅くて脆い選択肢です。オリジンを呼ぶたびにリクエストにネットワークのホップが加わり、データベースの不調がそのままリダイレクトの障害になります。そこでエッジは最近のレコードを手元に置き、オリジンは最後の手段として扱います。ユーザーから見える結果は、ダッシュボードが正常かどうかに左右されないリダイレクトです。

2つの層と実際の数字

各検索は、キーhost/slugを使って次の順序で実行されます。

  1. L1、プロセス内。 最大100,000件のリンクレコードを、それぞれ60秒間保持する、有効期限付きのLRUです。hashicorp/golang-lruのexpirable LRUを使っています。ヒットすればネットワークはまったく使いません。
  2. L2、Redis。 すべてのエッジプロセスで共有する1つのキャッシュで、レコードはelido:link:プレフィックスの下にJSONとして5分間保存されます。L2のヒットはL1も埋め直します。
  3. オリジン。 gRPCまたはHTTP経由のリンクAPIです。「このリンクは存在しない」と言える唯一の層です。ここでヒットすると、両方のキャッシュが埋まります。
2層リダイレクトキャッシュのフロー図。プロセス内L1 LRUは100,000件のエントリを60秒間保持し、Redis L2はレコードを5分間保持し、オリジンが信頼できる情報源である

見落としやすい詳細が2つあります。1つ目は、Redisのエラーはミスとまったく同じに扱われるため、Redisの障害はリダイレクトを壊すのではなく遅くするという点です。2つ目は、オリジンからの「見つからない」という回答はキャッシュされないという点です。タイプミスや、ランダムなスラッグを探るスキャナーは、毎回オリジンに到達します。これは既知の欠点で、探索トラフィックが問題になることがあれば、最初に直すものです。

現時点では、同時に発生したミスの統合も行っていません。コールドなリンクに同じ瞬間にクリックが集中すると、それぞれがオリジンに届く可能性があります。これまで問題になったことはありませんが、この設計をそのまま真似する前に知っておくべき制約です。

L1がわずか60秒である理由

プロセス内キャッシュは共有できないので、各エッジプロセスが自分のコピーを持ちます。外部から消去するために、すべてのエッジプロセスはバックグラウンドでRedisのpub/subチャンネルを購読しており、無効化メッセージが届くとキーを破棄します。60秒のTTLはその背後のセーフティネットです。取りこぼしたメッセージがすぐに直るほど短く、安定したトラフィックのあるリンクがほぼ毎回メモリから提供されるほど長い値です。

サイズの上限にも同じ理屈が当てはまります。リダイレクトのトラフィックは大きく偏っているため、100,000エントリでホットなワーキングセットをカバーできます。ごく一部のスラッグがクリックの大半を占め、残りは誰にも気づかれずにL2へ抜けていけばよいのです。

自分でサイズを決めるなら、まずTTLから始めてください。顧客に説明できる古さを選び、そこから逆算して、得られるヒット率を求めます。

編集がエッジに届くまで

リンクを編集すると、まずPostgresが更新されます。書き込みが保存された直後に、api-coreがそのリンクのRedisのキーを削除し、elido:link:invalidate に無効化メッセージを発行します。すべてのエッジプロセスがこれを待ち受けており、メモリ内のコピーを破棄します。次のクリックは両方の層でミスし、オリジンから新しいレコードを読み込みます。訪問者には1〜2秒以内に変更が見えます。

パージが対象とするのは遷移先だけではありません。ターゲティングルール、パスワード、有効期限、クリック上限、ステータス、リダイレクトの種類、スラッグの変更(古い短縮URLと新しい短縮URLの両方がクリアされるため、古い方はすぐに解決されなくなります)、削除、ゴミ箱からの復元、ステータスの一括変更、A/Bバリアント、新しいスキャナーの判定、CTAオーバーレイの追加、暗号化のローテーションも含まれます。設定項目はなく、どのプランでも有効です。

1つの競合状態には、2回目のパージが必要でした。書き込みの直前に始まった参照が古い行を読み、パージの後にそれをRedisへ書き戻してしまうことがあります。そこでapi-coreは2秒後にもう一度パージし、この隙間を塞ぎます。

パージはベストエフォートで、リダイレクトの経路上には置かれません。Redisが一時的に使えない場合は、TTLがフォールバックとして働き、最悪のケースは従来どおりです。L2は古いレコードを最大5分間保持でき、L2が期限切れになる直前にエッジプロセスがそれをL1に読み込み、さらに60秒間保持することがあります。合計でおおよそ6分です。

パージが取りこぼされた場合のフォールバックのタイムライン。データベースは即座に更新され、Redisのコピーは最大5分間残り、プロセス内のコピーがさらに最大60秒を加え、合計で約6分になる 遷移先の編集のフォールバックのタイムラインと見るべきで、通常の経路ではありません。通常の運用では、パージにより1〜2秒になります。

すべてがリンク単位でパージされるわけではありません。ピクセル、ブランディング、CTAオーバーレイの内容の編集、ドメイン全体の設定といったワークスペース単位の変更は、管理者の操作がすでにクリアしていない限り、これまでどおりTTLに従います。

ローンチや削除対応では、必要な瞬間に遷移先を変更し、数秒後に curl -I で確認できるということです。パージが導入される前は、ここでの助言は、変更を6分早めに予約することでした。もうその必要はありません。

キャッシュのウォーミングとコールドスタート

何もプリウォームしていません。新しいRedisは空の状態で始まり、リンクがクリックされるにつれて埋まります。起動したばかりのエッジプロセスは空のL1で始まり、最初のリクエストはRedisに抜け、リンクが使われるにつれて埋まります。

これは意図的に地味にしています。すべての層がベストエフォートで、オリジンが正となるため、コールドキャッシュが招くのはリンクごとの最初のクリックのレイテンシであり、正しさではありません。プリウォームのボタンが必要だと言われたら、まずコールドクリックのレイテンシが実際にどのくらいなのかを尋ねてください。ほとんどのワークロードでは、誰にも見えません。

もう一つのリダイレクトキャッシュ: ブラウザ

「リダイレクトのキャッシュ」の検索の大半は、まったく別のキャッシュについてのもので、当社のものより多くのサポートチケットを生んでいます。ブラウザはリダイレクトのレスポンスをキャッシュし、ステータスコードがその強さを決めます。

301は「恒久的」です。HTTPキャッシュの仕様(RFC 9111)はこれをデフォルトでキャッシュ可能として扱い、ブラウザは、ヘッダーが何も指定していない場合、歴史的に有効期限なしで保存してきました。Rowan Collinsの記事には、典型的な落とし穴が書かれています。リダイレクトがキャッシュされ、後でそのURLが再利用されると、古いコピーを持つ訪問者が延々とバウンスし続けるというものです。302や307は、鮮度を示すヘッダーが許可した場合にだけ再利用されます。関係するヘッダーについては、MDNのキャッシュガイドが最も分かりやすい資料です。max-ageは鮮度を設定し、privateは保存先をブラウザに限定し、no-storeは保存そのものを止めます。

当社のリダイレクトレスポンスは、リンクが301、302、307のどれを使っていても、Cache-Control: private, max-age=0, no-storeを送ります。そのため、ブラウザは次のクリックで再びエッジに問い合わせます。これは意図的なトレードオフです。再訪問時の速度は少し失いますが、2つのものが得られます。すべてのクリックが数えられること、そして遷移先の編集が誰かのブラウザに取り残されないことです。無効、期限切れ、または存在しないリンクのインタースティシャルページもno-storeなので、復活したリンクがキャッシュされたエラーに隠されることはありません。

独自のリダイレクトを運用する場合は、ステータスを意識して選んでください。301と302のガイドとリダイレクトの種類の概要で、それぞれが適する場面を扱っています。

Chromeでキャッシュされたリダイレクトを消去する

ブラウザが古い301から抜け出せない場合は、まずサーバーを修正し、その後ブラウザのコピーを消去します。

  1. DevToolsを開き、Networkタブに切り替えます。
  2. Preserve logにチェックを入れ、ログを消去します。
  3. リダイレクトするURLを読み込み、リダイレクトのリクエストが表示されるようにします。
  4. そのリクエストを右クリックし、それに対するブラウザのキャッシュを消去します。

通常のハードリフレッシュでは効かないことがよくあります。普段のプロファイルに触れずに手早く確認するには、シークレットウィンドウでURLを読み込むか、curl -I https://your.short/linkを実行して、ブラウザのキャッシュを介さずに実際のステータスとヘッダーを確認してください。複数のリダイレクトを連鎖させている場合、古いキャッシュされたホップがループの典型的な原因にもなります。リダイレクトループの修正方法をご覧ください。

それぞれの選択にかかるコスト

上記の数字はすべて、動かせるトレードオフです。

  • L1のTTLを上げると、Redisの読み取りを少し節約できますが、無効化メッセージを取りこぼしたときの古い状態の期間が長くなります。当社では、そうする理由はほとんど見つかりませんでした。
  • L2のTTLを上げると、オリジンへのトラフィックは減りますが、取りこぼしたパージが直るまでに時間がかかります。5分は当社の妥協点でした。
  • L2を省くと、プロセス間で何も共有されないため、各エッジノードにより多くのオリジン容量が必要になります。
  • ブラウザにキャッシュさせる(no-storeなしの301)と、再訪問のトラフィックは減らせますが、正確なクリック数と、考えを変える自由を失います。

書き込み時にパージする2層キャッシュが適しているのは、読み取りが書き込みを上回り、キーの分布が偏っていて、まれにパージが失われた場合に数分の古さが許容できる場合です。遷移先が頻繁に変わり、即座に変わる必要がある場合や、すべてのリクエストが一意である場合には、うまく合いません。

外側から観察する

当社のキャッシュのカウンターは見られませんが、その効果は見えます。リダイレクトのレイテンシとステータスを記録する合成プローブを使えば、デプロイ後の最初のリクエストが遅く、その後のレイテンシが平坦になる様子が分かります。Datadogのリダイレクトレイテンシダッシュボードでその設定を説明しており、投げっぱなしのクリック取り込みでは、リダイレクトを返した後に各クリックに何が起こるかを扱っています。

この挙動が組み込まれた、自社ドメインのブランデッド短縮リンクが欲しい場合は、カスタムドメインから始めてください。料金ページでは、どのプランに何個のドメインが含まれるかを確認できます。

ブログの関連記事

よくある質問

ブラウザは301リダイレクトをキャッシュしますか?

はい、しかも積極的にキャッシュします。キャッシュ用ヘッダーのない301はキャッシュ可能であり、一部のブラウザは有効期限なしで保持するため、サーバー側で変更した後もブラウザが古い遷移先へ飛び続けることがあります。それを止めるのが、no-storeまたは短いmax-ageを指定したCache-Controlヘッダーです。

302リダイレクトはキャッシュされますか?

デフォルトではされません。302は一時的なものなので、Cache-ControlまたはExpiresヘッダーが有効だと示している場合にだけ、ブラウザは再利用します。そのため、リダイレクトをまだテストしている間は、302のほうが安全な選択です。

Chromeでキャッシュされたリダイレクトを消去するにはどうすればよいですか?

まずサーバーを修正し、次にDevToolsを開いてNetworkタブに移動し、Preserve logにチェックを入れ、リダイレクトするURLを読み込んで、そのリクエストのキャッシュを消去します。通常のハードリフレッシュでは、キャッシュされたリダイレクトが残ることがよくあります。シークレットウィンドウでテストするのが手早い確認方法です。

リダイレクトキャッシュのTTLはどのくらいにすべきですか?

パージが取りこぼされた場合に、古い遷移先を許容できる長さまでです。当社ではプロセス内で60秒、共有キャッシュで5分を使っており、編集のたびに両方をパージするため、変更は通常1〜2秒で反映されます。TTLはフォールバックです。パージが失敗した場合、編集がすべての人に反映されるまで最大で約6分かかることがあります。

編集したのに、短縮リンクがまだ古いURLに飛ぶのはなぜですか?

Elidoでは、編集するとエッジのコピーは1〜2秒以内にパージされるため、その後の原因として多いのは、ブラウザか、Elidoの手前にあるリダイレクトが以前の301を保存していることです。curl -Iで実際のレスポンスを確認し、その後シークレットウィンドウでテストして、ブラウザの可能性を除外してください。

Elidoはブラウザにリダイレクトをキャッシュさせますか?

いいえ。301に設定したリンクでも、リダイレクトのレスポンスにはCache-Control private, max-age=0, no-storeが付きます。すべてのクリックがエッジに届くため、クリック数が正確に保たれ、ブラウザを待たずに遷移先を変更できます。

Elidoを試す

URLを貼り付けて短縮リンクを取得

登録不要。リンクは30日間有効。永久に保存するには登録してください。

無料アカウントが必要です。無料プランには合計 25 件のリンクが含まれます。 アカウントをお持ちですか? ログイン

Elidoを試す

EUホスティングのURL短縮サービス。カスタムドメイン、詳細な分析、オープンAPI付き。無料プラン - クレジットカード不要。

タグ
url redirect cache
redirect caching
two tier cache
cache invalidation
redirect ttl
301 redirect cache

続きを読む