Incident Analysis Part I
theme: 2026年2月20日のCloudflare障害
本シリーズでは毎週1件の公開障害報告を読み、利用者が経験した現象から、運用上の判断とシステムの振る舞いをたどる。
Incident Overview
自社のWebサイトをCloudflare経由の配信に切り替えても、顧客は移行前と同じアドレスで利用者の通信を受けられる。 インターネット上の通信の宛先や送信元を識別する番号が「IPアドレス」(IP address)である。 経路の宛先として指定するアドレスの範囲を「プレフィックス」(prefix)と呼ぶ。 顧客が利用権を持つアドレスの範囲をCloudflareに登録し、Cloudflareのネットワークで使うサービスを「Bring Your Own IP」(BYOIP)と呼ぶ。 利用者が従来のアドレスに接続すると、Cloudflareの拠点が通信を受けてWebサイトを配信する。
With Bring Your Own IP (BYOIP), Cloudflare announces your IP prefixes in all our locations.
出典 Cloudflare「Bring Your Own IP」
2026年2月20日、利用を続けていた一部の顧客サイトで、インターネットからCloudflareへ通信を届ける経路が失われた。 たとえば 203.0.113.0/24 は先頭24ビットが共通する256個のアドレスを表す。 Cloudflareが世界に知らせていたBYOIPの4,306プレフィックスのうち、約1,100件が影響を受けた(RFC 4632 §3.1・Cloudflareの影響集計)。
Cloudflareが異常を検知したのは、1.1.1.1 の案内サイト one.one.one.one の監視だった。 案内サイトは要求を受け取ったうえで、アクセスの拒否を示す応答コード403を返した。
[…] the server understood the request but refuses to fulfill it.
出典 RFC 9110 §15.5.4「403 Forbidden」
ドメイン名からアドレスを調べる「DNS」(Domain Name System)の問い合わせには、1.1.1.1 が引き続き応答していた。
経路の消失は協定世界時17時56分に始まった。 担当者は18時13分に案内サイトの障害対応を始め、18時46分に登録解除のため定期的に起動するプログラムを止めた(Cloudflareの対応記録)。
System Architecture
顧客のサイトを配信するには、通信をCloudflareに届ける経路と、届いた通信を顧客が契約した製品に渡す設定が要る。
通信の宛先に応じて次の転送先を選ぶ機器を「ルーター」(router)と呼ぶ。 別々のネットワークを運営する事業者は「BGP」(Border Gateway Protocol)という規約で経路を交換する。 BGPで接続を確立して経路を交換する相手が「ピア」(peer)である。 ピアに宛先への経路を知らせる操作を「advertise」、自分が以前知らせた経路を取り消す操作を「withdraw」と呼ぶ。 両方の操作に経路変更を伝える UPDATE メッセージを使う。 withdrawを受けたピアは、送り手が以前知らせた経路のうち、取り消す経路を宛先プレフィックスで識別する。
Each such route is identified by its destination (expressed as an IP prefix), […]
出典 RFC 4271 §4.3「UPDATE Message Format」
別のピアからも同じプレフィックスへの有効な経路が届いていれば、一方のピアからwithdrawを受けた後も通信を転送できる。 別のピアの経路もCloudflareのadvertiseに由来する場合は、withdrawが伝わるにつれて両方の経路が失われる。 障害報告のグラフは、Cloudflareが1つのピアに知らせた経路を数えている。 対象の4,306件は、同社がすべてのピアにadvertiseしていたプレフィックスである(RFC 4271 §9.1.2・Cloudflareの観測範囲)。
プログラムから別のプログラムの機能を呼び出すための仕様を「API」(application programming interface)と呼ぶ。 Cloudflareのアドレス設定を扱うAddressing APIに変更を加えると、データベースの更新を受けて拠点への反映が始まる。 所定数の機器が経路変更の通知を受け取ると、ルーターがピアに知らせる経路も変わる(Addressing APIの動作)。 拠点側でアドレスとWeb配信などの製品を結び付ける設定が「サービスバインディング」(service binding)である。
[…] service bindings map traffic destined for IP addresses to the Cloudflare service it should be routed through […]
出典 Cloudflare「IP address service bindings」
Failure Mechanism
顧客からは、自社のプレフィックスをCloudflareのBYOIPから外したいという依頼が繰り返し寄せられていた。 依頼のたびに担当者が本番に直結する設定を手作業で変更するため、Cloudflareは登録解除を自動化した。 設定変更による障害の影響範囲を抑える取り組み「Code Orange: Fail Small」の一環だった。 1件の依頼で削除する関連設定が多くなり得るため、開発チームは削除待ちの登録を定期的に調べ、関連設定とともに順に消す方式を採った。
BYOIPプレフィックスに関連するオブジェクトの件数は増大する可能性があるため、[…]
出典 Cloudflareの障害報告「インシデントの発生経由」
顧客から解除依頼を受けた時点と登録を消す時点が分かれれば、削除時に対象を特定する手段が要る。 Addressing APIには、削除待ちを指定すると専用の表からプレフィックスを取得できる一覧照会があった。 Cloudflareが公開したGoコードでは、照会先のURLに pending_delete という条件名を付け、値を省いていた。
resp, err := d.doRequest(ctx, http.MethodGet, `/v1/prefixes?pending_delete`, nil)
一方、API側で削除待ちの表を読む条件は、pending_delete の値が空文字列 "" 以外であることだった。
if v := req.URL.Query().Get("pending_delete"); v != "" {
コード出典 Cloudflareの障害報告(照会とAPI側の分岐)
Goは = のない条件名を、値が空の項目として読み取る。
A setting without an equals sign is interpreted as a key set to an empty value.
出典 Go標準ライブラリ「net/url.ParseQuery」
Get の戻り値は、?pending_delete でも、条件名を省いた場合でも空文字列になる(GoのValues.Get)。 削除待ちの分岐を通らず、GET /v1/prefixes と同じ、利用中の登録を含む全件一覧が返った。
全件一覧を受け取った段階では、顧客の登録はまだ有効だった。 次の操作は、一覧に含まれる各プレフィックスを対象とした登録と関連設定の削除だった。 利用中の登録が順に消え、Cloudflareのルーターからピアに経路のwithdrawが送られた。 一部の顧客では、サービスバインディングも拠点から消えた(登録削除と経路変更の経過)。
Contributing Factors
削除範囲の誤りが検証を通った理由
手作業の起点は、顧客が対象のプレフィックスを指定した個別の依頼だった。 自動化後は、1回の照会結果に含まれる複数の顧客の登録が、続けて削除される構成になった。 テストとコードレビューの中心は、顧客がAPIから登録解除を依頼する手順だった。 顧客の入力を伴わずに定期実行で登録が変わる場合は、検証から漏れていた。
[…] independently execute changes to user data without explicit input.
出典 Cloudflareの障害報告(テストで見落とした実行条件)
解除を依頼した顧客の登録は、正しい実装でも、全登録を削除する実装でも消える。 削除範囲の誤りは、利用を続ける顧客の登録に現れる。 解除依頼が0件で利用中の登録が1件ある場合、定期実行後にも登録が残るかを確かめれば、照会と削除を組み合わせたときの誤りを検出できる。
配布の安全策より先に稼働した登録解除
前年11月と12月の広域障害を受け、CloudflareはCode Orangeで、設定変更を一部に適用し、稼働状況を確かめてから適用範囲を広げる方針を掲げた。
Require controlled rollouts for any configuration change that is propagated to the network, […]
Cloudflareは登録解除の自動化と並行して、Addressing APIに段階ごとの検証を加える改修を進めていた。 2月20日には登録解除のコードが先に稼働した。 複数の顧客の削除対象が1回の照会で決まり、削除後の設定は従来の手順で各拠点に配られた(2月当日の導入状況)。
当時は、顧客のアドレス設定を保存するデータベースが、稼働中の拠点に適用する設定の基準も兼ねていた。 通常は、顧客が経路の変更を指示すると、保存を契機に拠点への反映が始まる。 障害時には、利用中の登録を削除した後の設定が各拠点へ配られた。 誤った設定でも所定数の機器に通知が届けば、正規の登録解除と同じ手順でルーターの経路が更新される。 登録ごとに適用時刻がずれても、一覧に載った顧客は順に影響を受ける。 2月にCloudflareが示した対策では、大量のwithdrawや顧客サービスの異常を検出した段階で、次の配布を自動で止める(設定の反映と大量のwithdrawへの対策)。
Counterfactual Analysis
経路の再開で復旧できる条件
18時46分の介入で、新たな登録の削除は止まった。 すでに適用された変更は拠点に残り、顧客ごとに復旧手順が分かれた。 サービスバインディングが残った顧客は、管理画面から再度advertiseを指示してサービスを再開できた。 一部の割り当てを失った顧客は、割り当ての残るプレフィックスを操作できた。 管理画面で経路を操作するには、プレフィックスに製品が割り当てられている必要があった。 割り当てがすべて消えると、通信を製品に渡す設定と、顧客が自力で経路を戻す手段が同時に失われた(顧客の状態別の復旧経過)。
正常な設定を一式で再配布できた場合
2月時点でも、担当者はデータベースの過去の記録を復元に使えた。 開発中だったのは、稼働していた設定を版ごとに保存し、以前の版を選んで拠点に配り直す仕組みである。 経路を再びadvertiseできた約800件は、20時20分ごろに復旧した。 並行して担当者は、削除された登録について19時44分からデータベースの復元を進めていた。 拠点から設定が消えた約300件のために、21時08分から全拠点へ設定を配り直し、23時03分に復旧を終えた(障害当日の復旧手段と時系列)。
2月の改善案では、誤った削除がデータベースに残っていても、正常な版を使う拠点は通信を処理し続けられる。 変更済みの拠点にも、経路と製品の割り当てがそろっていた版を配り直せば、消えた設定を組み立て直す作業を省ける(2月の改善案)。 5月の完了報告には、設定の配布基盤に組み込まれた機能が記されている。
[…] 段階的なロールアウト、リアルタイムの正常性監視、および自動ロールバックを構成デプロイメントにデフォルトで組み込む […]
出典 CloudflareのCode Orange完了報告「より安全な構成変更」
一部の拠点で稼働状況が悪化すれば、配布の途中で以前の設定に戻せる。
Generalizable Lessons
手作業を自動化するときには、操作の手順と、依頼を受けた時点で確定する作業対象を一緒に引き継ぎたい。 登録解除なら、依頼ごとに顧客とプレフィックスを記録し、削除候補と突き合わせる。 自動化が配布の安全策に先行する場合でも、最初のリリースを、本番の設定から候補を抽出して依頼と照合するところまでに区切れる。 解除依頼が0件の日に利用中の登録が候補に挙がれば、経路を書き換える前に誤りが分かる。
削除を有効にする段階では、一度に変更できる顧客の範囲を、当日使える手段で異常を検出して復旧できる範囲に合わせる。 通常の復旧操作に必要な設定まで削除される場合は、管理画面から元に戻す手順も使えなくなる。 本番投入前に、登録を失った状態から担当者が正常な設定を配り直し、利用者の端末からサービスに接続できるところまで試したい。