第25話 システム大障害
木曜日。
午前十時十七分。
ピーピーピーピーピーピー！！
複数のアラートが同時に鳴った。
監視画面が赤く染まる。
一件じゃない。
二件。
三件。
五件。
俺はコーヒーを置いた。
「来た」
「マスター」
NIAだ。
「状況報告」
「はい。現在、以下のサービスが応答停止しています」
一拍。
「社内ポータル、メールサーバ、ファイルサーバ、認証サーバ、VPN」
全部だ。
「認証サーバが落ちてるのか」
「はい。認証サーバの停止が連鎖的に他サービスを道連れにしています」
「根本はそこだな」
美咲が青い顔で言った。
「先輩、これ」
「大規模障害だ」
「全部止まってますよ」
「見えてる」
フロアに沙羅が来た。
「神代さん」
「見てます」
「状況は」
「認証サーバが落ちて連鎖しています。今から対応します」
「分かった。私は経営層への報告に回る。現場はお願い」
「はい」
沙羅はすぐに動いた。
三崎からチャットが飛んでくる。
『神代さん、こちらでも確認しています。連携お願いします』
『了解』
三好からも来た。
『神代さん！ 顧客からの問い合わせが殺到してます！ どうなってますか！？』
『対応中。状況が分かり次第連絡する』
美咲が言う。
「先輩、私何をすればいいですか」
俺は少し考えた。
「チャットの対応を頼む」
「え、私にできますか」
「メールと社内ポータルが落ちてると社内に周知する。フォーマットはこうだ」
俺は素早く打った。
『【障害情報】現在、認証系サービスの障害によりメール・社内ポータル・ファイルサーバが利用できない状態です。復旧作業中です。続報をお待ちください』
「これをSlackの全社チャンネルに投稿して、三十分ごとに状況を更新してくれ」
「分かりました！」
「問い合わせが来たら『対応中。続報をお待ちください』だけ返せばいい」
「はい！」
美咲はすぐにキーボードを叩き始めた。
俺は認証サーバのコンソールに接続する。
---
SSHが通らない。
コンソール経由で直接接続する。
画面に出てきたのは。
```
kernel: Out of memory: Kill process 1847 (java) score 987
kernel: Killed process 1847 (java) total-vm:8GB, anon-rss:7.9GB
systemd: auth-service.service: Main process exited
```
「メモリ枯渇か」
「マスター」
「なんだ」
「javaプロセスのメモリ使用量が異常増加しています。ヒープが限界を超えた模様です」
「原因はアプリのバグだな。今は起こしてサービスを戻す」
「了解です」
サービスを再起動する。
```
systemctl start auth-service
```
起動を待つ。
二十秒。
三十秒。
ステータスを確認する。
```
active (running)
```
「起動した」
監視画面を見る。
認証サーバが緑に戻る。
しかし。
他のサービスはまだ赤いままだった。
「連鎖した分が自動復旧しないな」
「マスター」
「なんだ」
「各サービスの依存関係を確認しました。認証サーバ復旧後、手動で再起動が必要なサービスが四件あります」
「順番は」
「VPN、メールサーバ、ファイルサーバ、ポータルの順が推奨されます」
「依存関係の順か」
「はい」
「始める」
---
その時。
「先輩」
美咲が呼んだ。
「何だ」
「Slackに投稿しました。問い合わせが来てるんですが」
「どんな内容だ」
「メールが使えないので取引先に連絡できないって言ってる人がいます」
「そっちは営業に判断を委ねていい。こう返せ」
俺はメッセージを打ちながら言った。
「『現在対応中です。緊急の場合は電話でのご連絡をご検討ください』それだけでいい」
「分かりました」
「三好にも同じことを伝えてくれ」
「はい！」
美咲はすぐに動いた。
指示を出して、すぐ動く。
余計なことを聞かない。
俺はVPNサービスの再起動に集中した。
```
systemctl restart vpn-service
```
起動確認。
緑。
次。
```
systemctl restart postfix
systemctl restart dovecot
```
メールサーバ起動。
緑。
次。
ファイルサーバ。
```
systemctl restart smbd
systemctl restart nmbd
```
少し時間がかかった。
二十秒。
緑。
最後。
ポータルサーバ。
```
systemctl restart nginx
systemctl restart app-service
```
起動。
監視画面を見る。
赤。
黄。
緑。
全部、緑。
十一時四十分。
障害発生から八十三分だった。
---
「復旧しました」
フロアに静かに言った。
数人が息を吐く音が聞こえた。
美咲がSlackに投稿した。
『【復旧完了】10:17頃から発生していた障害は11:40に復旧しました。ご不便をおかけしました』
三好からすぐ返信が来た。
『神代さんありがとうございます！！ 助かりました！！』
三崎からも来た。
『復旧確認しました。お疲れ様です』
沙羅が戻ってきた。
「神代さん、復旧した？」
「はい」
「早いね」
「根本が認証サーバだったので、そこを直せば連鎖が解けました」
「原因は」
「アプリのメモリリーク。開発に連絡してあります。再発防止は開発が対応します」
「分かった。お疲れ様」
---
少し落ち着いた頃。
美咲が俺の隣に来た。
「先輩」
「ん」
「お疲れ様でした」
「まあ」
「すごかったです」
「普通の対応だ」
「普通じゃないです」
美咲は少し、真剣な顔で言った。
「私、先輩の指示通りに動いただけです」
「ちゃんとやってたぞ」
「でも先輩がいたから全部回りました」
「三崎と沙羅さんも動いてた」
「でも中心は先輩でした」
俺はコーヒーを飲んだ。
「美咲」
「はい」
「さっきのチャット対応、よかった」
「え」
「問い合わせに対してパニックにならなかった」
「でも先輩にフォーマット教えてもらいましたから」
「フォーマットを覚えていたのはお前だ」
「……ありがとうございます」
美咲はしばらく俺を見ていた。
それから、ふっと笑った。
「先輩って」
「何」
「障害の時、すごく静かですよね」
「そうか」
「パニックにならないじゃないですか」
「なってもしょうがないからな」
「それが難しいんですよ、たぶん」
俺は少し考えた。
「慣れだ」
「先輩はいつもそう言いますよね」
「事実だから」
「でも」
美咲はモニターを見た。
「私も慣れますか、いつか」
「なれる」
「先輩みたいに静かに動けますか」
「お前はお前のやり方になると言っただろ」
「……そうでした」
美咲は少し笑った。
「今日、先輩の隣で動けてよかったです」
俺はうまく返せなかった。
NIAが静かに言った。
「マスター」
「なんだ」
「本日の障害対応ログを記録しました」
「するな」
「復旧時間、83分」
「まあ」
「会社規模の障害としては、平均より54%短い対応時間です」
「そうか」
「それと」
「何だ」
「結城美咲のチャット対応ログも記録しました」
「するな」
「問い合わせ対応件数、17件。エラー対応なし」
「……そうか」
「2人の連携を記録しました」
「消せ」
「タイトル」
「出すな」
「自然に機能していました」
俺は何も言わなかった。
監視画面は全部緑だった。
今日は疲れた。
ただ。
「先輩の隣で動けてよかった」という言葉が、頭のどこかに残っていた。
……悪くなかった。
