障害時の対応

システム開発とシステム保守を両方とも平行してやるケースというのは多いわけだが、保守の中でも障害対応というのは一番嫌な仕事のひとつ。ただし、これをうまくこなすとかえってお客様からの高い評価をいただけることもある。
システムが利用できない・レスポンスが遅い、という障害は実に頭が痛い。
私もユーザー数5,000程度のWebシステムでこうした障害を対応したことがある。このときは悪いことに故障率が非常に低く冗長化していなかった機器故障まで重なってしまい、問題の切り分けにえらい苦労した。
最終的には回線の増速によって対応できたものの、一度失ったシステムへの信頼は次世代システム切り換えまで回復することはなかった。汚点であるが、このときの対応そのものについては、一部の方から評価をいただいた。

「使えない」タイプの障害についてはとにかくユーザーは苛々している。このためひっきりなしに電話が鳴る、メールが来る、罵声を浴びせられる(^^;
一番状況を把握しているエンジニアは復旧に忙しくとても報告をする余裕がないが、それではユーザーは納得しない。ユーザー説明のためにエンジニアを押さえると復旧が遠のくので痛し痒し。
こういうときには復旧担当エンジニアとユーザーとの窓口に誰かが立って、交通整理をしてあげる必要がある。
現状の体制では、割合こういう役目が私のところに回ってくる。
とにかく情報がないことに対して苛立っているわけであるから、進展がなくとも進展はないという情報を定期的に流すことが重要だ。
無我夢中で1時間ごとに「進捗ありません」「○○の到着時間が遅れそうです」等々の情報をメールで関係各位に流した。この定期メールの存在により、それまで鳴りつづけていた電話は散発的になり、やがて鳴らなくなった。
ややもすると担当者は目前の障害対策にのみ目が行き、ユーザーはおいてけぼりになる。これはある種当然だ。
とはいえ、その上位者は適宜状況を判断し、担当者には復旧に専念させつつ、ユーザーの不満を解消していかなくてはならないということだろう。

今回のココログのレスポンス低下を見ながら、過去の自分の姿が思い起こされた(^^;