危機に接して、進化する。

2011/12/08

危機に接して、進化する。

あるクライアント様にて、サーバーダウンという障害に出くわした。運用しているシステムについては、把握している。しかし、この障害対応を外部の人に依頼するのは、結構面倒なものだ。何も分からない人にサポートを依頼しても、結局は、情報を伝えることでも大変な作業であり、負担である。小生の経験では、外部のサービスを利用して復旧を図っても、費用対効果は低いというのが実感。つまりは、自分でやってしまった方が、確実で速く安上がりなのである。

まぁ、そう言い切れるのも、自分でやれば出来るという自負と経験があるからで、これが、ＩＴに詳しくない人が担当だと非常に辛い事態であろう。いかに、サービスダウン時間を短くするかが腕の見せ所である。

サーバーがダウンといっても、幸いに、かろうじて起動すれば、数時間は起動できる状態であった。このことは、非常にありがたい。もちろん、必要なバックアップは取っているので、ファイル自体は問題ないのだが、設定情報とかレジストリ情報とか環境変数までは、バックアップできていない。分からなかった場合に、障害サーバーを起動して確認できることはありがたかった。

サーバーがダウンしてしまったことで、どうサービスを継続させるか。新しいサーバーを購入するか、クラウドサーバーを利用するか、既存の別のサーバーに載せるか．．．いろいろなことを考えたが、短期的には既存のサーバーにサービスを載せることを目指すことにした。一段落した時に、新サーバーを購入するか、クラウドサーバーを利用するかを決めて、ゆっくり準備すれば良いと考えた。

大方針が決まれば、あとは、手と頭を動かすだけ。必要なツールやソフトをインストールし、データを移行して、動作確認。

まぁ、しかし、簡単なことではない。

今回、特に、手間取ってしまったのが、ソフトのバージョンの違いである。障害のあったサーバーを導入したのは、もう何年も前の話。今、同じソフトやツールをインストールできればいいが、バージョンが上がってしまって同じバージョンの環境が作れないということが生じた。新しいバージョンであれば、問題ないだろうをたかをくくっていたが．．．弱り目に祟り目。いくつかの機能が、想定通りに動かない．．．（汗

ここからが、悪戦苦闘。8割方のサービスは、すぐに復旧できたが、残り2割のサービスが不調のまま。

しかも、一つの作業がやたらと時間がかかるので、試しにやってみようと思って結果が出るのに、数時間後という状況．．．時間ばかりが過ぎていく．．．

うまくいかなくなって、バージョンの問題だと仮説を立てて、立証してを繰り返す。そのうちに、複数のバージョンが入り乱れる．．．

結局は、どの仮説を立証しようとしているのか、混乱し始める。

ただ、頭の中では混乱しても、それを落ち着かせることができる自信はあるので、サーバーの前を外して頭と状況の整理。

なんやかんやと3日間の格闘の末、ようやく全ての状況を把握し、収束させることができた。

業務的にも、大きな損失を出すこともなく乗り越えた。

しかし、今の状況は、このサーバーがダウンしたらとんでもないことになる状況。一刻も早く、バックアップ体制を取らなければならない．．．忙しい状況は、まだまだ続く。

新しいサーバーの購入を考えたが、やはり、今の時代、クラウドだろうと思い、購入するケースとクラウドでサーバーを利用する場合とを比較している。

やはり、危機的な状況に陥らなければ、環境を新しく、進化、新化させることはできないのが企業の現実。

私をはじめ、多くの方々がこれで危機意識、リスク管理の重要性を知っていただければ、苦労した甲斐があるというもの。

小生自身は、トラブルの山を超えた瞬間の達成感、充実感を味わえたことで充分！