新型コロナウィルスと闘うインフラ支えの裏話
４－５年ほど前でしょうか。大阪のCACHATTOユーザー会後の懇親会でのことでした。ある大手企業グループに勤めるCACHATTOの推進者、Ｋさんから「労務管理機能」の実装を強く要望されました。
この機能は、利用開始時に労務時間外だったら警告が出たり使えなくする機能です。そのグループでCACHATTOの利用を広げるには、労働組合を説得するために、この機能が必須だとのことでした。
その翌年にその機能は実装できました。そうすると翌年のユーザー会で「これから人数拡大をしていきます！」と明るく言っていただきました。
その後、そのグループからの追加ライセンス数を気にしてみていました。すぐに拡大するかと思っていたのですが、ゆっくり数十ユーザー単位での注文書が連綿と続いていました。その裏にあるだろう努力に、「あ、約束通りに実行してくれているな」と受注の度に頭が下がる思いをしていたのです。私はいまだに全受注を一件一件確認しています。
そしてここのところ、同社からは特にテレワーク用と思われるSplashtop for CACHATTOの追加の注文が多く急拡大、「テレワークツールとして位置づけしてくれたのだな」と、思っていました。CACHATTOを社内で推進し続けてくれているありがたい動きです。
ところが、先週から起こしていたゲートウェイサーバーの障害が悲惨でした。先週の月曜日、木曜日、金曜日と、障害を発生させてしまったのです。今までにないペースで利用が増えていきます。リソースは何十倍にもしてあります。それでも想定していなかったボトルネックが発生、サーバー群が落ちるのです
週末越し突貫で、Splashtopとうちの技術者たちで原因調査をしてくれました。そして、ようやく原因と対策が見えて、日曜日夜中に対処をしたところでした。
月曜日の朝８時半過ぎ、サーバーのセッション数が異常に上がります。このままでは重い障害の可能性があります。泣く泣くサーバー群をリスタート。これで４回目のサーバーダウンになってしまいました。
テレワーク越しに皆の苦悩が伝わってきます。でもやることはやっている。お客様からの苦情もピークです。Twitterでも辛辣な意見が続きます。その日の午後のことです。一通の「お礼」というタイトルのメールが来ます。
e-Janネットワークス株式会社
代表取締役社長
坂本 史郎様Ｈホールディングス Ｋです。
大変お世話になっております。新型コロナウィルスの対策でテレワークが不可欠となっており、当社グループにおきましても、現業部門を除き、原則在宅勤務をするようになっております。
御社Cachatto、Splashtopサービスを利用させていただくことにより、多くの社員がウィルス感染のリスクに晒されることなく、安心して在宅勤務することができることに深く感謝しております。
急な利用者の追加に伴うライセンスの追加やサービス環境の整備等で迅速な対応をしていただいたことに深く感謝しております。
また、先週から何度か発生しているSplashtopの障害対応におきまして、昼夜を問わずご対応いただいている御社社員の皆様には頭が下がる思いです。
社員の皆様を疲弊させずに、想定を遥かに上回る利用者に対応しながら安定したサービスを提供しなければならない非常に困難な状況だと推察いたしますが、グループ利用者一同応援しておりますので、引き続きよろしくお願いいたします。
ジェントルな文面。励まされます。でも、その行間から、彼が社内からCACHATTOのことで責められているのではないかと察しました。そして、返事を書いたのです。
Ｈホールディングス Ｋ様、
ご丁寧かつ温かいメールをお送りいただき、ありがとうございます。 障害を起こしてしまっていることに関して深くお詫び申し上げます。問題の解消およびサービスの安定提供に関しまして、弊社でもトッププライオリティで対応させています。 現状、楽観は許されないですが、トラブル のトリガーもほぼ特定できてきているので、安定稼働に入れるまであと一息だと考えております。
e-Janネットワークス(株)
坂本史郎
彼からのメールは社内で共有させてもらいました。その日、社内の皆からの日報のGood Newsには、Ｋさんからのメールに励まされたこと、何度も読み返してしまったことなどが書いてありました。
月曜日の夜間、データベースの増強など問題への対処も次の手を打ちました。
火曜日、サーバーが障害を起こさないか。朝からサーバー群の稼働グラフを注視します。朝の立ち上がりはスムーズにいきました。そして、９時過ぎには今までの最大値を超えます。日々、最大アクセス数が新しい領域に行くのです。無事にお昼を迎えます。お昼時には利用が少し減ります。午後１時過ぎ。再びアクセス数が上がっていきます。鬼門の３時前後。サーバー群は快調に動いています。夕方、人々の仕事が終わり、アクセス数が減り始めました。
やった！
無事に一日を乗り切りました。ホッとした前後にＫさんからのメールが舞い込みます。
e-Janネットワークス株式会社
代表取締役社長
坂本 史郎様早速のご返事ありがとうございました。
昨日は、突然のメールを送りまして申し訳ありませんでした。実は、昨朝SPLASHTOPのサービスが不安定になった時に、部下の若手社員が他部署のうるさがたの管理職から電話で少しきつい事を言われて、意気消沈していましたので、彼を安心させる話が聞ければと思って連絡を取らせていただいた次第です。
「安定稼働に入れるまであと一息」との心強いお言葉を頂きましたので、それを本人にも伝えさせて頂きました。また、昨晩データベースを増強されたお陰か、本日は一日非常に快適に利用することができました。新型コロナの感染は、長期化の様相を呈してきましたが、コロナに打ち勝ち、年末のユーザ会で一緒に乾杯できることを楽しみにしております。
今後ともよろしくお願いします。
（ご多忙のことと思いますので、このメールに対するご返事は省略して頂いて結構です）
やはり思った通りでした。
あの励ましメールの裏で、彼らは社内で責められていたのです。私としては、原因がつかめてきていたので、先走って「あと一息」と書かせてもらいました。火曜日、ちゃんと稼働してよかったです。
でも、これからが安定稼働へのチャレンジです。アクセス数が記録を塗り替える日々。どこで別なボトルネックが来るかはわかりません。もちろん、２番目のゲートウェイは突貫で構築をしてもらっています。担当技術者の一人は、今週末引っ越しの予定だったのですが、それはキャンセル料会社もちで延期してもらいました。
通常のCACHATTOのサーバーたちも障害を起こすギリギリでなんとか持ちこたえています。日々の真夜中作業が続きます。
さらに、受注が事務処理が破綻するほど来ています。いわゆるオーバーシュート、事務現場崩壊。受注の未処理による残数が１００件近くになっているとの報告もあり。受注処理や見積もり対応に全社を挙げて対応するしかないです。今日のリーダー会議で、どのように協力体制を作れるか、打ち合わせをしましょう。全社でテレワークを実施している中ですが、業務はパンク状態。緊張の日々は続きます。
皆で新型コロナウィルスと闘っているのです。