20-2
20-2
統合ＰＭの上野と、北陸のデーターセンターへサーバーを移設するベンダー、それにお客のＩＴ担当者数名は、金曜から北陸へ入っていた。都は東京のデーターセンターへ一人で入ることになった。ラック内に設置してあるお客のＬ２スイッチに、都たちがアクセスするためのポートがあるから、そこからＬＡＮ経由で各ルーターへアクセスすれば良いとのことだった。データーセンターへの入館手続きは社員でなければ出来ないので、上野がやっておいてくれた。
この東京のデータセンターは、都は何度かルーター設置に来たり、日本側の音声試験エンジニアとして入ったりしていたので、行き方も、入り方も問題なかった。ラックの鍵を自分で借りて開けるのも初めてではない。
土日の工事は、客宅にでも入らない限り私服で良いので、都も夏らしいかなりラフな格好で行きたかったのだが、このデータセンターはものすごく空調がきつく、夏場でも普通のスーツでは１０分もじっとしていれば寒くなってしまう。仕方がないから、長袖のシャツの袖をまくり、ジーンズを膝下までまくって、作業用ＰＣ類は、いつものビジネスバッグではなく、リュックサックにしまって、冬物のパーカーを突っ込む。これがないと、この東京のデーターセンターのラックスペースは寒くて耐えられない。平日、このデーターセンターへ工事に来て、待機が長くなると、時々「暖を取りに」ラックスペースから休憩スペースや、棟の外へ出たりしないといけない。
土日の仕事の時でも、さすがにビーチサンダルは履かないのだが、このデーターセンターではラックスペースに入る時に、安全サンダルに履き替えないといけないので、この日はビーチサンダルでデーターセンターへ向かった。冬でもなければ、普段パンプスもローファーも裸足で履いてしまうから、靴下をリュックの中に突っ込んでおく。他人が履いた安全サンダルを履かないといけないからということもあるが、とにかく防寒対策だ。
このデータセンターには５、６棟あって、都が工事で入る棟は一番端の棟だ。受付棟で、必要事項を申請書に記入する。データーセンターの受付は、土日は呼び出さないと、人が出てこないので、とても静かだ。工事に来たことを一瞬忘れてしまいそうになる。名前、会社名、入るラックスペース、借りる鍵のラック番号の他に、入館時間と、退館予定時間を記入する。都は、もし退館予定をオーバーしそうになった時はどうするのか、呼び出してやってきた受付担当に聞いた。その場合は受付で呼び鈴を鳴らし、出た担当者にその旨伝えてくれれば良いとのことだった。簡単な線表を上野から共有されていたが、余裕を持って、退館時間は２１時となっていた。上野からはもっと早く終わるだろうと言われていた。都はこの予定の２１時を退館予定時間に記入した。
都の入った棟には誰もいないのか、ロビーは静かだった。貸与されたカードキーと登録した指紋認証でゲートを抜け、階段で２階まで行く。都のビーチサンダルがぺたぺたとなる音が、吹き抜けの天井に響く。階段を上がってすぐにある休憩スペースのテーブルへリュックサックを乗せて、一旦椅子に座る。少し早く着いたから、まだ工事開始まで３０分以上ある。駅を出たところにあるコンビニエンスストアーで買ったお茶のペットボトルを出して少し飲んでから、またリュックへしまい、立ち上がって、カードキーでラックスペースの扉のキーを解除し、重い鉄の扉を開く。そこは広い玄関のようになっていて、靴を脱ぎ、下駄箱にたくさん入っている安全サンダルに履き替えないといけない。下足は一つもないから、今日は今の所都しかこのラックスペースにはいないようだ。この前室から、もう一枚扉をくぐるとラックスペースだが、すでにその鉄の扉の向こうで、猛烈なファンの音が唸りを上げているのがわかる。
都はビーチサンダルを脱いで一旦裸足で上がる。床のタイルの冷たさが気持ち良い。下足箱から一番綺麗そうな安全サンダルを取って、ちょっと床を裸足で歩いてみる。このまま裸足で作業したいな、と少し思うが、ラックスペースへの扉を開けば、とんでもない冷房が効いていて、とてもそんなことは出来ないことは明らかだ。諦めたように安全サンダルを床に置いて、リュックから靴下を出して履いてから、安全サンダルに足を入れる。７回くらい折っていたジーンズの裾を全部下ろし、まくっていた長袖も下ろして、袖のボタンを留める。ラックスペースへ入るもう一枚の扉を開けるカードリーダーにカードキーを当てて、鍵を開け、そのもう一枚の鉄の扉を開くと、サーバールーム独特の尖ったにおい、ファンの強烈な騒音とが、冷房で冷やされた空気と一緒にやってくる。
このラックスペースは本当にファンの音がうるさく、電話で話すとなるとかなり大変だ。音声試験も随分ここでやったが、とにかく周りがうるさくてＰＭの指示が聞こえなかったりしたものだ。音声試験自体はイヤホンを使うが、それでも対向拠点の相手には、こっちはデーターセンター内にいるから、少し大きい声で喋ってくれと言わないといけなかった。今回、この東京のデーターセンターがうるさいのはわかっていたので、上野は事前に簡易なチャットツールを都に渡しておいてくれて、それを作業用ＰＣに入れておいた。都がオーダー事務の仕事をやっていた頃、社員派遣社員で流行ったツールだが、あまりにも流行りすぎて、使用禁止になったやつだ。上野も北陸のデーターセンターにお客が用意してくれている、ベンダー用のＶＬＡＮがアサインされたスイッチに作業用ＰＣをつなぐので、疎通が取れれば都と上野はチャットツールで必要な会話ができる。
目的のラックは壁際にあるので、壁の補強材の近くにリュックを置いて、まずはラックの表の扉の鍵を開け、扉を外してしまい、壁側へ立てかけておく。それから、一度下足箱のある前室へ戻って、作業用の机と椅子を１セット持ってくる。このラックの中には、作業用ＰＣなどを使う人用に、延長電源ケーブルや予備のケーブルなどが空き棚に仕舞われてあるから、好きに使って良いと、上野から言われていた。都は、延長ケーブルと、長いストレートケーブルを一本つづ取り出して、フリーアクセスの床に広げた。作業用ＰＣをリュックから出して、持ってきた作業用机の上に準備して、作業用ＰＣのデスクトップに保存しておいたメモを開く。都が接続して良いスイッチのラック内の位置と、ポート、それと作業用ＰＣにアサインするＩＰアドレスが書いてあるので、それぞれ準備する。物理作業で体を動かしていたので今はまだ寒さを感じないが、どうせすぐ寒くなってくるからと、リュックから冬物のパーカーを引っ張り出して着込む。作業用机は、冷房の風が直接当たらないポイントを探して、そこへ移動しておく。作業用ＰＣのＬＡＮポートからの到達性を確認しようと、メモに書いた到達性確認用のＩＰアドレスへ、作業用ＰＣからｐｉｎｇを打ってみようと思ったところで、ＩＰメッセージツールでメッセージが届いた。上野からだった。朝の挨拶をメッセージでかわして、予定通り、１０時から始めて良いか聞かれたので、都はひらがなで、おーけーです、と返した。
最初はまず本社データセンターの、グローバル網へ接続しているルーターからＷＡＮケーブルを抜去、ルーターの電源を落とす。この作業は本社にいるお客自身でやってもらう。それが完了したら、都の方で、本社の国内共有Ｌ２網のＷＡＮエッジルーターのメイン、バックアップ両方の設定変更、本社のお客で、本社コアスイッチの設定変更や、北陸へ移行するサーバーが接続しているスイッチのポートの閉塞などを実施する。その後、北陸データーセンターのグローバル網へ接続している客宅ルーターに、ルートを網へ広告する設定や、ＢＧＰをＬＡＮのＯＳＰＦへ再配送する設定の投入、国内共有Ｌ２網のＷＡＮエッジルーターのＷＡＮ、ＬＡＮ、両プロセスのＯＳＰＦ間の相互再配送設定の投入、それと同時に、上野と、上野と一緒に北陸に入っているベンダーとお客で、サーバー類に接続しているスイッチのポート開放、コアスイッチからのルート広告設定などを始める。また、都の方で東京データーセンターのルーター類に、本社データセンターのプレフィックスから北陸データーセンターのプレフィックスとなったルートや、新しくできたルートなどのタグ定義やコミュニティ定義などの変更や追加を実施する。だいたい作業時間としては１時間半を見ていて、終わった後、１時間かけて、ｐｉｎｇや通過経路確認でルーティングが意図通りになっているか確認する。
ここまで完了したら、一旦昼休憩とし、その後、お客自身で敷設した、北陸データーセンターと本社を繋ぐ、別の専用Ｌ２網を接続するルーターで、ＷＡＮ、ＬＡＮ、両プロセスのＯＳＰＦ間の相互再配送設定を投入、全体のルーティングの確認と、お客の新しいサーバーを使ったアプリ試験を実施する。最後に、北陸データーセンターの国内共有Ｌ２網のＷＡＮの断試験をし、専用Ｌ２網がバックアップとして機能するかどうかのテストと、断を復旧させ、ルーティングが元に戻るかのテストを実施し、本日の作業は完了となる。
都は、いつもの自分がアサインされている工事のような緊張感を持てないでいた。それはそうだ。たった１週間前に急に工事用のコンフィグとテストプランを作れと言われたのだ。こんなグローバルに展開する大企業の、日本本社のデーターセンター機能の移設プロジェクトという大きな工事なのにも関わらずだ。どことなく、ただのお手伝いさん、という感覚が拭えない。それゆえに、何かあったとしても、正式なアサインのない自分には、まして派遣社員でしかない自分には、責任の取りようがない、むしろ時間的余裕を持ってＳＥを確保しなかった、プロジェクトの、統合ＰＭの責任だろうと、心のどこかで思ってしまっていて、大した緊張も感じずにいたところがあった。それは、派遣社員ならではの無責任さであったとも言えたし、これは正社員をやっている人が派遣社員を批判する時に引き合いに出すものと何ら変わりなかっただろう。
しかし、逆に緊張しないことが、都を少し不安にさせてもいた。大丈夫だと思っている時ほど、トラブルは起こることは、統計を取ったわけではないので本当かどうかわからないのだが、経験上、都の中ではそれはある程度の事実としてあった。
１０時になると、工事が始まった。本社のお客が、抜線や電源断を完了させたという連絡を、上野のメッセージ経由で受け取ると、都は、必要なルーターへの設定変更を淡々と進めて行った。もともと用意していたスクリプトを、対象のルーターへ次々と流し込んでいくだけだ。それでも、コアスイッチからルートが来ているのかどうかは確認して、グローバル網のＷＡＮに接続している客宅ルーターであれば、決められたルートがきちんとＢＧＰで広告できているか、国内共有Ｌ２網側のＷＡＮエッジルーターであれば、必要なルートが、ＷＡＮ側のＯＳＰＦプロセスの外部ルートとして乗ってきているか、などはチェックしながら進めた。
都の設定変更は１時間程度で終わったが、北陸のデーターセンターに入っているベンダーの作業が少し手間取っていて、予定の時刻を回っても終わらないからということで、都の方は先に、ｐｉｎｇと通過経路確認を実施してしまうことになった。実施してみると、想定通りの結果になっていた。例えば、本社から国際拠点へ抜けるのには、一旦国内共有Ｌ２網へ出て、北陸データセンターを経由し、抜けるようになっているし、国際拠点からも同様だった。
ここまでは問題が出ないであろうことは想定済みだったし、上野ともそう話していた。問題は、お客が自分で敷設した専用Ｌ２網で、本社と北陸をつないだらどうなるか、だった。最悪ループするかもしれない、という想定はしていて、それなりに対策は取ったつもりだ。国内共有Ｌ２網側の帯域を空けたいということで、本社と北陸データーセンターのトラフィックは、この専用Ｌ２網をメインパスとして使いたいと、木曜にお客が言ってきた。その数日前までは、全体のバックアップとして使用する、ということだったのに、急遽変わったのだ。本来であれば、設計のやり直しのため工事は延期のはずだが、しょっちゅう飲みに行ってしまうくらい、上野とお客担当者との関係の良好さから、とりあえず試してみてほしい、ということらしかったが、駄目だったらどうするというのだろう。都はそれは聞けなかった。
ようやく北陸のデータセンターに入っているベンダーの作業が完了したのは、予定より１時間後だった。そこからまた１時間かけて各担当でログの取得や疎通確認をやって、特に問題なしとなったので、１４時半から作業再開、ということになり、一旦お昼休憩となった。都は作業途中で寒くなってしまい、一旦「暖を取りに」ラックスペースから出てはいたが、この休憩開始の頃にはまた手が冷たくなってしまって、ちょうど外へ出たかった。パーカーの袖を、あざとい可愛らしさを表現するように、手の甲が隠れるまで伸ばしてはいるが、それでも指が冷たくなってくる。
リュックだけ持って下足箱のあるラックスペースの前室へ行くと、相変わらず外履きは都のビーチサンダルしかないから、この棟に今日作業があるのは都だけらしい。こんな広いデーターセンターの一棟に、自分一人しかいないのは奇妙な開放感を感じないでもなかったが、工事であるということとと、いたるところに設置された監視カメラやセキュリティが、そんな変な気分にさせてくれるわけはなかった。
靴下を脱いで、裸足で床に立つと床がものすごく冷たく感じる。ビーチサンダルもすっかり冷たくなっていて、急いでドアを開けると、休憩スペースだってある程度の空調は効いているのに、暖かいと感じてしまう。データセンターの敷地内に、ベンチと自販機がある公園風の休憩スペースがあるので、外へ出てそこへ行くことにした。冬物のパーカーを着たまま棟の外へ出たら、あっという間に暑くなった。
冬物のパーカーをリュックへしまい、長袖をまくり、ジーンズの裾も膝までまくりあげてから、駅近くのコンビニエンスストアで買っておいた、お昼用の菓子パンと、カフェオレを取り出して、一人でお昼を始めた。昼は普段食べない都だが、今日はなんとなく、食べようと思って、菓子パンを一つだけ買っておいた。お腹が空いているのか自分でも良く分からなかったが、どこか機械的に菓子パンの包装を破いていた。データーセンターの敷地内は、大通りから少し住宅街の中へ入ったところにあるから、静かだった。もちろんあれだけの空調を回す室外機はどこかで騒々しくしているのだが、ラックスペースのファンの音のけたたましさの中に数時間もいたから、その落差でとてものどかな空気の下にいるような気がする。しかし、普段は大好きなはずの夏の日差しと暑さが、今日は鬱陶しいことこの上なく、都は菓子パンだけ食べ終わると、棟内の休憩スペースへ戻った。こんな天気が良く、暑い日に、外に居たくないなんて、一体どうしたんだと、都は自分の調子が悪いような気がした。
１４時半が近くなったので、都はトイレを済ましてから、またまくっていた袖と裾を伸ばし、冬物のパーカーを着込み、ラックスペースへ入った。安全サンダルを履くために、わざわざ靴下を持ってきて履くという面倒をしている自分が少し可笑しくなっても良いはずだが、そんな風にも思えなかった。何か必要で当たり前の作業のように、淡々と靴下を履いていた。
１４時半、上野からの開始メッセージを受けて、都は北陸データーセンターと本社データーセンターの間だけを結んでいる専用Ｌ２網の、それぞれのＷＡＮエッジルーターに、準備していたスクリプトをコピー・アンド・ペーストする形で、追加コンフィグを流し込んで行った。作業としては都の作業だけなので、完了後、ｐｉｎｇと通過経路確認を取った。到達性に問題はなかった。しかし、通過経路に問題があった。本社と北陸間の通信が、この専用Ｌ２網を通らず、国内共有Ｌ２網を通ってしまっていて、パスが切り替わっていない。都は、最初頭が固まってしまったかのように、何も思いつかなかった。そもそも全体設計をきちんと把握できていなかった中、この急な設計変更が、全体の設計に及ぼす影響や、位置付けついて考える時間もなかったし、余裕もなかった。こんな複雑な構成、設計は、検証しなければ到底理解もできなければ問題の洗い出しもできない。そう思いながらコンフィグを作っていたけれど、実際にその通りになってしまった。
それまでは軽い調子や、わざと全部ひらがなにしたメッセージのやりとりしかなかった上野とのメッセージも、通過経路確認のログがそのまま貼られてきたり、どこじゃないか、あそこじゃないかという、アドバイスなのか、文句なのか、判断できないようなメッセージが飛んでくるようになった。都は、確認します、と何回か同じ文言を返すしかなかった。
都は、専用Ｌ２網の、本社側ＷＡＮエッジルーターの、ＬＡＮ側ＯＳＰＦのプロセスにＬＳＡタイプ５で、北陸データーセンターのルートがあるかどうか見てみた。すると、国内共有Ｌ２網側のＷＡＮエッジルーターのＷＡＮ側プロセスからＬＡＮ側プロセスへ再配送しているメトリック値のものしかない。試しに、専用Ｌ２網の、本社側ＷＡＮエッジルーターの、ＷＡＮ側プロセスのＬＳＡタイプ５を見てみると、きちんと北陸データーセンター側からもらっているものがある。つまり、これがきちんとＬＡＮ側のＯＳＰＦプロセスへ再配送出来ていないのが原因だ。原因はわかったが、それが何故引き起こされているのかはわからなかった。急いで作ったかスクリプトだから、何かコンフィグミスがあったかもしれないと、コンフィグを見直すが、この再配送部分は条件付けのシーケンスが多く、チェックするのにはそれなりに時間もかかるし、冷静さも必要だったが、しきりにくる上野のメッセージや、準備不足からくる、何も思いつかないという短絡思考の中でも、この問題をどうにか解決しなければいけないという強迫神経的な責任感から、パニック状態になり、一体手が震えているのは寒いからなのか、このパニックからくる緊張からなのかはわからなかった。
こんな状態の中なんとかコンフィグを見直したが、コンフィグには問題はなさそうに見える。問題ないのであれば、もしかすると、コンフィグした順番でそうなってしまったのかもしれない。都は何の根拠もなくそう思いつき、専用Ｌ２網のＷＡＮエッジルーターの、ＬＡＮ側ＯＳＰＦプロセスの再起動を実施した。おそらく北陸データーセンターも同じ状態だろうと、ＬＳＡの受信状況など確認もせずに、北陸データーセンターの専用Ｌ２網のＷＡＮエッジルーターの、ＬＡＮ側ＯＳＰＦプロセスの再起動を、こちらも実施した。
それから再度、問題となった経路について、到達性と通過経路確認を取ってみると、北陸と本社のデーターセンターの通信は、設計通りこの専用Ｌ２網を通過するようになった。もう一度ｐｉｎｇと通過経路確認を全て取り直し、全体としてルーティングは問題ないことを確認した。専用Ｌ２網のＷＡＮエッジルーターの、ＬＡＮ側ＯＳＰＦプロセスの再起動で、他に影響が出ているか少し心配したが、大丈夫だったようだ。上野とのメッセージのやりとりで、プロセス再起動で直ったことを伝えると、そういうことはありそうだね、と返事がきて、この件は終わりになった。特に原因究明を追求もされなかった。確かに、ルーティングプロトコルの再起動とか、インターフェイスの閉塞・再開放、それに筐体の再起動などであっさり直って、それ以降は同じ事象には当たらない、というトラブルはいくつもある。しかし、都は、このトラブルについては、本当にそれらのような一過性のトラブルだろうか、と気になった。確かにコンフィグする順番が大事になる時はあるが、これではどちらかが断になった時、同様に、意図したルーティングに戻らないのではないのか。都は、あまり考えたくなかった。そんなこともあるかもしれない、とか、どこかバグがあるのかもしれない、と都合の良いように解釈しようとしていた。
それからお客自身のアプリケーション試験となった。これは新しいサーバーの運用試験などもあったのでかなり時間がかかるとのことだったので、都は担当する全ルーターから必要なログを取得するマクロを回して、ログを一旦全部取得し、運用中のコンフィグや、ルーティングテーブルなどを確認して、何かおかしなところがないか確認していった。しかし、そもそも全体像や全体設計をよく把握していないのだ。何がおかしいのか、何が正解なのかなんて、そもそも都には判断が難しい。上野から聞いている内容と合致しているかどうか、コンフィグ的に正しいのかどうか、その程度しか見ることができない。
寒くて体の震えが止まらないくらいなので、メッセージで一旦休憩スペースへ出るから、何かあったら工事用携帯に連絡をくれるよう送った。上野からは、りょーかーい、とひらがなでいつものように軽い感じで返ってきた。さっきのトラブル時の矢継ぎ早に追求されるような調子からは、すっかり元に戻った。都は、作業用ＰＣとマウス、電源ケーブルだけ持って、休憩スペースへ移動し、休憩スペースのテーブルで、コンフィグや、ログを確認した。全体設計をよく把握していないこともあるだろうが、特におかしなところは何もないように見えた。静かな環境へ移って、少しは集中力は増しただろうが、そもそも全体像をわかっていないのだから、確認をしっかりとできているとは思えなかった。３つのデータセンターと、３つの別の網を使った冗長設計なんて、いきなり見ただけで全て把握できるような、高いスキルは都にはなかった。
ラックスペースは２階にあるので、吹き抜けに沿って窓がある。外の明かりはだんだんオレンジ色になってきていた。都はいつも工事をする時は、腕時計を外すのだが、今日はしたままだった。右手首を返すと、もう１７時半を回っていた。工事用携帯にはまだ連絡はなかったが、もしかしたらメッセージで何か上野からきているかもしれないと思い、作業用ＰＣをラックスペースへ戻し、お客のＬＡＮへ接続を戻すことにした。これ以上ログとにらめっこしたところで、何も今の都には見つかりそうになかった。
作業用ＰＣを戻してしばらくしてから、また寒くなってきたので、休憩スペースへ出て、だんだんと色濃くなっていく窓の外を眺めながら、裸足を床に放り投げてぼんやりしていると、工事用携帯に電話がかかってきた。やっと北陸に移したサーバーの試験が全部無事完了し、３０分をほど休憩を挟んでから、北陸と本社の冗長試験を実施するとのことだった。上野は喫煙者だったし、お客やベンダーにも喫煙者がいるようなので、タバコ休憩、という意味もあるのだろう。時折ウェブのニュースで、喫煙者の方が非喫煙者よりも休憩が多い、不公平だ、とかいう批判が載るが、それはあっていないような気がした。むしろ喫煙者は、タバコを吸うことで、定期的にリフレッシュ出来、仕事の効率が良くなっているように、都は感じていた。実際喫煙者で仕事のできる人は、タスクの整理が上手なようにも感じる。時折、職場からは喫煙所は廃止するべきだという極端な論調をウェブで見かけるが、都は自分はタバコは吸わないし、タバコの臭いも嫌いだけれど、そういう意見にはあまり賛成できなかった。都は大抵、仕事の終わりのデスクトップには、何十ものブラウザのタブが開き、何十ものファイルが開いている状態だ。
都も、一旦棟の外へ出て、すでに日が暮れてしまっているから、外灯が点き始めた敷地内のベンチへ向かった。自販機で缶のカフェオレを買って飲んだ。今日はどうもいつもの工事とは違う感覚だ。やはり、急に巻き込まれて、こんな大工事に参加しているからだろう。どこまで行っても何か雲を摑むような、浮遊感のようなものがなくならない。
１９時から、いよいよ北陸データーセンターの、国内共有Ｌ２網の断試験に入る。都は、北陸データーセンターの国内共有Ｌ２網のＷＡＮエッジルーターのＷＡＮインターフェイスを閉塞する準備をした。通常時、国内拠点と国際拠点間の通信は、国内共有Ｌ２網から北陸データーセンターに入り、国際網へという経路になるのだから、この通信で連続ｐｉｎｇを回しながら、断をすれば、そのｐｉｎｇが一旦不達になり、しばらくして到達性が戻り、経路が国内共有Ｌ２網、本社データーセンター、本社データーセンターと北陸データーセンター間の専用Ｌ２網を通り、北陸データーセンターから国際網へ抜ける、となっていれば、断試験としては良好ということになる。
都は連続ｐｉｎｇを回してから、上野にメッセージで、落とします、と送ってから、北陸側の国内共有Ｌ２網のＷＡＮエッジルーターのＷＡＮインターフェイスを閉塞した。連続ｐｉｎｇは不達になった。しばらくすれば到達性が回復するはずだった。しかし、いつまでたっても回復しない。都は急に緊張が高まってくる。
都はどこで止まってしまっているんだと、国内共有Ｌ２網配下の連続ｐｉｎｇの送信元となっている国内拠点から、通過経路確認のコマンドを叩こうとした。すると、上野からメッセージでその拠点からの通過経路確認コマンドのログが送られてきた。それは、明らかに同じ通過経路を何度も回っていてる。つまり、ループになってしまっていることをログは如実に示していた。