Latest / ゆるITエンジニア道場 / SIerでの深夜の本番作業失敗あるある
Transcript
- 0:00こ ん に ち は、 リ ド ル で す。 今 日 は で す ね、 私 が sier 時 代 に 遭 遇
- 0:05し た 夜 間 の 本 番 作 業 あ る あ る を ご 紹 介 し ま す。
- 0:10皆 さ ん 本 番 作 業 や っ て ま す か ね。 本 番 作 業 と い う の は、 sier に お い て
- 0:15は お 客 様 の 環 境 を 扱 っ て い る こ と が 多 い の で、 そ の お 客 様 の 環 境 に 何 か 変
- 0:20更 を 加 え た り と か、 ま あ 追 加 し た り と か 削 除 し た り み た い な、 ま あ い ろ ん な
- 0:25作 業 を ひ っ く る め て 本 番 作 業 と 呼 ん で い ま す。
- 0:28ホ ン マ、 環 境 に 対 す る 変 更、 全 部 で す ね。
- 0:31で、 ど ん な サ ー ビ ス を 運 用 し て い る か に も よ る ん で す け れ ど も、 私 が 担 当 し
- 0:34て い た サ ー ビ ス は、 基 本 的 に メ ン テ ナ ン ス と 呼 ば れ る 機 関 が 深 夜 3時 と か に
- 0:40設 定 さ れ て い た の で、 そ の 時 間 に や る と い う こ と で、 夜 間 作 業 が 必 須 と い う
- 0:45感 じ で し た。 ま た、 当 時 は で す ね、 イ ン フ ラ エ ン ジ
- 0:48ニ ア だ っ た の で、 お 客 さ ん の デ ー タ セ ン タ ー に 行 っ て な ん か 処 理 を す る と
- 0:52い う こ と が、 ま あ 当 た り 前 で し た ね。 ま あ、 一 部 違 う と こ ろ の ケ ー ス も あ っ
- 0:57た ん で す け ど、 ま あ だ い た い は デ ー タ セ ン タ ー に 行 く み た い な 感 じ で し た。
- 1:01そ ん な 感 じ で、 ま あ 私 の 経 験 と ま あ あ と 他 の 人 か ら 見 聞 き し た 話 と か、 エ サ
- 1:07イ ヤ で も あ る よ ね っ て い う 話 を 紹 介 し た い と 思 い ま す。
- 1:11そ の 前 に 皆 さ ん、 本 番 作 業 で 何 か が 起 こ る っ て ど う い う シ チ ュ エ ー シ ョ ン
- 1:16か と い う と、 何 か 手 順 が 元 々 あ り ま す と。
- 1:18こ れ は も う 検 証 環 境 で 動 作 チ ェ ッ ク 済 み の や つ で す。
- 1:22そ れ を ま あ 本 番 作 業 で テ コ テ コ っ て や る ん で す よ。
- 1:26な の で、 基 本 的 に は 同 じ 環 境 で テ ス ト し て る ん で 問 題 が 起 き な い は ず な ん
- 1:31で す け ど、 問 題 は 起 き ま す。 も う ね、 い や、 こ れ は い ろ い ろ あ る ん
- 1:36で す よ。 理 由 は イ レ ギ ュ ラ ー が あ る ん で す ね。
- 1:39あ と は や っ ぱ 人 間 が い る ん で、 ミ ス が ど う し て も 出 ま す。
- 1:42な の で、 基 本 的 に 苦 し い 話 で す。 は い、 ま ず 一 個 目、 ま ず 何 か し ら 事 故
- 1:48が 起 き ま し た。 そ し た ら 一 発 目。
- 1:53も う 上 司 に 電 話 し ま す で す ね、 こ の 時、 上 司 電 話 出 な い ん で す ね。
- 1:58こ れ あ り ま す ね。 ま あ 深 夜 の 仕 事 な ん で、 ま あ で、 3時 か
- 2:03ら 始 め た と し て、 4時 と か 5時 と か に ミ ス る ん で す よ、 そ う い う 時 っ て。
- 2:07そ う す る と 普 通 の 人 間 は 4時 か ら 5時 に 寝 て る ん で す よ ね。
- 2:10で、 そ こ に 電 話 し て 失 敗 し ま し た み た い な 電 話 い き な り す る ん で す け ど、 ま
- 2:15あ ま あ だ い た い 起 き な い ん で、 上 司 に 電 話 し て、 起 き な い 時 は さ ら に そ の 上
- 2:20の 上 司 に 電 話 し て。 つ な い で、 そ こ か ら こ う い う 風 に し よ
- 2:24う と 思 う ん で す け ど、 い い で す か み た い な、 も う め ち ゃ く ち ゃ 大 変 な 調 整 が
- 2:28始 ま り ま す。 一 応 問 題 が 起 こ っ た 時 の た め に、 こ こ
- 2:32で 問 題 が 起 き た ら こ う や っ て 元 に 戻 し ま す み た い な と こ ろ ま で、 ま あ 手 順
- 2:37を 用 意 し て た り す る こ と が あ る ん で す け ど も、 ま あ そ れ を ま あ 基 本 的 に や
- 2:42っ て い い で す か み た い な、 承 認 を と っ て 元 に 戻 す み た い な 感 じ で す ね。
- 2:46い や、 も う 元 に 戻 す 手 順 も 練 習 は し て る ん で す け ど ね。
- 2:49や っ ぱ り 戻 す と な る と。 し ん ど い で す よ ね、 い ろ ん な 意 味 で。
- 2:54は い、 こ れ が 一 個 目 連 絡 し た 上 司 起 き て な い で す ね。
- 2:582つ目、 い き ま す。 2つ目 は、 翌 朝 朝 一 で 顧 客 訪 問 を し て、
- 3:04事 の 経 緯 を 説 明 す る で す ね は い、 こ れ も あ り ま す ね。
- 3:09こ れ ま あ 会 社 と か チ ー ム に も よ る と 思 う ん で す け ど、 基 本 的 に 障 害 が あ っ
- 3:14た ら 翌 日 ね、 お 客 さ ん と こ ろ に 説 明 し に 行 く ん で す よ。
- 3:18ま あ、 こ れ は あ く ま で す よ。 解 決 し て た 前 提 で す け ど、 解 決 し て な
- 3:22か っ た ら 作 業 も 継 続 し つ つ、 お 客 さ ん の 説 明 も 行 き ま す。
- 3:27で、 一 応 深 夜 か ら い ろ い ろ 障 害 対 応 し て た 人 が そ の ま ま 説 明 す る の が 一 番
- 3:34ス ム ー ズ で は あ る ん で す け ど、 本 番 環 境 で い ろ い ろ ト ラ ブ ル が 起 き て、 そ れ
- 3:39を 直 し て い る っ て 最 中 だ っ た り、 そ こ で も う 精 神 的 に も 肉 体 的 に も 削 ら れ
- 3:44て い る の で、 そ の 裏 で 大 体 上 司 と か。 ち ょ っ と 頼 り に な り そ う な 先 輩 と か
- 3:50が 代 わ り に 状 況 ヒ ア リ ン グ し て 資 料 を 作 っ て く れ て、 朝 一 で お 客 さ ん と こ
- 3:55ろ に 行 っ て 説 明 し て き て く れ ま す。 で、 ま あ、 さ ら に そ の 上 の、 例 え ば ね、
- 4:00課 長 が 行 く ん だ っ た ら 部 長 も 一 緒 に 行 く み た い な 感 じ で。
- 4:04で、 お 客 さ ん も 朝 か ら ね、 想 定 で 出 て く る ん で す よ ね。
- 4:06こ ん な こ と が あ り ま し た と か、 ど う な っ て る ん で す か?
- 4:09み た い な。 ま あ、 こ こ で は と り あ え ず ま ず 一時 報
- 4:11告 で ど う い う こ と が 起 き て、 今 ど う し て い る の か、 今 後 ど う す る の か っ て い
- 4:16う。 ま ず、 軽。
- 4:16い。 ジ ャ ブ み た い な や つ で す ね、 ま あ、 こ
- 4:19こ は と り あ え ず も う 淡 々 と 説 明 し て、 言 わ れ た こ と を は い は い っ て 感 じ で
- 4:26聞 く 感 じ で す。 は い。
- 4:293つ目、 こ れ は で す ね、 障 害 が 起 き た の が、 例 え ば デ ー タ ベ ー ス と か ミ ド ル ウ
- 4:37ェ ア と か で、 外 部 の ベ ン ダ ー の も の を 使 っ て い た と し ま し ょ う。
- 4:40で、 そ こ が な ん か バ グ を 起 こ し て ま し た と。
- 4:44例 え ば デ ー タ ベ ー ス だ っ た ら。 プ ラ イ マ リ ー と セ カ ン ダ リ ー み た い
- 4:48な。 2台 あ っ て 切 り 替 え る っ て い う 手 順 だ
- 4:51っ た ん だ け ど、 製 品 の バ グ で 切 り 替 わ ら な か っ た。
- 4:54ま あ、 そ う い う こ と あ り ま す よ ね。 そ う な る と、 こ れ は で す ね、 ベ ン ダ ー
- 4:58を 採 用 し た の は sier で あ る 我 々 な ん で す け れ ど も、 な の で 謝 ら な い と い け
- 5:03な い ん で す よ。 採 用 し た の が 我 々 な ん で。
- 5:06そ う す る と 基 本 的 に は 例 え ば ベ ン ダ ー、 A 社 と し ま す が、 A 社 に ち ょ っ と
- 5:10バ グ っ て た ん で、 制 度 み た い な 話 を し て。
- 5:14ま あ、 基 本 的 に A 社 も す い ま せ ん み た い な 話 に な る ん で す け ど、 一 応 A 社 の
- 5:21本 国、 本 社 の 方 に レ タ ー っ て い う の を も ら っ て も ら う ん で す ね。
- 5:26レ タ ー っ て い う の は こ う い う バ グ が あ り ま し た、 こ う い う 理 由 で す み た い
- 5:32な こ と が バ ー っ て 書 い て あ る 正 式 な や つ が あ る ん で す け ど、 そ れ を も っ て
- 5:36し て、 あ の、 こ の 会 社 が こ う い う 問 題 を 起 こ し ま し た。
- 5:41受 領 お 願 い し ま す み た い な 感 じ で、 お 客 さ ん と こ に 説 明 し に 行 く っ て い う
- 5:44ね、 こ れ あ り ま す ね、 こ の 儀 式。 ま あ ち ょ っ と 会 社 に よ る か も し れ な
- 5:49い で す な の が、 そ う い う 話 を 聞 き た っ て い う 感 じ で す ね。
- 5:52は い。 続 い て 超 厳 し い 再 発 防 止 策 と 水 平 展
- 5:56開 が 行 わ れ る こ れ も ね、 あ り ま す ね。 い や、 ま あ 再 発 防 止 策 が ね、 大 事 な ん
- 6:03で す け ど、 も う め ち ゃ く ち ゃ 細 か い ん で す よ ね、 例 え ば 聞 い た 話 だ と。
- 6:11基 本 手 順 書 を で す ね、 タ ー ミ ナ ル VI と か で 開 い て、 で、 そ の 内 容 を タ ー ミ
- 6:17ナ ル 別 の タ ー ミ ナ ル コ ピ ー し て 実 行 し て み た い な 感 じ で、 普 通 や る ん で す
- 6:21け ど、 コ ピ ペ ミ ス し た み た い な こ と が あ っ た ら し い ん で す ね。
- 6:26ま あ、 こ こ で コ ピ ペ ミ ス は な ん か す ご い 長 い パ ス オ プ と abbb、 CCC ddd み
- 6:34た い な 時 に ち ょ う ど パ ス の 長 さ が 長 す ぎ て。
- 6:39途 中 で 改 行 さ れ ち ゃ っ て た み た い な 感 じ の 時 に、 改 行 含 み で コ ピ っ た せ い
- 6:44で 貼 り 付 け た ら も う 実 行 さ れ ち ゃ っ た み た い な、 そ う い う 事 件 が あ っ て。
- 6:49こ の 再 発 防 止 策 は、 コ ピ ー し た も の を 1回 テ キ ス ト に 貼 り 付 け て、 問 題 な い
- 6:54こ と を 確 認 し て か ら 打 つ と か、 長 い デ ィ レ ク ト リ に は 先 に 移 動 し て か ら 作
- 7:01業 を す る こ と み た い な。 な る ほ ど み た い な、 そ う い う 感 じ で す
- 7:05か? み た い な 感 じ の 手 順 に な り ま し た。
- 7:08当 時 や っ て た 現 場 は め ち ゃ く ち ゃ 厳 し く て、 新 し い セ ル ス ク リ プ ト と か 作
- 7:13っ て 動 か す の も 禁 止 だ っ た り。 も う 今 ま で 叩 い た こ と の な い、 い わ ゆ
- 7:18る 標 準 の Linux コ マ ン ド を 叩 く の こ と す ら 不 可 だ っ た ん で、 め っ ち ゃ 大 変
- 7:23で し た ね。 で、 水 平 展 開 っ て い う の は。
- 7:26ま あ プ ロ ジ ェ ク ト っ て 別 に 一 個 じ ゃ な い ん で す よ。
- 7:28そ の お 客 さ ん と や っ て る プ ロ ジ ェ ク ト が。
- 7:30そ れ が 5個 も 十 個 も あ っ た り し て、 他 の 本 番 作 業 と か あ れ ば。
- 7:36そ っ ち に も 同 じ 対 応 し ろ っ て い う 話 に な る ん で す よ ね。
- 7:39い や ま あ、 言 い た い こ と は わ か る ん で す け ど、 ま あ 大 変 だ な と 思 っ た 記 憶 が
- 7:45あ り ま す。 は い。
- 7:47次、 復 旧 優 先 で 監 視 ア ラ ー ト を 止 め た ま ま 忘 れ、 二 次 障 害 に 気 づ く の が 遅 れ
- 7:54る こ れ も ね、 聞 き ま す ね。 は い。
- 7:57本 番 作 業 の 手 順 の 中 に、 監 視 ア ラ ー ト を ま あ 止 め る っ て い う 作 業 が あ る ん
- 8:04で す よ。 ま あ、 こ れ 何 か と い う と、 例 え ば サ ー
- 8:06バ ー の 死 活 監 視、 要 す る に サ ー バ ー が ダ ウ ン し た ら ア ラ ー ト を 上 げ る っ て
- 8:11い う 仕 組 み が あ っ た 時 に、 本 番 作 業 中 に サ ー バ ー を 再 起 動 し た り と か 停 止
- 8:15し た り す る 手 順 も あ っ た り す る ん で す ね。
- 8:18そ の 時 に 干 渉 を 止 め て な い と ア ラ ー ト 飛 ん じ ゃ う ん で、 そ の 前 に 止 め る ん
- 8:23で す よ。 で、 作 業 全 部 終 わ っ た ら 開 け る み た い
- 8:26な。 で、 問 題 が 起 き る 時 っ て、 ま あ 監 視 ア
- 8:30ラ ー ト を 止 め て 作 業 し て 問 題 が 起 き る ん で。
- 8:33で、 そ の 後、 イ レ ギ ュ ラ ー な あ の 復 旧 対 応 と か す る ん で す け ど、 そ う す る と
- 8:37で す ね、 監 視 ア ラ ー ト を 戻 し 忘 れ る ん で す ね。
- 8:41で、 戻 さ な い と 次 の 問 題 が 起 こ っ て も ア ラ ー ト 飛 ば な い ん で わ か ん な い ん
- 8:45で す よ。 こ れ は ね、 二 次 障 害 に ね、 つ な が る ん
- 8:50で す よ ね。 怖 い な い や、 怖 い な は い、 こ の 話 し て
- 8:54た ら、 な ん か 当 時 の こ と を 思 い 出 し て し ま っ た。
- 8:57は い、 ち ょ っ と 次 行 き ま す 次。 復 旧 後 す ぐ、 運 用 部 門 か ら 原 因 究 明 報
- 9:03告 を 今 す ぐ の コ ー ル が 十分 お き に 届 く。
- 9:06ま あ こ れ も あ り ま す ね。 あ の、 ま あ、 こ れ は 復 旧 後 す ぐ に だ け
- 9:13じ ゃ な く て、 も う 復 旧 中 も 飛 ん で く る ん で す よ ね。
- 9:16十分 に 1回 ぐ ら い 連 絡 が。 い や、 こ れ ね。
- 9:20ま あ 確 か に 早 く 答 え 知 り た い の は わ か る し、 進 捗 を リ ア ル タ イ ム で 知 り た
- 9:24い の も わ か る ん で す け ど、 ま あ こ っ ち も ね、 ど う い う 状 況 か 百 わ か っ て な い
- 9:29ん で。 で か つ、 本 番 作 業 で い ろ ん な コ マ ン ド
- 9:32を め ち ゃ く ち ゃ に 叩 く わ け に も い か な い じ ゃ な い で す か。
- 9:35な ん か ね、 ア プ リ が エ ラ 入 っ て る か ら っ て 言 っ て、 ア プ リ に な ん か ね、 GDP
- 9:40み た い な 叩 い て デ バ ッ グ 取 り に 行 く っ て い い の か み た い な 話 も あ り ま す
- 9:44し、 1回 ち ょ っ と テ ス ト で 再 起 動 し て い い で す か み た い な こ と も 本 番 で 動
- 9:48い て た り と か ね。 す る や つ と か、 そ ん な 気 軽 に で き な い
- 9:51し、 な ん だ っ た ら 再 起 動 手 順 も な ん か 細 か く い っ ぱ い あ っ た り す る こ と あ
- 9:55り ま す し。 だ か ら こ れ や ら。
- 9:58れ。 る と き つ い っ す よ ね。
- 10:00だ か ら だ い た い 作 業 っ て 2人 で や る ん で す け ど、 ま あ 一 人 が も う な ん か こ れ
- 10:04に ね、 ホ ー ル で 時 間 取 ら れ て、 も う 一 人 が 作 業 す る み た い に な る ん で す け
- 10:07ど、 基 本 ミ ス し な い よ う に 作 業 者 確 認 者 っ て い う 体 制 で や っ て る ん で す よ。
- 10:13誰 か が コ マ ン ド 入 力 し て、 確 認 者 が オ ッ ケ ー っ て 言 っ た ら オ ッ ケ ー み た い
- 10:17な 感 じ で 入 力 で き る ん で。 だ か ら 一 人 こ れ に 取 ら れ る と 余 計 ミ
- 10:22ス 誘 発 し が ち な ん で す よ ね。 手 順 も な い し。
- 10:25戻 す 時 っ て ま あ ち ょ っ と。 2025年 の ね。
- 10:28今 に こ こ ま で き つ く 運 用 し て い る サ ー ビ ス も そ こ ま で 多 く は な い と 思 い
- 10:33ま す が、 私 が イ ン フ ル エ ン ジ ニ ア だ っ た 12?
- 10:373年 前 は こ れ が ね 普 通 で し た。 と い う こ と で 今 回 は 私 が エ ス ア イ ア
- 10:44ー 時 代 に イ ン フ ラ エ ン ジ ニ ア と し て 見 聞 き し た 本 番 作 業 で 失 敗 し た 時 あ
- 10:49る あ る を ご 紹 介 し ま し た。 ち ょ っ と 胃 が 痛 い。
- 10:52は い、 と い う こ と で。 こ の ポ ッ ド キ ャ ス ト は ハ ッ シ ュ タ グ
- 10:57ユ ー ア イ テ ィ ー で 皆 様 か ら の 私 も 失 敗 し た よ エ ピ ソ ー ド を 募 集 し て お り
- 11:02ま す。 あ、 別 に あ の コ メ ン ト や 感 想 も お 待 ち
- 11:04し て お り ま す。 は い、 ま た え え、 概 要 欄 の で す ね。
- 11:08グ ー グ ル の フ ォ ー ム の リ ン ク か ら も 同 様 に 投 稿 可 能 と な っ て お り ま す の
- 11:12で、 ど う ぞ よ ろ し く お 願 い 致 し ま す。 あ り が と う ご ざ い ま し た。