Latest / ゆるITエンジニア道場 / ヒヤリハットと本番障害で強くなる
Transcript
- 0:01こ ん に ち は。 シ ニ ア ソ フ ト ウ ェ ア エ ン ジ ニ ア の リ
- 0:04ド ル で す。 こ の ポ ッ ド キ ャ ス ト は、 IT 業 界 の い
- 0:07ろ ん な 話 や リ ア ル を お 届 け し ま す。 今 回 は 本 番 の や ら か し が 人 を 成 長 さ
- 0:13せ る と い う 話 に つ い て 話 そ う と 思 い ま す。
- 0:15は い、 皆 さ ん、 本 番 環 境 で の 作 業 で で す ね、 や ら か し た 経 験 は ご ざ い ま す
- 0:20か? 私 は あ り ま す。
- 0:22残 念 な が ら。 は い。
- 0:25本 番 環 境 で や ら か し て、 ま あ 可 能 な 限 り ゼロ で あ る べ き な ん で す け れ ど も、
- 0:30ま あ や っ ぱ り で す ね、 い ろ ん な 環 境 だ っ た り、 い ろ ん な プ ロ ジ ェ ク ト で 仕 事
- 0:34を し て い る と、 ど う し て も ま あ 発 生 し て し ま う こ と が あ り ま す。
- 0:38で で す ね、 も ち ろ ん 発 生 さ せ な い こ と が 大 事 な ん で す け れ ど も、 発 生 さ せ な
- 0:43い よ う に し た 上 で も、 ま あ 起 き て し ま う と い う と こ ろ で、 で、 そ れ が 起 き る
- 0:46と で す ね、 ま あ、 も ち ろ ん 問 題 な ん で す け れ ど も、 ま あ 学 び の 機 会 と い う
- 0:50か、 自 分 や チ ー ム が 成 長 す る き っ か け に も。
- 0:53な。 る と 思 う の で 詳 し く 説 明 し て い こ う
- 0:55と 思 い ま す。 ま あ、 そ も そ も で す ね、 ち ょ っ と ヒ ヤ
- 0:59リ ハ ッ ト と い う 言 葉 を 皆 さ ん ご 存 知 で し ょ う か。
- 1:03ヒ ヤ リ ハ ッ ト と い う の は で す ね、 ま あ 別 に IT 業 界 だ け の 言 葉 じ ゃ な く て、
- 1:07多 分 も う ど っ ち か っ て い う と、 な ん か 製 造 業 と か そ っ ち 側 の と こ ろ か ら 来
- 1:10て い る 単 語 だ と 思 う ん で す け れ ど も、 こ れ は で す ね、 重 大 な 事 故 や 災 害 に は
- 1:16至 ら な か っ た け ど、 ま あ ヒ ヤ リ と し た 瞬 間 と か、 ハ ッ と し た よ う な 危 険 な 状
- 1:21況 や 出 来 事 を 表 す 言 葉。 と な っ て い ま す。
- 1:25こ れ、 あ の ハ イ ン リ ッ ヒ の 法 則 っ て い う の が あ り ま し て。
- 1:29ま あ、 重 大 事 故 の 裏 に 潜 む。 ま あ、 な ん て い う ん で す か ね、 出 来 事
- 1:33っ て い う の が、 ま あ ピ ラ ミ ッ ド 形 式 で 表 せ る ん で す け れ ど も、 例 え ば 300件
- 1:39の ヒ ヤ リ ハ ッ ト が あ っ た ら、 29件 の、 ま あ 軽 傷 を 伴 う 災 害 が あ っ て、 で、 1件
- 1:47の 重 大 災 害 が あ る っ て い う よ う な。 ま あ 災 害 の。
- 1:52な ん で す か ね、 大 き さ に 応 じ た。 ま あ、 ピ ラ ミ ッ ド は 作 れ る ん で す ね。
- 1:56だ か ら 1件、 29件、 300件、 要 す る に 数 多 の ヒ ヤ リ ハ ッ ト が あ る と、 そ の う ち の
- 2:021件 は 重 大 災 害 に な り よ る み た い な 感 じ で す ね。
- 2:07な の で、 ま あ 軽 微 な 危 険 と か 表 を、 こ こ で い う 軽 微 な 危 険 で は な い ヒ ヤ リ
- 2:15ハ ッ ト の こ と な ん で す け ど も、 ま あ そ れ を ま あ 共 有 と か 分 析 す る こ と で。
- 2:19大 き な 事 故 を 未 然 に 防 ぐ こ と が ま あ 目 的 と な っ て い る わ け で す ね。
- 2:23こ の ハ イ ン リ ッ ヒ の 法 則 と い う の は。 で、 こ の ヒ ア リ ー ハ ッ ト っ て い う の は
- 2:30で す ね。 ま あ 例 え ば ソ フ ト ウ ェ ア の、 ま あ 開 発
- 2:32の 例 で 言 う と、 本 番 の デ ー タ ベ ー ス に 誤 っ て 接 続 し て し ま う。
- 2:37ま あ 開 発 環 境 だ と 思 っ た け ど つ な げ て し ま っ た と か、 あ と は 方 法 互 換 性 を
- 2:44保 た な い と い け な い よ う な も の で 破 壊 的 変 更 を。
- 2:48プ ル、 陸 内 に 混 ぜ て し ま っ た と か、 あ と は 権 限 と か 設 定 の 誤 り で 本 番 向 け
- 2:57に 開 発 の 機 能 が 出 て し ま っ た と か、 バ ッ ク ア ッ プ 取 っ て る は ず な の に そ の
- 3:03バ ッ ク ア ッ プ が 正 し い も の で は な か っ た、 も し く は 戻 せ な い 壊 れ た も の だ
- 3:07っ た と か。 ま あ、 そ う い っ た も の が い ろ い ろ ヒ ヤ
- 3:11リ ハ ッ ト と し て 存 在 し ま す。 で、 こ う い う の が 組 み 合 わ さ っ た り と
- 3:15か。 も う 少 し 根 が 深 く な っ た り、 人 の ミ ス
- 3:18が 加 わ っ た り す る と、 こ の ヒ ヤ リ ハ ッ ト が 重 大 な 障 害 に つ な が っ て い く と
- 3:22い う 感 じ で す。 ま あ 本 番 障 害 っ て ね、 実 際 や ら か す と
- 3:27ね、 め ち ゃ く ち ゃ き つ い で す よ ね、 私 も ま あ、 か え っ こ や ら か し た こ と で、
- 3:32ま あ ち ょ っ と 本 番 の サ ー バ ー を 誤 っ て、 あ の 落 と し て し ま っ て 再 起 動 し て
- 3:36し ま っ て、 ま あ そ の 瞬 間 に ま あ 結 構 紹 介 と い う か、 影 響 が 出 て し ま っ た り と
- 3:42か。 配 布 す べ き じ ゃ な い バ ー ジ ョ ン の も
- 3:45の を 誤 っ て 配 布 し て し ま っ た と か、 影 響 な い だ ろ う と 思 っ て し た 変 更 が、 な
- 3:51ん か め ち ゃ く ち ゃ 重 要 な も の だ っ た と か。
- 3:54な ん か ま あ、 そ う い う の っ て い ろ い ろ あ り ま す し、 影 響 範 囲 が 読 め な い で す
- 3:58よ ね。 で、 あ と で す ね、 そ の 時 間 に 変 更 作 業
- 4:01し た の は 自 分 だ け な ん で、 絶 対 自 分 が 原 因 じ ゃ ん っ て わ か っ ち ゃ う っ て い
- 4:05う の を、 ま あ、 周 り の 人 が 別 に 何 も 言 わ な か っ た と し て も、 ち ょ っ と 自 責 の
- 4:10念 に 駆 ら れ た り し ま す し。 復 旧 作 業 も ま あ、 普 段 や ら な い 作 業 だ
- 4:15っ た り す る の で、 一 筋 縄 で は い か な か っ た り し ま す し。
- 4:18ま あ、 自 分 だ け じ ゃ な く 周 り の 人 に も い ろ い ろ 迷 惑 を か け る し、 そ の 後 の 振
- 4:22り 返 り と か、 障 害 の イ ン シ デ ン ト レ ポ ー ト み た い な と こ ろ も な か な か 気 が
- 4:26重 い で す よ ね。 で、 ま あ、 こ う い っ た も の を な る べ く
- 4:33起 こ さ な い よ う に す る た め に は、 こ の ヒ ヤ リ ハ ッ ト と い う も の を、 ま あ 普 段
- 4:36か ら 大 事 に し て お く こ と が 大 事 で す と、 例 え ば。
- 4:40本 番 環 境 に 誤 っ て つ な げ て し ま っ た と い う の は、 ま あ 起 こ り う る シ チ ュ エ
- 4:45ー シ ョ ン だ と 思 う ん で す け れ ど も、 ま あ、 こ う い っ た も の を、 ま あ、 そ も そ も
- 4:49起 こ さ な い よ う に す る 仕 組 み づ く り っ て い う 方 が 大 事 だ っ た り し ま す。
- 4:53例 え ば ま あ 開 発 中 は と も か く、 運 用 に 入 っ て か ら は、 本 番 環 境 に つ な ぐ た め
- 4:58に は 特 別 な フ ロ ー を 別 途 設 け る こ と で、 そ も そ も つ な げ よ う と 思 わ な い 限
- 5:05り は つ な が ら な い よ う な 仕 組 み に し て お く だ っ た り だ と か。
- 5:09例 え ば、 私 の 先 ほ ど の サ ー バ ー を 再 起 動 し て し ま っ た 例 で 言 え ば、 一 般 ユ ー
- 5:14ザ ー に は 再 起 動 権 限 を 与 え ず に、 ル ー ト ユ ー ザ ー に な る た め に は 一 定 の ワ
- 5:19ー ク フ ロ ー の 承 認 が 必 要 に な る と い っ た よ う な。
- 5:21ま あ、 ガ ー ド レ ー ル と い う か、 防 波 堤 み た い な も の を 用 意 し て お く こ と で
- 5:25十分 に 回 避 可 能 で す よ ね。 ま あ、 な の で、 そ う い っ た よ う な ヒ ア
- 5:32リ ハ ッ ト を 実 際 に 遭 遇 し た 際 に は で す ね、 ま あ あ あ、 よ か っ た、 ア ブ ネ セ ー
- 5:36フ っ て 思 う の は も ち ろ ん い い ん で す け れ ど も。
- 5:39ま あ、 そ の 後 に そ も そ も こ れ っ て な ん で 起 き ち ゃ う ん だ っ け?
- 5:42と か、 起 き な い よ う に す る に は ど う す れ ば い い ん だ っ け?
- 5:44っ て い っ た こ と を、 ま あ 考 え る 必 要 が あ り ま す。
- 5:49た だ で す ね、 ま あ、 こ う い う ヒ ア リ ハ ッ ト も と も か く で す ね。
- 5:53そ も そ も 世 の 中 に ど う い う そ の イ ン シ デ ン ト と い う か、 困 り ご と が あ る ん
- 5:58だ ろ う っ て 先 に 知 っ て お い た 方 が い い じ ゃ な い で す か。
- 6:04だ っ て 自 分 が ね、 あ の、 い き な り 直 面 し て。
- 6:08で、 そ こ で あ た ふ た す る よ り も 先 に、 な ん か 先 陣 が 踏 ん で き た あ の、 い ろ ん
- 6:15な ね、 事 故 と か を ね、 知 っ と い た 方 が 確 実 に 防 げ る わ け じ ゃ な い で す か っ
- 6:19て い う と こ ろ で お す す め の 教 材 が あ り ま す。
- 6:21そ れ が え え、 qiita に あ る ア ド ベ ン ト カ レ ン ダ ー な ん で す け れ ど も、 本 番 環
- 6:26境 な ど で や ら か し ち ゃ っ た 人、 ア ド ベ ン ト カ レ ン ダ ー 2025 と い う も の が あ
- 6:30り ま す。 こ ち ら の ポ ッ ド キ ャ ス ト の 概 要 欄 に
- 6:34貼 っ て お き ま す が。 こ ち ら で す ね、 結 構 前 か ら や ら れ て い
- 6:38る 取 り 組 み で。 え え、 2019年 ぐ ら い か ら や ら れ て る の
- 6:41か な。 も っ と 前 か ら な の か な、 こ れ 何 か と い
- 6:43う と で す ね、 本 番 環 境 で、 ま あ、 過 去 様 々 な 作 業 が 行 わ れ て き ま し た。
- 6:49ま あ や っ ぱ り で す ね、 い ろ ん な 事 故 が 起 き て ま す。
- 6:52で、 そ れ を で す ね、 実 際 に 起 こ し た 人、 も し く は そ の 近 く に い た 人 が で す ね、
- 6:57赤 裸 々 に な ぜ 起 き て し ま っ た の か、 そ の 結 果 ど う な っ た の か。
- 7:02そ し て ど う い う ふ う に 対 策 を す べ き だ っ た の か。
- 7:05と い っ た こ と に つ い て、 も う 本 当 に 細 か く 書 い て く れ て い ま す。
- 7:09読 ん で い る だ け で も で す ね、 自 分 が そ の シ チ ュ エ ー シ ョ ン に い た ら、 も う 心
- 7:14臓 が キ ュ ッ て な る 感 じ な ん で す け れ ど も、 ま あ、 そ れ ぐ ら い リ ア リ テ ィ が
- 7:17強 い の で、 見 出 し だ け で も で す ね。 見 て い た だ い て、 も し く は タ イ ト ル だ
- 7:21け で も 見 て い た だ い て、 ど う い う 状 況 で ど う い う こ と が 起 こ り 得 る の か、 そ
- 7:26し て 自 分 が そ れ を 起 こ さ な い た め に は ど う す べ き な の か っ て い っ た と こ
- 7:30ろ が 学 べ る と 思 い ま す の で。 ま あ 記 事 た く さ ん あ る の で、 ま あ ア ド
- 7:33ベ ン ト カ レ ン ダ ー ね 30日 分 で 何 年 分 だ 七 年 分 ぐ ら い あ る ん で、 ま あ 200 記
- 7:41事 以 上 は あ る と 思 い ま す の で、 ぜ ひ で す ね、 自 分 の 担 当 し て い る 領 域 だ け で
- 7:46も 見 て い た だ け る と い い ん じ ゃ な い か な と 思 い ま す。
- 7:49は い。 と い う こ と で 今 回 は ま あ ヒ ヤ リ ハ ッ
- 7:51ト と え え 本 番 環 境 で の 障 害 に つ い て お 話 し ま し た。
- 7:56本 番 環 境 で の 紹 介 に で す ね、 遭 遇 す る と。
- 8:00ま あ、 自 分 が 関 係 し て な く て も で す ね。
- 8:02ま あ 原 因 を 特 定 す る と か、 ま あ 実 際 に サ ー ビ ス に 影 響 を 与 え な い 形 で 早 く
- 8:07リ カ バ ー す る と か、 い ろ ん な 総 合 ス キ ル が 試 さ れ る の で、 ま あ 積 極 的 に 関 わ
- 8:12っ て い く こ と を 個 人 的 に は お 勧 め し て い ま す。
- 8:15な お、 も ち ろ ん で す ね。 ま あ 自 分 に 関 係 な い か ら や ら な い っ
- 8:18て い う の も、 ま あ 一 個 は 選 択 し て あ る ん で す け ど も。
- 8:20こ う い う ね、 シ チ ュ エ ー シ ョ ン で ね、 や っ ぱ り こ う、 時 間 制 限 あ る 中 で 切 り
- 8:25つ い た 環 境 で あ る と、 な ん か ね、 謎 の ス キ ル が 伸 び る ん で す よ。
- 8:29ね。 ま あ 度 胸 だ っ た り だ と か、 ま あ 問 題 を
- 8:31こ う 切 り 分 け る 力 だ っ た り だ と か、 ま あ、 そ う い う の っ て 結 構 あ り ま す の
- 8:35で、 ぜ ひ で す ね、 あ の、 皆 さ ん そ う い う 経 験 ま だ さ れ て な い よ と い う 方 は で
- 8:39す ね、 運 用 の 現 場 に 飛 び 込 ん で み て で す ね、 こ う 障 害 解 析 と い う か、 問 題 が
- 8:43あ っ た ら 首 を 突 っ 込 む と い う ム ー ブ を し て み る と い い ん じ ゃ な い か な と
- 8:47思 い ま す。 こ の ポ ッ ド キ ャ ス ト は ハ ッ シ ュ タ グ
- 8:50ビ ュ ア イ テ ィ ー で 皆 様 か ら の 感 染 や コ メ ン ト 募 集 し て お り ま す。
- 8:53ま た チ ャ ン ネ ル の 概 要 欄。 に あ。
- 8:55り。 ま す。
- 8:55グ ー グ ル フ ォ ー ム の リ ン ク か ら の ご 投 稿 可 能 で す あ り が と う ご ざ い ま し
- 8:59た