みずほ銀行のシステム障害（2/28～3/12）の調査報告書、経営陣も現場もエンジニアも全てが残念

トレンド

2021.06.16

みずほ銀行のシステム障害で経営陣が頭を下げている写真パネルを並べるのちょっと面白い。#wbs pic.twitter.com/DO7XcGF2Ix

— りょうちん (@pullup0721) June 15, 2021

https://www.tv-tokyo.co.jp/mv/wbs/newsl/post_230033/

ぺんつー@pen2

167ページもあるw やばい

2021/06/16 00:32:47

2021/06/15 みずほフィナンシャルグループ
システム障害特別調査委員会の調査報告書の受領について
https://www.mizuho-fg.co.jp/release/20210615release_jp.html
・表題 2ページ
・目次 6ページ
・本文 159ページ

ここめちゃくちゃ面白いな、完全にこれじゃん pic.twitter.com/H7YbZ2bQBi

— なゆ (@nayuneko) June 15, 2021

・「緊急一報メール」は、10時15分、MHBKの企画管理部、事務企画部、IT・システム統括第一部、個人マーケティング推進部、CC部等の担当者に送信され、さらに、RB業務部、RB推進部に回付された
・このメールから顧客影響を想起して顧客対応に動く担当者はいなかった
・しかし、実際に「緊急一報メール」を受領しその後対応に当たったいずれの部署も、顧客影響に対する認識が十分でなく、適時に顧客影響の拡大を防止する対応をとることができなかった

しあわせアフロ田中全10巻

ATMセンターは「緊急一報メール」でわりと正確に情報を伝えていた。「ATM系自体は監視上は正常」「しかしATMエラー多発」と。普通ならこれ読めば「何かクッソおかしなことが起きている」と思うんだけどさあ。報告書ではこれも「正常化バイアスを助長しかねない表現」と片付けてしまっている。

— ktgohan＠元楽天圏外 (@ktgohan) June 15, 2021

地獄絵図すぎへん？ pic.twitter.com/rHsRbdUm5i

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

ATM内に通帳・カードが取り込まれる事象が発生するとともに、ダイレクトによるものを含めて定期性預金システムにアクセスし更新取引を行った顧客や
e- 口座一括切替処理対象の一部顧客は CIF 排他状態となり、CIF 排他が解除されるまで全ての更新取引等ができない状態となった

つらいわー。リテール撤退したほうがいいんでは？ pic.twitter.com/4Qs6V8Y9IW

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

あ、すみません。単なる設計ミスでした(邪悪すぎるだろ) pic.twitter.com/a1VjUVX00s

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

つれぇわ pic.twitter.com/7gA5QsWPjP

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

なゆ@nayuneko

休みの日に障害対応なんてしたくない上、実務を担当するのはやっすい給料で働いてる孫請け派遣社員だろうからそりゃこうなるだろうなって感じしかしない

2021/06/15 14:00:48

障害事象ランクを過小評価した件はもっとひどい。『システム復旧対応が後手に回る中で、続報の発信に思いが至らず』『IT・システムグループを担当する役員は、「早く伝えることを意識し、その判定内容は厳密に考えていなかった」旨を述べている。』

こども銀行じゃないんだからさあ…

— ktgohan＠元楽天圏外 (@ktgohan) June 15, 2021

おまけにMHRT改編の際に故障統制を担う部署がどっか消えてしまい、報告書ですら『故障統制の役割が引き継がれた事実が確認できず、重大故障時に必要な故障統制の役割を担う部門が欠落した可能性がある』という表現にされている。可能性て。可能性なのかそれ。調べられんかったんか。

— ktgohan＠元楽天圏外 (@ktgohan) June 15, 2021

リテール本部でこれだからなぁ　やはりリテール部門は解体すべきだわ。 pic.twitter.com/WjfyiurTz1

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

ktgohan＠元楽天圏外@ktgohan

みずほの2月28日の障害、非常対策PTの設置そのものが17時って致命的すぎるなあ…

2021/06/15 13:23:48

みずほ広報無能伝説 pic.twitter.com/dr3ZkzvjLc

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

ktgohan＠元楽天圏外@ktgohan

「切り戻せない」「回復しない」「閉塞で解決しない」時点で非常体制とる事案というか、他行ではあり得んわ…

2021/06/15 13:25:05

BKもIRもこどもなのか？お前らこどもなのか？中学生レベルなのか？？

— ktgohan＠元楽天圏外 (@ktgohan) June 15, 2021

というわけで、2月28日事案についてまとめると

(1)MINORI構築時に性能改善のためにIndexをインメモリ化した部分があったけど、みんな忘れてるか知らなかった

(2)小銭が欲しくて、3月末に間に合うようにe-口座をリリースした。多分大丈夫じゃね？と思ってテストはやらなかった。知らんけど

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

(3)(1)の部分を(2)が見事に踏んで障害が発生。で、自動で取り消されるはずが無応答になった障害発生部分を要因として一種のデッドロックになった。二重障害は想定もしてないしテストもしてなかった。

(4)エラーがいっぱいでて、よくわからんけどリミッター解除した直った経験があるので解除してみた。

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

(5)解除したらさらに状況が悪化したので、みんなに連絡しはじめた。

(6)メールみたけど、なんかよくわかんなかったのでとりあえずヨシとした。リモートアクセスもログ全部みれへんし

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

(7)ATMがどんどん停止してる中で、これはやばいですよ、ホームページで告知しないと、承認お願いします！とメールおくったけど、誰も無反応だったから掲載できなかった。

(8)ATM障害はコールセンターが対応してるなら任せとけば、と思ったら、1件15分対応にかかるのに当日7人しかいなかった。

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021

(9)1000件くらいのBCPシナリオがあったけど、そのうち休日にトラブルが発生する可能性を考慮したものが1件しかなかった。

(10)上層部にエスカレーションする仕組みが不十分だった。エスカレーションしても判断する仕組みが機能してなかった。

— (๑╹◡╹๑) (@tsuchie88) June 15, 2021