ハードウェアの障害でデータベースへの書き込みが出来なくなったと告知されている障害ですが、告知されている内容から推測すると、ゲームサーバで一時的にユーザーデータを保持しておきそれをデータベースへ定期書き込みを行うわけですが、多分書き込み用と読み込み用のデータベースが別になっておりその二種類のデータベース間においてレプリケーションが失敗していたとするとこのような現象が発生するかもしれません。
分散していないデータベースであればこの時点でログイン障害が発生して緊急メンテをやっていたかもしれませんが、書き込み側の障害であれば完全なバックグラウンド処理の為、一見正常動作しているように見えますが、ゲームサーバーを止めた後にデータの不整合や破壊に気づくことがあります。
・レプリケーションが失敗した場合。
書き込み用データベースの内容が信用できないものになり、更新の止まった読み込み用データベースで運用再開する。
・書き込み用データベースがダウンしている場合
ゲームサーバーがログアウトしたユーザーのデータを一時的に保持しているのであれば、次の更新時までに書き込みデータベースを復旧すれば影響なし。そうでなければデータベースの中身が更新されないため最後に更新した状態からスタート。(ゲームサーバー内の最新データが消失する点においてはこれも巻き戻りに見える)
・中途半端にレプリケーションがおかしい場合
これだと最悪で、どこまでのデータが正しいのか調査が必要になります。また読み書き両方のデータベースのデータが信用できないのでバックアップから復旧するしかありません。今回のケースはこちらだったのかも知れません。
以上はあくまで起こった障害の予測なので鵜呑みにできませんが、問題はサーバ管理の体制が甘く発見が遅れた(というかサーバー停止するまで発見できなかった)事だと思います。監視を放置せずに対応していれば障害発生直後辺りで緊急メンテで停止して影響が少なかったと思います。
その他巻き戻しの日付が違うのに23:40で時間が一致しているのはゲームサーバからデータベースへ更新する時間かデータベースの定期バックアップのどちらかだと思います。
Tyrワールドのゲームデータ巻き戻しならびに補償措置について
12月3日(日)23：40まで巻き戻り
Eirワールドのゲームデータ巻き戻しならびに補償措置について
12月4日(月)23：40まで巻き戻り
システムの失敗事例はいい勉強になるなぁ。
コメントする