2024/3/8-3/15 障害報告

約1週間ほど、下記の問題が発生したまま気づいておりませんでした。

サービスをご利用の方にご迷惑をおかけし、たいへん申し訳ありませんでした。

障害発生日時

2024/3/8 12時半 から 3/15 21時まで

障害の内容

障害原因

  • サービス提供インフラ内において、3/8昼に交換したL2スイッチで、802.1Q VLANのPVIDを設定し忘れた結果、untaggedな全パケットが破棄されていた。
  • 異常通知のメールが届いていたにもかかわらず、完全に気づいていなかった

再発防止策

  • 異常通知がメールだけでは足りないので、もう一つリアルタイム性のある手段を確保する => Discordへの通知を仕掛けた
  • クリティカルなネットワーク構成の変更をノリと勢いでやらない

責任者に対する処分

  • エミリ剥き放題1週間