復旧は「一部で時間かかるかも」 CEOがシステム障害を陳謝
米IT企業クラウドストライクのジョージ・カーツ最高経営責任者(CEO)は19日、世界各地で生じたシステム障害に関し「深くおわびする」と陳謝した。米NBCテレビの取材に答えた。
カーツ氏は「システムは再起動するとオンラインに戻り、動作する」と説明。一方で「自動的に回復しない一部のシステムについては、復旧に時間がかかるかもしれない」とした。
各国の報道によると、アメリカン航空やデルタ航空など米国の大手航空会社は19日、通信障害を理由に早朝から運航を見合わせた。ドイツの空港でも航空機が一時発着できなくなったほか、トルコ航空は80便以上の運航を取りやめた。UAEのドバイ国際空港でも複数の航空会社のチェックインシステムに影響した。
英国ではエディンバラ空港の搭乗ゲートに不具合が発生。病院では患者の情報にアクセスできず診察に影響した。
オーストラリアでは、公共放送ABCのテレビ放送で一時映像が流せなくなった。インドやシンガポールなどのアジア諸国でもさまざまな被害が出た。
2024年7月19日に発生したWindowsサーバーの障害による影響について
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSより対処方法等の更新がありました。
<対処方法>
7/19 2:35 AM PDT(日本時間 7/19 18:35): Crowdstrike エージェント(csagent.sys)のアップデートに関連して、Windows インスタンス、Windows Workspaces、および Appstream アプリケーションの接続性の問題や再起動が発生し、Windows オペレーティングシステム内で停止エラー(BSOD)が発生する問題の解決に引き続き取り組んでいます。AWSサービスとネットワーク接続は正常に動作しています。
以前にご案内している復旧手順は実行可能な方法ですが、EC2インスタンスの再起動にて復旧が成功しているお客様もいらっしゃいます。
CrowdStrike は、セーフモードやルートボリュームの切り離しを必要とせず、再起動時に「*.sys」ファイルを置き換えるアップデートを配布されました。
AWS では影響を受けたインスタンスの復旧に取り組んでいますが、再起動することですぐに復旧する可能性があります。
詳細情報が入手可能になり次第、お知らせいたします。
(AWS Health Dashboard 原文)
July 19 2:35 AM PDT: We continue to work on resolving the connectivity issues and reboots of Windows Instances, Windows Workspaces and Appstream Applications related to a recent update to the Crowdstrike agent (csagent.sys), which is resulting in a stop error (BSOD) within the Windows operating system. AWS services and network connectivity continue to operate normally.
While the recovery steps posted below are still viable paths, some customers are seeing success with a reboot of their EC2 instance. CrowdStrike have deployed an update that will replace the "*.sys" file during a reboot with no need to Safe Mode or the detachment of the root volume.
While we work to recover affected instances, a reboot may provide immediate recovery.
We will post more information once it becomes available.
(2024年7月19日 20:00更新)
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSより対処方法等の更新がありました。
<対処方法>
July 19 12:20 AM PDT(日本時間 7/19 16:20): Crowdstrike エージェント (csagent.sys) の最近の更新に関連して Windows EC2 インスタンス、Windows Workspaces、および Appstream アプリケーションの接続の問題と再起動が発生し、 Windows オペレーティング システム内で停止エラー (BSOD) が発生するという報告を確認しています。
AWS のサービスとネットワーク接続は引き続き正常に動作します。
CrowdStrike はこの問題の回避策を提供しています。これには次の手順を実行する必要があります。
セーフ モードまたは Windows Recovery Environment で起動します。
次のディレクトリに移動します: C:\Windows\System32\drivers\CrowdStrike
ファイル「C-00000291*.sys」を見つけて削除します。
マシンを再起動します
これらの手順は AWS 以外の Windows サービスで使用できますが、CrowdStrike 問題の影響を受ける Windows EC2 インスタンスまたは Windows Workspaces には適用されません。
EC2 インスタンスの場合、現在、回復へのパスが 2 つあります。
まず 1つ目として、お客様は 9:30 PM PDT(日本時間 7/19 13:30) より前に取得されたスナップショットまたはイメージから EC2 インスタンスを再起動できます。また、CrowdStrike エージェントの問題の原因となったアップデートが自動的にアップデートされなくなっていることも確認できました。
次に 2つ目として、次の手順に従って影響を受けるインスタンス上のファイルを削除します。
Create a snapshot of the EBS root volume of the affected instance
Create a new EBS Volume from the snapshot in the same availability zone
Launch a new Windows instance in that availability zone using a different version of Windows
Attach the EBS volume from step (2) to the new Windows instance as a data volume
Navigate to \Windows\System32\drivers\CrowdStrike\ folder on the attached volume and delete "C-00000291*.sys"
Detach the EBS volume from the new Windows instance
Create a snapshot of the detached EBS volume
Replace the root volume of the original instance with the new snapshot
Start the original instance
(当社による和訳)
影響を受けるインスタンスの EBS ルート ボリュームのスナップショットを作成します
同じアベイラビリティ ゾーン内のスナップショットから新しい EBS ボリュームを作成します
異なるバージョンの Windows を使用して、そのアベイラビリティ ゾーンで新しい Windows インスタンスを起動します
手順 (2) の EBS ボリュームをデータ ボリュームとして新しい Windows インスタンスに接続します
接続されたボリュームの \Windows\System32\drivers\CrowdStrike\ フォルダーに移動し、「C-00000291*.sys」を削除します
新しい Windows インスタンスから EBS ボリュームをデタッチします
デタッチされた EBS ボリュームのスナップショットを作成します
元のインスタンスのルート ボリュームを新しいスナップショットに置き換えます
元のインスタンスを起動します
Amazon Workspaces の場合は、ワークスペースの最近のバックアップに復元することをお勧めします。
さらに詳しい情報が入手可能になり次第、本ページにてご連絡いたします。ご迷惑をお掛けし大変申し訳ございません。
(2024年7月19日 18:00更新)
現在、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSから以下発表があり、AWS側でも現在調査を進めている状況となっております。
CrowdStrike エージェント (csagent.sys) の最近の更新に関連しており、Windows オペレーティングシステム内で停止エラー (BSOD) が発生
EC2 インスタンスまたは Workspaces 環境で CrowdStrike を使用しているお客様は、このイベントの影響を受ける可能性があります
AWSからの報告を待ちつつ、弊社でも調査を進めておりますが、復旧まで時間を要する見込みとなっております。 状況が変わり次第お知らせいたしますので、 ご迷惑をお掛けし大変申し訳ございませんが、今しばらくお待ち下さいますようお願い申し上げます。
世界中でWindowsのブルスクが多発。原因はセキュリティソフトの更新
Windows PCでブルースクリーンが発生したという報告がSNS等で多数報告されている。日本以外の地域でも同様の問題が発生しているようだ。
ブルースクリーンの発生にともなって、再起動ループに陥るケースなども報告されている。弊誌においてもBitLockerや回復に関する記事のアクセスが増えており、広く影響が出ているようだ。
原因はCrowdStrikeが提供するセキュリティソリューションに含まれる「CrowdStrike Falcon Sensor」のアップデートと見られ、CrowdStrikeでは変更を巻き戻すとともに回避策を公開。セーフモードまたはWindows回復環境で起動し、特定のファイルを削除することで通常の状態に戻せるとしている。
ただし、セキュリティソリューションが原因であることから、影響を受けているデバイスは組織の管理下にあるものが多いと考えられる。管理者の指示に従って対応を進めてほしい。
本件はCROWDSTRIKE社から復旧手順が公開されています。
回避策の手順:
1.WindowsをセーフモードまたはWindowsリカバリー環境で起動します
2. %WINDIR%\System32\drivers\CrowdStrike ディレクトリに移動します
3.「C-00000291*.sys」に一致するファイルを見つけて削除します。
4.ホストを通常どおり起動します。
*Bitlockerで暗号化されたホストでは回復キーが必要になる場合があります。
なお、上記手順はパソコンが起動しないシステム担当者向けであり、所属企業の情報システム部等の正式な指示を待つことを推奨します。
また、個人の判断でWindowsを初期化しCROWDSTRIKEが動作していない状態で使うことはセキュリティリスクを高めることになるのでご注意ください。
らくらくEDRプレミア(CrowdStrike)Windows版障害
らくらくEDRプレミア(CrowdStrike)をご利用いただきまして、ありがとうございます。
現在、以下の障害は解決済みです。
Windows版センサーをインストールしているマシンがブルースクリーンとなる障害が発生いたしました。(Mac版、Linux版は問題ありません)
ご利用のお客様には大変ご迷惑をおかけしておりますことを深くお詫び申し上げます。
タイトル | らくらくEDRプレミア(CrowdStrike)Windows版障害 |
---|---|
障害日時 | 2024年7月19日(金)13:09 ~ 14:27 |
障害内容 | Windows版センサーをインストールしているマシンにて、ブルースクリーンが発生することがあります。 |
対象 | ・CrowdStrike Windows版センサーをご利用中の場合 ・C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys のタイムスタンプが 13:09(UTC 4:09)の場合 |
原因 | CrowdStrike社は、この問題に関連するコンテンツのデプロイを特定し、それらの変更を元に戻しました。 まだブルースクリーンが発生する場合は、以下の暫定対処手順により、この問題を回避できます。 |
復旧日時 | 2024年7月19日(金)14:27 C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys のタイムスタンプが 14:27(UTC 5:27)あるいはそれ以降の場合は、復旧しております。 |
暫定対処手順 | 1) WindowsをセーフモードまたはWindows回復環境で起動 a. コンピューターを再起動し、起動時にF8キーを繰り返し押す(機種によってはF2やDELキーの場合もあります) b. 「詳細ブートオプション」画面から「セーフモード」あるいは「回復環境」を選択 2) C:\Windows\System32\drivers\CrowdStrike ディレクトリに移動 3)「C-00000291*.sys」に一致するファイルを見つけて削除 4) コンピューターを再起動 |
暫定対処手順(パブリッククラウドの場合) | 1) OSディスクボリュームをデタッチします 2) 次の手順を進める前に、スナップショットあるいはバックアップを取得します 3) ボリュームを新しい仮想サーバーにアタッチ(マウント)します 4) C:\Windows\System32\drivers\CrowdStrike ディレクトリに移動 5)「C-00000291*.sys」に一致するファイルを見つけて削除 6) ボリュームを新しい仮想サーバーからデタッチします 7) 元の仮想サーバーに、ボリュームを再アタッチします |