「一時停止」は「進め」？ AIを騙す近未来

　セキュリティの世界ではしばしば、「攻撃と防御はいたちごっこ」と言われます。この十数年を振り返ってみると、新しい対策製品が登場してしばらくするとそれをかいくぐる新たな攻撃手法が考え出され、またそれを踏まえた対策が登場し……といった歴史の繰り返しでした。

　こうした構図を変える可能性があると期待され、多くのセキュリティ製品が採用している機械学習（ML：Machine Learning）や人工知能（AI）といった技術もまた、いたちごっこの歴史の1ページになるかもしれません。

●「最初の被害者」救えるか　ML／AIへの期待

　多くのセキュリティ対策製品は「既知」の脅威の特徴を抽出し、それをまとめた「シグネチャ」（あるいはパターンファイル）と比較することによって脅威を検出する方式を長く採用してきました。皆さんが手元のPCにインストールしているウイルス対策ソフトが好例です。既知の脅威を確実に処理するには、この方式が合理的だったのです。

　ただ、このやり方では「最初の被害者」はどうやっても救うことができません。攻撃側はそれを見越して、次々に新種・亜種のマルウェアを作成してはばらまくというやり方で、対策ソフトの網をかいくぐろうとしてきた、というのがここ数年の流れです。防御側もこの限界を補うべく、疑わしいファイルの挙動を観察して攻撃行動にありがちな動きがあれば警告する「振る舞い検知」や、攻撃されても問題ない環境を作ってファイルを実行・解析する「サンドボックス」といった方式を採用していますが、攻撃側はそれらもまた織り込んだ上で、検知をかいくぐる偽装工作を実装しています。

　そんな中、既存の対策を補う最新の技術として注目されてきたのがML／AIです。

　どんなに優れたリサーチャーであっても、24時間ずっと解析し続けることは人間にはできません。けれどML／AIならば、人間にはとうてい処理しきれない量の攻撃行動のデータと通常のデータ、両方を学習し続けることができます。こうして脅威に関するモデルを作り上げることができれば、これまで知られていなかった新たな攻撃手法やゼロデイ脆弱性を狙うものも含め、マルウェア特有のパターンを見つけ出すことができるのではないか——そんな期待から、特にこの2～3年で多くのセキュリティベンダーがML／AI技術の搭載を宣言してきました。

　このやり方は、常にパターンファイルをアップデートし続ける必要がないため、シグネチャ配信はおろか、パッチの適用も困難なIoT機器や産業制御システムを保護する手段としても期待されています。

●「一時停止」を「進め」とクルマに誤認識？　攻撃者も利用

　ですが、それでもやはり「いたちごっこ」の運命からは逃れることは難しそうです。攻撃側もまたML／AI技術に着目し、守りの網をかいくぐる新たな手を講じてくる可能性があります。

　セキュリティベンダーの側もそのことを認識し、リサーチに取り組み始めています。米McAfeeは、10月に米国で開催した年次カンファレンスの場で、AIの力を借りた「人とマシンの共同作業」の重要性を訴えましたが、同時に「敵（攻撃者）がAIを使えばどうなるか」についても展示会場で検証していました。

　展示されていた例は2つありました。1つは、多くの特徴点を抽出することを逆手に取って、悪意あるファイルが検出エンジンをすり抜けるというもの。もう1つは、イメージデータにノイズデータを加えることで画像認識エンジンに誤認識を引き起こさせるもので、いずれも昨年から盛んに議論されている手法です（参考：Attacking Machine Learning with Adversarial Examples）。

　デモンストレーションでは、オリジナルの画像に特定のノイズを加えると、人が見れば一目で違いに気が付くのに、画像認識エンジンには同一のものとして認識させたり、全く違う意味を持つ画像として認識・処理させたり、といっただましのテクニックを紹介していました。将来、自動運転が現実のものとなったとき、「一時停止」の標識を「進め」とクルマに誤認識させてしまうといった悪用のシナリオも考えられるといいます。

　ブースの担当者は「AIはとてもスマートだし、高速な処理を可能にしてくれるが、脆弱なところもある」と述べ、学習データを慎重にインプットするだけでなく、サンプルの適切な分類や特徴点の偏りを補正する方法も含め、こうした脆弱性に強いAIの開発を進めていきたいと説明していました。

●合成音声で認証システムをだます

　米国で開催されたセキュリティ会議「Black Hat」やハッカーカンファレンス「DEF CON 26」でも、ML／AIは重要なトピックの1つでした。Salesforceのジョン・シーモア氏（シニアデータサイエンティスト）とアゼム・アキル氏（セキュリティエンジニア）は、深層学習（ディープラーニング）技術を用いて高品質の合成音声を生成し、スマートフォンなどでも使われ始めた音声認識・音声認証システムをだます手法について紹介していました。

　両氏が採用したのは、まずオープンソースの音声合成モデルを活用し、大量のトレーニング用データで学習させて適正なモデルを生成した後、ターゲットの音声のデータセットに差し替えることで、狙いの人物に似せた音声を合成するというアプローチです。このとき、学習用音声データの再生速度を変えてデータ・オーギュメンテーション（データ拡張）を加えることで、ターゲットの声に似せた合成音声をより効率よく生成でき、音声認証システムをかいくぐれるといいます。

　当然ながらデモンストレーションは英語によるものでした。ただ「ごく基本的な可能性を示しただけだし、他の言語ではまだ試していないけれど、原理的には日本語、中国語など他の言語でも可能だろう」とシーモア氏は述べています。

　同じように、ML／AI技術を悪用することで、フィッシングやソーシャルエンジニアリングがより巧妙化する可能性も考えられるといいます。過去の便利で強力な技術がそうだったように、ML／ALも、私たちを守ってくれる手段になると同時に、新たな攻撃手法に用いられる恐れもあるのです。