エフセキュア、AI推薦の悪用の危険性について警告

~攻撃者によるAIの操作や意図的な偽情報の拡散について実験~

2021年6月25日: 先進的サイバー・セキュリティ・テクノロジーのプロバイダであるF-Secure (本社: フィンランド・ヘルシンキ、CEO: Juhani Hintikka、日本法人: 東京都港区、以下、エフセキュア) は、ソーシャルメディアにおけるAI推薦に関する実験を行い、その結果、敵対する人/企業/政府を陥れるための意図的な偽情報や陰謀論の拡散が操作可能なものであったことを発表しました。

AIによる推薦システムは、検索エンジン、オンラインショッピングサイト、ストリーミングサービス、ソーシャルメディアなど、今日私たちが享受している多くのオンラインサービスで使用されています。しかし、人々がインターネット上で見るものやすることに対する影響力が大きくなっていることから、意図的な偽情報の拡散や陰謀論の促進に積極的に利用されるなど、様々なタイプの悪用に対する懸念が生じています。


エフセキュアの人工知能研究センターのシニア・リサーチャーであるAndy Patel (アンディ・パテル) は最近、単純な操作技術がソーシャルメディア上のAI推薦にどのような影響を与えるかを知るために、一連の実験を行いました。

「TwitterをはじめとするSNSは、多くの人々やグループが様々な主張を押し付ける戦場となっています。その中には、有機的な会話や広告だけでなく、正当な情報に対する信頼を損ない、低下させることを目的としたメッセージも含まれています。これらの『工作員』がどのようにAIを操作できるかをリサーチすることで、AIが現実的にできることの限界を明らかにし、理想的にはどのように改善できるかを明らかにすることができます。」


PEWリサーチセンターが2020年末に実施した調査*1によると、アメリカ人の53%がソーシャルメディアからニュースを入手していることがわかりました。18歳から29歳の回答者は、最も頻繁にニュースを入手する情報源としてソーシャルメディアを挙げています。一方、ソーシャルメディアを情報源とすることに潜在的なリスクがあることも調査で明らかになっています。2018年に行われた調査*2では、虚偽の内容を含むTwitterの投稿がリツイートされる確率は通常の投稿より70%も高いことが判明しています。

(ターゲット・アカウントがトップ3の推薦に表示されたコントロール・セットの割合)

Patelは、Twitterからデータを収集し、協調フィルタリングモデル (機械学習の一種で、過去のやりとりに基づいてユーザーとコンテンツの類似性を符号化する) を学習させて、推薦システムに利用することを試みました。その後、特定のアカウント間でリツイートが行われたデータ (ポイズンデータ) を用いてモデルを再学習させ、推奨度がどのように変化するかを調べる実験を行いました。

リツイートするアカウントを適切に選択し、リツイートを行うアカウントの数と公開するリツイートの数を変化させることで、ごく少数のリツイートであっても、注入されたリツイートによってコンテンツが共有されたアカウントを推奨するように推薦システムを操作することができました。

今回の実験は、ソーシャルメディアなどのウェブサイトがユーザーにおすすめ情報を提供する際に採用するであろうAIの仕組みを簡略化して行ったものですが、Patelは、Twitterをはじめとする多くの大手サービスが、現実世界で既にこうした攻撃に対処していると考えています。
「私たちは、実際の攻撃がどのように行われるかを知るために、簡略化したモデルに対してテストを実施しました。ソーシャルメディアのプラットフォームは、今回の研究で実証されたものと似たような攻撃にすでに直面しているものと思いますが、これらの運営企業は結果だけを見て、それがどのように機能するかにはさほど注意を払っていないため、こうしたことが現実に起こっていると信じるのは難しいのではないでしょうか。」

(左: Andy Patel 右: Matti Aksela)

エフセキュアのAI担当バイスプレジデントであるMatti Aksela (マッティ・アクセラ) は、AIのセキュリティに関する潜在的な課題を認識し、対処することが重要だと語っています。
「今後、AIへの依存度が高まっていく中で、潜在的な悪用からAIを守るために何をすべきかを理解する必要があります。私たちが依存しているサービスの多くをAIや機械学習が担うようになると、その結果を信頼できるものとするために、得られる利益に加えて、そのセキュリティ上の強みと弱みを理解する必要が出てきます。セキュアなAIは、信頼できるAIの基盤なのです。」

Patelは、実験の詳細なレポートと、研究を再現するために必要なコードやデータセットをGitHubで公開しています。
https://github.com/r0zetta/collaborative_filtering
また、本リサーチの詳細は以下のエフセキュアブログページでご覧いただけます。
https://blog.f-secure.com/ja/ai-recommendations-manipulations

*1 https://www.pewresearch.org/fact-tank/2021/01/12/more-than-eight-in-ten-americans-get-news-from-digital-devices/

*2 https://science.sciencemag.org/content/359/6380/1146

エフセキュアプレスページ:
https://www.f-secure.com/jp-ja/press

エフセキュアについて

エフセキュアほどサイバーセキュリティを熟知している企業は市場に存在しません。1988年の設立以来、エフセキュアは30年以上にわたりサイバーセキュリティの技術革新を牽引し、数千社の企業と数百万人のユーザーを守ってきました。エンドポイントの保護と脅威の検出・対応において他企業を圧倒する実績を持つエフセキュアは、巧妙なサイバー攻撃やデータ侵害からランサムウェアの感染の蔓延までを含む、あらゆる脅威から企業と個人ユーザーを保護します。エフセキュアの先進テクノロジーは、機械学習の力と世界的に有名なセキュリティラボのエキスパートの持つ専門知識を組み合わせた、『Live Security』と呼ばれる独特のアプローチに基づくものです。ヨーロッパにおいて、エフセキュアは他のどのセキュリティ関連企業よりも多くのサイバー犯罪捜査に携わっています。エフセキュア製品は全世界200社以上のブロードバンド/モバイル事業者と数千社にのぼるセールスパートナーを通じて販売されています。


エフセキュアは本社をフィンランド・ヘルシンキに、日本法人であるエフセキュア株式会社を東京都港区に置いています。また、NASDAQ ヘルシンキに上場しています。Twitter @FSECUREBLOG でも情報の配信をおこなっています。

f-secure.coom | twitter.com/fsecure | linkedin.com/f-secure

F-Secure media relations

秦 和哉 (Kazuya HATA)

PR Manager, Japan

+81 3 4578 7745
japan-pr@f-secure.com

プレス登録

F-Secureからのリリース配信をご希望の方は、こちらからご登録ください。

お客様の個人データは、当社の法人向けビジネス プライバシー ポリシーに従って処理されます。