ニュース / News

ニュースリリース

AIが生成したフェイク顔映像を自動判定するプログラム 「SYNTHETIQ VISION」をタレントのDeepfake映像検知に採用
~フェイク顔映像の真偽自動判定では国内最初の実用例~

 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(NIIエヌアイアイ、所長:喜連川 優、東京都千代田区)のシンセティックメディア国際研究センター長の越前えちぜん いさおと副センター長の山岸やまぎし 順一じゅんいちの研究チームが開発した、AIが生成したフェイク顔映像の真偽を自動判定するプログラム「SYNTHETIQシンセティック VISIONビジョン: Synthetic video detector」を株式会社サイバーエージェント(サイバーエージェント、代表取締役:藤田 晋、東京都渋谷区)が採用し、タレント等の著名人のDeepfakeディープフェイク映像検知で実用化することになりました.NIIは情報学分野における研究成果を社会問題解決のために応用、展開する社会実装に取り組んでおり、今回の「SYNTHETIQ VISION」の実用化は、流通する多様なメディアの信頼性確保に寄与するものです。

 本研究成果は、国立研究開発法人 科学技術振興機構(JSTジェイエスティ、理事長:橋本 和仁、東京都千代田区)の戦略的創造研究推進事業 CRESTクレストVoicePersonae: 声のアイデンティティクローニングと保護(研究代表者:山岸順一)」、「インフォデミックを克服するソーシャル情報基盤技術(研究代表者:越前 功)」、およびJST 研究成果最適展開支援プログラム A-STEPエーステップ(トライアウト)の「AIにより生成された顔映像フェイクメディアを検出する技術の確立(研究代表者:越前 功)」により開発されました。

nii_newsrelease_20230113_image1.jpg

<図1>SYNTHETIQ VISIONの概要

 今回、サイバーエージェントが展開しているタレントやアーティストなどの著名人の公式3DCGモデルを制作し「分身」となるデジタルツインをキャスティングするサービス「デジタルツインレーベル」において、NIIが開発した「SYNTHETIQ VISION」を採用することになりました。著名人のDeepfake映像の悪用を検知する目的に導入するもので、AIにより生成されたフェイク顔映像を真偽自動判定する技術が、実サービスに導入される国内初めての事例となります(※20231月時点 NII調べ)。

 近年、顔、音声、自然言語などの人間由来のデータを大量にAIに学習させることで、本物と見紛う顔映像、音声、文章といった「シンセティックメディア」の生成が技術的に可能となりました。このような技術には、芸術などの表現活動や工学的なシミュレーション、バーチャルリアリティといった活用で私たちの社会を豊かにすると考えられます。反面、悪用された場合には詐称や情報操作などが起きる可能性もあります。とりわけ、映像中の人物の顔を他人の顔に置き換えたDeepfake映像による偽情報の流布が、現在では社会問題になっています。

 このような現状に対応すべく、NIIではDeepfake映像の真贋判定を行う深層学習モデルを研究してきました(*1)(*2)(*3)。このモデルでの判定方法は大量のデータに基づく自動識別によるもので、人間による分析等を一切必要としない手法です。さまざまな画質の映像を学習しているため、圧縮やダウンコンバージョンなどのメディア処理で画質が低下した映像でも一定の信頼度による判定を行うことができます。

 しかし、本技術を実際の映像に適用して真偽判定するには、複数の高度な深層学習技術を直接操作できる技術レベルが必要でした。そこで、他のアプリケーションにも本技術を容易に導入できるパッケージとして、真贋判定を行う映像をサーバーにアップロードし、判定結果を示した映像をダウンロードするまでの全てのプロセスを利用可能なプログラム「SYNTHETIQ VISION」を開発しました(*4)。今回のサイバーエージェントによる本プログラムの導入は、AIを活用したサービス「AI as a service, AIaaS」として実現した事例となります (*5)

 NIIは情報学分野における研究成果を社会問題解決のために応用、展開する社会実装に取り組んでおり、今回の「SYNTHETIQ VISION」の実用化は、流通する多様なメディアの信頼性確保に寄与するものです。NIIシンセティックメディア国際研究センターでは、「SYNTHETIQ VISION」の社会実装を共に推進するパートナー企業を募集しています。

SYNTHETIQ VISION: Synthetic video detector
https://research.nii.ac.jp/~iechizen/synmediacenter/synthetiq

NIIシンセティックメディア国際研究センター:
http://research.nii.ac.jp/~iechizen/synmediacenter/

研究プロジェクトについて

 本研究はJST 戦略的創造研究推進事業 CRESTVoicePersonae: 声のアイデンティティクローニングと保護」(JPMJCR18A6)、「インフォデミックを克服するソーシャル情報基盤技術」(JPMJCR20D3)、およびJST 研究成果最適展開支援プログラム A-STEP(トライアウト) 「AIにより生成された顔映像フェイクメディアを検出する技術の確立」(JPMJTM20LQ)の一環で行われました。

関連リンク

ニュースリリース(PDF版)

AIが生成したフェイク顔映像を自動判定するプログラム 「SYNTHETIQ VISION」をタレントのDeepfake映像検知に採用
~フェイク顔映像の真偽自動判定では国内最初の実用例~


  • (*1) D. Afchar, V. Nozick, J. Yamagishi, and I. Echizen, "MesoNet: a Compact Facial Video Forgery Detection Network," Proc. of the IEEE International Workshop on Information Forensics and Security (WIFS 2018), 7 pages, December 2018 (https://doi.org/10.1109/WIFS.2018.8630761)
  • (*2) DHuy H. Nguyen, Junichi Yamagishi, and Isao Echizen, "Capsule-forensics: using capsule networks to detect forged images and videos," Proc. of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2019), 5 pages, May 2019 (https://doi.org/10.1109/ICASSP.2019.8682602)
  • (*3) Huy H. Nguyen, Fuming Fang, Junichi Yamagishi, Isao Echizen, "Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos," Proc. of the IEEE International Conference on Biometrics: Theory Applications and Systems (BTAS 2019), 8 pages, September 2019 (https://doi.org/10.1109/BTAS46853.2019.9185974)
  • (*4) 2021年9月22日,国立情報学研究所ニュースリリース、「AIにより生成されたフェイク顔映像を自動判定するプログラム SYNTHETIQ: Synthetic video detectorを開発 ~AI動画の生成、フェイクメディアの検知、メディアの信頼性確保の研究を推進~」 (https://www.nii.ac.jp/news/release/2021/0922.html)
  • (*5) 本プログラムを活用したサービスを展開可能な企業に、契約締結に基づきライセンスすることを想定しています。
5654

注目コンテンツ / SPECIAL