「ディープフェイク詐欺から世界を救う⁈ 東大発の世界最高性能技術に迫る!」のサムネイル画像

ディープフェイク詐欺から世界を救う⁈ 東大発の世界最高性能技術に迫る!

2022.08.30

ある日。

カモメはこんな記事が流れてくるのを目撃した。

「ディープフェイクの検出で世界最高性能を達成 ~SBIsでディープフェイク動画の高精度判定を可能に~」

https://www.i.u-tokyo.ac.jp/news/press/2022/202204262039.shtml?fbclid=IwAR0y15flwOUXqy6SF5HFlF0xjSZnw4NrLdcOutjbd86FdlkYN6e10_xxnCo

政治的な喧伝やポルノ映像への悪用などで社会問題化しているディープフェイクを見破る、しかもMicrosoftといった超大企業を超える世界最高性能で。そんな技術が東大にあるという。

「これは取材に行きたい!」

そこで「多分忙しいだろうな(冷汗)」と思いつつダメ元で取材申請したところ、なんと「ぜひ!」と快諾してくださった。(ありがとうございます涙)

というわけで今回の研究を行った山崎研究室の山崎先生と博士1年の塩原さんに今回の研究について話を伺ってきました〜。

今回の研究についてだけでなく、山崎研究室の目指す姿や研究の極意について、いろいろと話していただき、有意義なインタビューになりました!東大生必見!いや、全人類必見!

学生証
  1. お名前:山崎俊彦 准教授
  2. 所属:大学院情報理工学系研究科  電子情報学専攻情報通信メディア学講座
  3. 山崎は「やまざき」じゃなくて「やまさき」だよ!
学生証
  1. お名前:塩原楓 さん
  2. 所属:東京大学大学院情報理工学系研究科 博士1年

噂の世界最高性能の技術とは…

陽気なカモメ
陽気なカモメ

それでは今回の研究について簡単にご説明お願いいたします。

塩原さん
塩原さん

はい、それではこちらのスライドをご覧ください。

陽気なカモメ
陽気なカモメ

(見事なスライドまで用意してくださってありがとうございます)

塩原さん
塩原さん

今回の研究では、ディープフェイクを検出するAIを開発する、ということを行いました。

ディープフェイクを使った犯罪により国内でも逮捕者が出るなど、大きな社会問題にもなってきていますよね。

塩原さん
塩原さん

ディープフェイクと呼ばれる技術の一例を挙げると、例えばオバマさんのビデオをネット上からダウンロードして、右側の人(あのクリス・ロックさんです)の表情をビデオに転移させて、左側のオバマさんの画像を合成して作れるというものがあります。

36秒で明らかになる、衝撃の事実
陽気なカモメ
陽気なカモメ

うわっ、一瞬見ただけでは全然本物との見分けがつかないですね… 

塩原さん
塩原さん

1年半くらい研究すると、ディープフェイクかどうか見るだけで結構すぐ分かっちゃうんですよね〜

陽気なカモメ
陽気なカモメ

え〜!まじっすか!

山崎先生
山崎先生

それ本当に言ってる? 笑笑

ここまでくるともう目が世界最高性能
塩原さん
塩原さん

それはさておき、今回はこのディープフェイクに注目していきたいと思います。ディープフェイクを検出する技術の基盤となる、「画像認識」と呼ばれる分野では、画像を入力してその画像に何が写っているのか判定するものがあります。

塩原さん
塩原さん

画像認識の従来の方法だと、例えばy=f(x)のfがどんな関数になっているのか学習するといったイメージの研究が行われていました。fという関数を学習することによって、どんな画像を入れたとしても、その画像がリアルかフェイクかを判定できるといった仕組みです。

陽気なカモメ
陽気なカモメ

イメージがつきました。fが分かれば、xに何が入ってもyを求められるであろうって感じですよね。

塩原さん
塩原さん

このように、従来の研究では検出AIの構造に焦点を当てていました。しかし今回私たちが行った研究では検出AIに与える訓練データに着目しました。

陽気なカモメ
陽気なカモメ

??? ほうほう???

塩原さん
塩原さん

今までのディープフェイクの検出AIって未知のものや、いわゆる本物に近いような「難易度の高い」フェイクの識別は苦手だったんですよ。やはり既存の方法だと検出AIは訓練データのフェイクを見破ることしかできないんですよね。

陽気なカモメ
陽気なカモメ

検出AI側に着目して、訓練に使用する画像はあまり注目していなかったからなんですね。

塩原さん
塩原さん

そこで、一般性の高い偽造痕跡を持った難しいフェイク画像を使って訓練したら、より「賢い」検出AIを作れるかなってなって。その時に Self-Blended Image (SBI)を提案しました。

陽気なカモメ
陽気なカモメ

Self-Blended Image??? What???

What
塩原さん
塩原さん

まず、一般性の高い偽造痕跡の定義として、偽造の種類を4つに分類し、これらの偽造を再現する疑似フェイクデータを作ります。

出典:塩原さんの作ったスーパープレゼン資料
塩原さん
塩原さん

私たちの方法では、上記の4種類の分類に基づいて、もともと1枚だった写真を微妙に変化させ複数枚にしていきます。この方法で様々なタイプの「フェイク」のような画像(疑似フェイクデータ)を生み出し、これらを練習に使ってAIを訓練しました。

出典:塩原さんの作ったスーパープレゼン資料
塩原さん
塩原さん

実はAIにとって、従来のフェイク画像生成方法である、「異なる顔をブレンドした」画像の認識は分かりやすいんですよね。

塩原さん
塩原さん

一方、SBIは本物の一枚の画像をわずかに変更して作るので、AIにとって検出が難しい。1枚の画像から何枚もの疑似的なフェイク画像を作ることができるので、訓練には非常に役立つのです。これらの難しい疑似フェイク画像を見破るよう、AIを訓練していき、より「賢い」検出AIを作っていきました。

陽気なカモメ
陽気なカモメ

従来の研究手法と少し違った切り口(今回の場合は訓練用のフェイク画像)から研究を続けていくことで、ここまで大きく工夫をすることができるんですね!楽しい!

塩原さん
塩原さん

実は検出AIを訓練する、あるいはそれらの性能を測るためのパブリックデータセットが公開されていて。あるデータセットで訓練した時に、他のデータセットのディープフェイクが検出できるかが重要なのです。

陽気なカモメ
陽気なカモメ

検出AIの性能の測定基準が公開されているんですね!結果はどうでしたか?

塩原さん
塩原さん

公開されているデータはそれぞれ偽造手法・画質・シーンなど、種類も様々です。しかし、それらの様々なデータセットで検証したところ、高精度の検出を記録することができました。ディープフェイクではない(深層学習を使っていない)フェイクも高精度で検出することができました!!

陽気なカモメ
陽気なカモメ

すごい!おめでとうございます!

[広告]

シビアな研究の世界

陽気なカモメ
陽気なカモメ

研究を進めていく中で特に大変だった点は何でしたか?

塩原さん
塩原さん

研究の世界では、仮に同時に考えていたアイデアだとしても、発表するタイミングがほんのちょっと遅いだけで「あなたたち二番手、三番手ですよ。それもう価値ないから。」と評価されなくなるのです。Microsoft、Amazonなどのいわゆる大企業よりも早く発表しなきゃというプレッシャーの中で研究を進めなければならなかった点が大変でしたね。ずっとドキドキしてました。

陽気なカモメ
陽気なカモメ

それはドキドキどころじゃないですね…

魅力工学が魅力的な件について

山崎先生
山崎先生

実はうちの研究室はディープフェイク以外にもいろいろなものを研究しているんですよね。こちらをご覧ください。

陽気なカモメ
陽気なカモメ

え〜!こんなにたくさんの研究を行っているのです?! 「魅力工学」という単語を初めてみました!

山崎先生
山崎先生

例えば一番上に書いてある、「プレゼン・講義・会見・面接などの解析・評価・改善」について説明すると、人間の行うプレゼンをAIが分析し、そのプレゼンにおける改善点などを可視化するものなどがあります。

山崎先生
山崎先生

人間が他人のプレゼンについて評価を行う際、例えばセンスに溢れた人が主観的な判断に基づいて評価を下していくのですが、AIの場合はそうではありません。科学的に分析したデータに基づいてAIが評価していきます。実際このAIを使った方法で利用者のプレゼン能力が上がった例も出てきているのですよ。

楽しそうな山崎教授
陽気なカモメ
陽気なカモメ

それはすごい!説得力がありますね!私も自分のプレゼン能力を本気で改善させてもらいたいです。土下座。

山崎先生
山崎先生

ここに載っていない研究内容もありますが、私たちはディープフェイクのみに集中して研究をしているわけではありません。すべての研究において全力を注いでいるんですよ。

すべてにおいて、本気。

[広告]

最短で人間を最強に

陽気なカモメ
陽気なカモメ

そんな山崎研究室が目指す姿について教えていただきたいです。というか、山崎先生がこの世界に入ったきっかけをお聞きしたいです!

山崎先生
山崎先生

私は「匠の技」に元々興味があって。匠の世界では一子相伝というか、師匠から弟子に対してノウハウが伝えられて、弟子が育っていきます。特に半導体やアナログ回路設計といった分野はまさにその色が濃く、面白いなと思って学生の時は半導体の研究といった物理・電子回路の研究をしていました。

陽気なカモメ
陽気なカモメ

それは意外です!ではなぜ現在は情報の分野で研究を進めていらっしゃるのでしょうか?

山崎先生
山崎先生

逆に自分が匠の世界に入りたいと思った時に、匠の技って人工的に作れたらすごいんじゃないのってなって。今は師匠から弟子に一子相伝という形で技が伝わりますが、そのスキルって言語化ができないんですよね。そこでAIとビッグデータと掛け合わせてみたら、今まで匠の技と呼ばれてきたものを、AIが分析することができるんじゃないかと思い始めました。

陽気なカモメ
陽気なカモメ

面白い発想ですね!

山崎先生
山崎先生

それらを踏まえて、研究室の目標は「AIを使って、最短で人間を最強に賢くする」ことです。基本的に「AIが代わりに全部何かをやってくれる」ことには全然関心がなくて。AIがどれだけ人間の能力を高くすることができるのかに重点を置いています。

陽気なカモメ
陽気なカモメ

なるほど〜

山崎先生
山崎先生

AIはArtificial Intelligence の訳で認識されていますが、私は   Augmented (強化された)Intelligence を目指しています。

陽気なカモメ
陽気なカモメ

Augmentedですか… この考え方は初めて聞きました!

山崎先生
山崎先生

人間のインテリジェンス、知能を強化する、いわゆる人間拡張の考え方になりますが。とにかく人間の知能をAIを利用して高くするために、それに必要な基礎技術などの研究・開発を行っていきたいです。

学生としてのあるべき姿とは

陽気なカモメ
陽気なカモメ

そんな山崎先生のイメージはどうでしょうか?

塩原さん
塩原さん

学生一人一人に向き合う時間が長いんです。どれだけ忙しくても、毎週の個人面談や全体ミーティング、そして学生の論文の添削まで、すべてに丁寧に対応してくださいます。

また、どの研究に対しても平等に接しているなと思います。将来は山崎先生のような研究者になりたいと心の底から思います。

山崎先生
山崎先生

照れるな〜

陽気なカモメ
陽気なカモメ

いいですね〜 逆に山崎先生から見た塩原さんはどんな感じでしょうか?

山崎先生
山崎先生

お酒の場じゃないのにこんな話して何か恥ずかしいな〜笑笑

塩原くんは根性がありますね。う〜ん、なんか陳腐な言葉になっちゃうけど、努力をしたからって必ず成功するわけじゃないけど、「成功する人はすべからく努力している」っていう言葉があるじゃないですか。努力を怠らず今回の研究のように成果を出すことで、周りに対して良い影響を与えるような、後輩の規範になっていると思いますね。

陽気なカモメ
陽気なカモメ

努力を怠らない重要性は、本当に実感します。

山崎先生
山崎先生

やはり研究室って一人で研究するんじゃなくて、研究室全体で動くことに価値があると思うんですよね。「成果を出すためにあの人はあれだけ努力したんだ」と周りの人に影響を与えたり、逆に自分一人で悩んでいたことを専門性の違う他の人と話すことで助けてもらうことで道がひらけたりします。

塩原くんの場合も一人で悩むのではなく、他の研究室のメンバーとディスカッションしているはずなんですよね。やはり対面で学生同士や先生たちとインタラクションをできるという点で、大学の研究室はオンラインといった他のものに代替できない価値があると考えますね。

陽気なカモメ
陽気なカモメ

本日は貴重なお話、ありがとうございました!

今回のインタビューを通じてディープフェイクだけでなくAIについても興味が湧いた陽気なカモメ。この分野に関する本を読んでみようと思ったり。

みなさんもディープなディープフェイクの世界、さらに探索してみては?

この記事を書いた人
筆者のアバター画像
陽気なカモメ
とりあえず陽気です。
記事一覧へ

こんな記事も読まれてます

ディープフェイク詐欺から世界を救う⁈ 東大発の世界最高性能技術に迫る!のサムネイル
ディープフェイク詐欺から世界を救う⁈ 東大発の世界最高性能技術に迫る!
筆者のアバター画像
陽気なカモメ
2022.08.30
【芥川賞】現役東大生が、芥川賞を勝手に選んでみたのサムネイル
【芥川賞】現役東大生が、芥川賞を勝手に選んでみた
筆者のアバター画像
murata
2016.07.18
東大生がみた、福島第一原子力発電所のいま。のサムネイル
東大生がみた、福島第一原子力発電所のいま。
筆者のアバター画像
UmeeT編集部
2016.07.07
自覚のない無関心と不寛容〜フロリダ銃乱射事件によせてのサムネイル
自覚のない無関心と不寛容〜フロリダ銃乱射事件によせて
筆者のアバター画像
UmeeT編集部
2016.06.28
たった20円でアフリカ支援!? 大学内で「食べるだけ」でできる国際協力のサムネイル
たった20円でアフリカ支援!? 大学内で「食べるだけ」でできる国際協力
筆者のアバター画像
Table For Two UT
2016.05.03