ATR︵国際電気通信基礎技術研究所︶と京都大学の研究者らは、fMRI︵機能的磁気共鳴画像法︶によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。
Deep image reconstruction from human brain activity
著者‥Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani
︵左が見ている画像、右が再構成された画像︶
本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。
提案手法では、画像を見る被験者からfMRIで測定した脳活動から、画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN︵Deep Neural Network︶の信号パターンへ変換します。そして、DGN︵Deep Generator Network︶を組み合わせて画像を生成します。
︵本提案手法の概要。︶
これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。以下の映像では、左に見ている画像、右に出力した画像が映し出されます。
︵左が見ている画像、右が再構成された画像︶
本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。
提案手法では、画像を見る被験者からfMRIで測定した脳活動から、画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN︵Deep Neural Network︶の信号パターンへ変換します。そして、DGN︵Deep Generator Network︶を組み合わせて画像を生成します。
︵本提案手法の概要。︶
これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。以下の映像では、左に見ている画像、右に出力した画像が映し出されます。
心の中のイメージも画像化に成功
また、心の中でイメージした内容を画像化することにも成功しました。手法は上記と同じです。 上述では、見ている画像を再構成しましたが、今度は一度見た画像を記憶し、画像を見ていない状態から心の中でイメージする脳活動だけで再構成するというものです。被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。 以下の映像では、その結果を確認する事ができます。左に記憶した画像、右に再構成した画像です。
関連
NVIDIA、教師なし学習と生成モデルを組み合わせて画像から画像へ変換する手法を論文発表。晴れを雨のシーンに、冬を夏のシーンに変換など | Seamless