脳内イメージを 画像として出力する技術が進化
この物語はフィクションです。
登場する人物・団体・店・名称等は架空であり、実在のものとは関係ありません。
え？似たメニューを知ってる？それは偶然です。偶然ですってば。
今日は何を飲もうかな。
うん。今日は刺身にしよう。
上野駅の南側、ＪＲ高架下の「アメ横商店街」と線路を挟んで反対の東側。
飲み屋街を歩いて３分。沼津港 海将 ｚｅｒ○ 上野店だ。
刺身を食べたくなり訪問。早速乾杯！（終わりの始まり）
いつ飲んでもビールは旨い。
＊＊＊
「脳内映像の文章化に成功した」というニュースに驚いたことは記憶に新しいが、脳内イメージをそのまま画像として出力する技術も進んでるそうだ。
何だそれは。近未来すぎる技術ではないか。
※参考。人間という「デバイス」に接続し脳内イメージを画像化する技術
https://levtech.jp/media/article/column/detail_785/
※参考。ＮＴＴが脳内映像の文章化に成功 リスクは？
https://ncode.syosetu.com/n3975jm/488/
どうやら配線が多数設置されたヘルメットのようなものを被るだけで脳活動を検出できるとのこと。具体的にどのようなレベルまで画像として出力できるのだろう？
以下がその具体例だそうだが、まだ改善の余地は沢山あるものの、ここまで似てる画像を生成できることに「既に近未来なのだな」と感じざるを得ない。。
※一番上が被験者が見てる映像。２枚目以降が脳内イメージから生成した画像。
（引用：Deep image reconstruction from human brain activity）
https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1006633
「脳活動は個人差が大きく、やみくもに大量データを集めれば良いものではない」という想像通りの問題点があるため、学習素材の少なさを乗り越えるため効果的な学習手法を確立することにしたとのこと。
どうやらfMRIデータは冗長性が大きいらしく、隣り合った値はよく似てる→適切な場所を選べば１／４のデータで全体を再現することが可能とのこと。３／４も欠けてる状態で（完璧とは言い難いものの）再現できることに驚きを隠せない。。
※一番左が被験者が見てる映像。２枚目以降が脳内イメージから生成した画像。
（引用：Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding）
https://arxiv.org/abs/2211.06956
まだ完璧には程遠いが、かなり脳内イメージを画像として出力することが出来つつあるのではなかろうか。今後益々改善されることに期待大である。
詳しいことはよく分からないが、より少ないデータで予測させる学習を行うことでより効率的な学習が進められるようになったとのこと。
そんなにデータを削って大丈夫なのかと心配になるが結果的に精度が向上してるのであれば正しいのだろう。脳内イメージは複雑すぎるが故にノイズが多いのだろうなと感じる。
画像生成するにあたり生成ＡＩの分野で主流となってるモデルを採用したそうだ。
それは画像にノイズを加え→砂嵐画像になるプロセスを学習→そのプロセスを逆回転させることで、砂嵐のような画像から意味がある画像を生成するという手法とのこと。まさに人間には不可能なことを実行させてる好例と言えるだろう。
上記手法を採用したことで意味的理解が可能となる実用レベルに達したそうだ。
ということは逆に言えば上記手法を採用するまでは意味不明な砂嵐のような画像が出力されてたことに他ならない。研究者というのは地道で先が見えない作業を繰り返すと聞くが、私なら初期段階で心が折れることは想像に難くない。関係各位の涙ぐましい努力に万雷の拍手を贈りたい。
更に脳内の電気活動や磁場の変化など複数要素を測定＆組み合わせ学習させることで更に精度を高めたとのこと。まさに「ちょっと何言ってるか分からない」状態だが、それで精度が向上するというのだから素晴らしい成果と言えるだろう。
※一番左が被験者が見てる映像。２枚目以降が脳内イメージから生成した画像。
（引用：Efficient Neural Decoding Based on Multimodal Training）
https://www.mdpi.com/2076-3425/14/10/988
完全に脳内イメージを再現出来てるか？と問われるとＮＯとしか言い様がないが、大体何を考えてるか？を再現出来てるだけで凄いと言っても過言ではない。
色々研究した結果、被験者数を増やすのではなく１人の被験者から大量にデータを取得＆学習した方がモデルの学習が速く進むとのこと。想像通りなので驚きは無い＆少人数の協力者で研究が進むので良いのだろうと感じる。
ただ脳ミソの仕組みの解明に大きく貢献できる可能性がある＆視覚を失った人に人工的に視覚を提供できる未来なども可能性としてある一方、悪用リスクも当然考えられる。
研究としては有意義だが、法律や倫理観など一般社会への受け入れはどの程度進むか？拒絶反応などで社会は混乱しないか？などＳＦで散々見聞きしたディストピアな世界が到来しないことを祈る今日この頃だ。
＊＊＊
ちょっと何言ってるか分からない？安心しろ。私もそう思う。
頼んだメニューはこちら。
・本日の刺身（イトヨリ、ヘダイ、スズキ）
・タコ唐揚げ
会員特典の釜揚げ＆生シラス
どちらも甲乙つけがたい旨さ。すりおろし生姜が地味に嬉しい。
左から時計回りにイトヨリ、ヘダイ、スズキ
イトヨリ
新鮮だがきめ細やかというより割と粗め。だけど旨い。
ヘダイ
新鮮プリプリで旨い。
スズキ
一番新鮮プリプリだが旨味はヘダイの方が上。
同じ刺身と言っても個性が違うのだなと改めて感じる。
タコ唐揚げ
外側はサクサクなのに中はプリっとして旨い。
総じて満足。通常でさえ安いのに本日は会員限定３割オフ。これだけ飲み食いしても１７００円とか激安にも程があるのではなかろうか。気になる方はチェックして欲しい。また来ます！
ごちそうさまでした。
