第65回 SFでは当たり前のように書かれる空間コンピューティングの技術ついて、面白い論文があったので、紹介してみた。（1）
まえがきは割愛させていただきたいと思います。
本編のみでお楽しみいただければ幸いです。
●’26/1/25（日）
前回、自分の小説のあとがきを書いた後、突然猛烈に忙しくなり、全く更新する余裕がなくなった。
そこからの1ヶ月の間、世界は何か飛んでもない方向に進んでいる。
そんなニュースが頻発していて、そのことを書かないとなと思っていた。
そして、ようやく本業が落ち着きはしたが、まだ気持ちは重いままなので、何か昨今の世界トンデモ出来事を書くとさらに落ち込みそうで、他を書こうと思う。
そこで、ちょうど最近AI関係で調査した論文に空間コンピューティングの面白い内容があったので、それを書こうと思った次第である。
空間コンピューティングと言うと、SFで良く見る空中に画面がピョンと飛び出すあれのことで、最近だとメタなどが出しているメガネ型のAR（現実拡張）機器がそれに当たる。
メタのAR機器はレンズに映像を映してそれを見せる形でまるで空間に画面が浮いているように見せている。
だが、SFで良く見る空間コンピューティングはメガネ型デバイスはなく、目前にデバイスがなく、完全に宙に映像が浮いている。
私が考えるに、あれは現状のAR機器とは全く異なる技術であろうと思う。
実は私の書いたSF小説”ガロワのソラの下で”や”タキオンの矢”にも空間コンピューティングが出てきており、それは”BrainConnectedDevice”（BCDとかブレコンとか読んでいる。）という脳神経に直接信号を送受信させるデバイスという技術として書いている。
そして、私が読んだAI論文というのが、この脳から画像信号を読み取る処理、いわゆる脳神経デコーディングに関するものである。
題名は
”Efficient Neural Decoding Based on Multimodal Training”
（マルチモーダル学習に基づく効率的なニューラルデコーディング、2024年）
というものだ。
簡単に説明すると、被験者が見た画像を脳から抽出するデコーディング技術において、マルチモーダル学習、つまり複数の種類の測定データを学習することで精度が上がるというものである。
その複数のデータというのは、以下のようなデータである。
fMRI（Functional Magnetic Resonance Imaging）
=磁気共鳴画像（MRI）による脳内の各部位における血流量測定。
EEG （Electroencephalography）
=脳内の各部位における電気信号測定。一般的に”脳波”と呼ばれているもの。
ECoG（Electrocorticogram）
=脳表面の硬膜下皮質表面の電位測定。
fNIRS（Functional Near-Infrared Spectroscopy）
=近赤外光による頭皮上の血流酸素飽和度測定。
などなどである。
fNIRSはスマートウォッチなどでも活用されている技術だ。
他の論文ではこういったデータを1種類、もしくは2種類程度使用して、解析を行っていたが、この論文では多種類のデータを解析用いて、それぞれのデータが持つ短所を埋め合うようにして、精度向上を図っている。
細かい技術はさておき、この手法により、被験者に見せた画像（左のGTと書かれた画像）とモデルから出力された画像（右のOursと書かれた画像）の比較を見ていただきたい。
（画像は上記論文より抜粋。）
もちろん細かくは違っているが、見ているもの自体は合致してきているのが見て取れる。
この結果から現状の脳信号デコーディング技術発展への驚きと未来へのちょっとした希望、ワクワク感を感じられはしないだろうか。犯罪にも使えそうで怖くもあるが。。
この論文からは多種あるデータにおいて、EEGとfNIRSの相性が良いようである。
この脳信号デコーディングについて、調べるとどうやら京都大学、神谷之康教授らが書いた
”Decoding the visual and subjective contents of the human brain”
（人間の脳内の視覚的、主観的コンテンツの解読、2005年）
がパイオニアであるようだ。
論文の画像に書かれている”MinD-Vis”というのはどうやらシンガポール大学から出ている
”Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding”
（脳を通して”見る”: 視覚デコードのためのスパースマスクモデリングを用いた条件付き拡散モデル、2023年）
で書かれている「MinD-Vis技術」のことのようである。
神谷教授のものも含め全ての研究でAI技術がかなり活用されており、昨今のGPU発展に合わせて、この脳神経デコーディング技術も恐ろしいほど発展している。
この「MinD-Vis技術」の解析方法がちょっと面白いので、この技術に関する世界動向も合わせて、次の回で少しだけ詳しく説明したいと思う。
次は「MinD-Vis技術」という技術に用いられた解析方法と、脳信号デコーディングに関する世界動向です。
乞うご期待！！
