日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

BCI/神経デコーディングarXiv:2609.34561

脳活動条件付き行動ポリシーによる神経運動デコーディング

Brain-Conditioned Action Policies for Neural Motor Decoding

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAモデルを言語を介して神経活動と整合させ、希少な神経-行動ペアデータに頼らずに運動意図をデコードするBrainVLAを提案。

詳しい要約

1. どんなもの?

- 運動BCIのためのneural motor decodingを目的としたBrainVLAを提案。 - 事前学習済みVLAモデルを言語を介したalignmentで活用。 - 希少なneural-actionペアデータへの依存を軽減。 - 神経活動、行動信号、言語指示、描画視覚観測を含むVLA互換データセットを構築。 - OpenVLA-OFTをLoRA fine-tuningで目標行動空間に適応。 - neural encoderをneural-language alignmentで訓練し、潜在運動意図を抽出。 - 神経表現を内因性意図信号としてVLAポリシーを誘導。

2. 先行研究と比べてどこがすごい?

- 従来のneural motor decodingはタスク特異的マッピングを学習し、希少なペアデータに制約。 - BrainVLAは大規模ロボティクス事前知識を活用し、データ効率を向上。 - 評価ベースラインと比較してcross-session decoding R^2とタスク成功率で優位。 - 訓練データ効率が高いことを実証。 - 言語媒介alignmentにより、神経活動から運動意図を伝達する新経路を確立。

3. 技術・手法の肝は?

- VLA互換データセット構築:神経活動、行動信号、言語指示、描画視覚観測をペアリング。 - OpenVLA-OFTポリシーをLoRA fine-tuningで目標行動空間に適応。 - neural encoderをneural-language alignmentで訓練。 - 言語表現を意味的ターゲットとして使用し、神経活動から潜在運動意図を捕捉。 - 得られた神経表現を内因性意図信号としてVLAポリシーを誘導。 - 視覚観測はタスク状態の補完情報を提供。

4. どうやって有効だと検証した?

- 異なる行動次元を持つ2つのneural motorデータセットで評価。 - causal rollout decodingを使用。 - 評価ベースラインと比較してcross-session decoding R^2とタスク成功率で上回る。 - 高い訓練データ効率を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA-OFT - VLAモデル - neural motor decoding - causal rollout decoding - LoRA fine-tuning - neural-language alignment

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luyao Jin, Running Zhao, Huan Zhao, Vincent C. K. Cheung, Wei-Hsin Liao

分類: cs.LG

原文アブストラクト

Motor brain-computer interfaces (BCIs) aim to decode motor intention, enabling people with paralysis to control external devices. Neural motor decoding typically learns task-specific mappings from neural activity to kinematics, yet remains constrained by scarce paired neural-action data. We propose BrainVLA, a framework that enables neural motor decoding by drawing on a pretrained vision-language-action (VLA) model through language-mediated alignment. BrainVLA mitigates reliance on scarce paired neural-action data by leveraging VLA policies. We first construct VLA-compatible datasets including paired neural activity, action signals, language instructions, and rendered visual observations. Then, we adapt the OpenVLA-OFT policy to the target action spaces through LoRA fine-tuning. To establish an effective interface through which neural activity can convey motor intention to adapted VLA policies and guide action generation, we train a neural encoder via neural-language alignment, using language representations as semantic targets to capture latent motor intent from neural activity. The resulting neural representations serve as an endogenous intention signal to guide VLA policies to generate executable actions, while visual observations provide complementary information about the evolving task state. BrainVLA is evaluated on two neural motor datasets with different action dimensionalities using causal rollout decoding. It outperforms the evaluated baselines in cross-session decoding $R^2$ and task success rate, while demonstrating high training data efficiency. These results establish a route for neural motor decoding to draw on large-scale robotic priors through brain-conditioned VLA policies.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI