スペースデータCSO兵頭龍樹、生成AIエージェントの研究基盤「SD-AgentFoundry」をオープンソース公開

〜LLMによる2Dマルチエージェント社会シミュレーションと、VLMがISS「きぼう」のデジタルツインを見て動く3Dシミュレーションを、手元のPCで動く最小構成のまま論文・コードとともに公開〜

株式会社スペースデータ（本社：東京都港区、代表取締役社長：佐藤航陽、以下「スペースデータ」）は、最高科学責任者（CSO）を務める兵頭龍樹博士（惑星科学／AI科学の大学教員を兼任）が、大規模言語モデル（LLM）および視覚言語モデル（VLM）で動くAIエージェントのシミュレーション基盤「SD-AgentFoundry」を開発し、オープンソースとして公開するとともに、設計・実装・活用例をまとめた技術論文をarXivで公開したことをお知らせします。

SD-AgentFoundryは、複数のLLMエージェントのコミュニケーションと集団行動を扱う「SD-AgentFoundry-2D」と、VLMが一人称画像をもとに3Dデジタルツインの中を移動する「SD-AgentFoundry-3D」の2つで構成されます。いずれもmacOS・Windows・Linux上でローカルに動作し、完成されたアプリケーションではなく、教育・研究・高速プロトタイピングのために「読んで、改変できる」ことを優先した最小構成の土台として、Apache License 2.0のもとで公開しています。

背景

LLMやVLMの進展により、「危険なら逃げる」といった固定ルールでは書き切れない判断やコミュニケーションをAIエージェントに担わせる研究が広がっています。災害時の情報伝播や避難行動、都市や施設における人の流れ、サービス設計の事前検討など、生成AIによる社会シミュレーションの応用先も広がりつつあります。

一方で、こうした研究を支える既存のプラットフォームの多くは、大規模な計算環境やクラウド上のモデルサービス、専用のシミュレーターを前提としています。その結果、「AIが何を認識し、どう推論し、それがどのような行動に変換されたのか」という基本の流れが見えにくくなり、学生や研究者、エンジニアが原理を理解しながら自由に改変するには高いハードルがありました。生成AIエージェントの振る舞いが、検証済みの人間行動の予測と混同されやすいことも課題です。

SD-AgentFoundryは、こうした状況に対し、機能の多さよりも「認識→推論→コミュニケーション→行動→観察」のループを追いやすいことを優先して設計した最小構成のシミュレーション基盤です。名称の「Foundry（鋳造所）」が示すとおり、モデル・環境・シナリオ・評価方法を利用者が自ら置き換え、独自の研究や試作へ発展させていくための土台として公開しています。

SD-AgentFoundryの概要

項目

SD-AgentFoundry-2D

SD-AgentFoundry-3D

駆動モデル

LLM（大規模言語モデル）

VLM（視覚言語モデル）

環境

2Dの整数グリッド

USD形式の3Dデジタルツイン

エージェント数

複数（既定20体）

1体

入力

数値状態＋近隣エージェントからのメッセージ

一人称RGB画像＋タスク・現在位置・直近の行動履歴（テキスト）

主な焦点

コミュニケーション、情報伝播、集団行動

視覚認識、空間理解、身体性を伴う高レベル行動

モデルの実行

ローカルLLM（Ollama）

ローカルVLM（Ollama）を既定とし、他のバックエンドにも差し替え可

用途イメージ

社会シミュレーション、避難・情報伝播、都市・施設の仮説検討

ナビゲーション、施設利用、デジタルツイン上のAIエージェント検証

1. SD-AgentFoundry-2D：
LLMエージェントの集団行動を観察する

複数のLLMエージェントを2次元のグリッド上に配置し、各エージェントが手元の情報だけをもとに、近くのエージェントとの会話と移動の判断を繰り返します。カフェや図書館といった場所ごとの収容人数や混雑率、途中で発生する火災イベントなどを設定できますが、エージェントに与えるのは位置や混雑率、火災の強度や距離といった数値情報のみです。「危険だから逃げる」といった行動ルールや、「混雑している」といった定性的な評価は一切与えません。

そのため、警告の伝播、協調、回避、集合といった振る舞いが、モデル自身の判断としてどのように現れるかを観察できます。モデル、ペルソナ、通信距離、記憶の長さ、配置、イベント条件などを変えながら、同一条件でLLMを差し替えたときの行動特性の違いを比較する基礎環境として利用できます。

2. SD-AgentFoundry-3D：
VLMがデジタルツインを「見て、判断し、動く」

USD（Universal Scene Description）形式のデジタルツインの中にエージェントを1体配置し、エージェント視点の一人称画像をVLMに入力します。VLMは画像とタスク、現在位置、直近の行動履歴をもとに次の行動を自然言語で出力し、シミュレーターがその文章を解釈して移動・回転・視線変更などの行動に変換します。出力形式をJSONなどに縛らず、モデルの自由な文章をそのまま行動に読み替える点が特徴です。

同梱のデモでは、国際宇宙ステーション（ISS）の日本実験棟「きぼう」を再現したUSD環境を用い、「JAXAロゴを探して近づく」というタスクを実行します。USDシーンを独自のものに置き換えれば、施設、街路、作業環境などのデジタルツインにおける視覚的な探索やナビゲーションの研究へ拡張できます。描画に重量級のゲームエンジンを必要とせず、軽量な構成で動作します。

なお、現行版は物理演算や接触・把持を扱うロボット制御基盤ではありません。VLMの自然言語出力を高レベルの行動へ変換する研究用シミュレーションであり、ロボット制御向けに学習されたVLA（Vision-Language-Action）モデルとは異なります。

特徴

ローカル実行を前提とした構成：

macOS・Windows・Linux向けのセットアップ手順を用意し、Ollamaを通じてローカルのオープンなLLM/VLMで動作します。クラウドAPIに依存せず、モデルや計算環境を利用者側で選べます。

認識から行動までのループが読める：

複雑な統合基盤としてブラックボックス化するのではなく、認識・推論・コミュニケーション・行動・観察の各処理を追跡しやすいコード構成としています。

モデル・環境・シナリオを交換できる：

2Dではシナリオやエージェント設定を、3DではUSDシーン、タスク、VLMバックエンド、行動の解釈ルールを、それぞれ置き換えられます。

検証・監査に向けたログ：

3D版では、VLMの生の応答、解釈された行動、行動前後の姿勢、推論時間、入力画像などを毎回記録し、エージェントがなぜそう動いたのかを後から確認できます。2D版も、エージェントの記憶・推論とメッセージをログとして保存します。

想定する活用領域と留意点

教育・研究・PoCの初期検討を主な用途とし、災害・緊急時の情報伝播や集団行動に関する仮説生成、都市・施設における人流や施設選択の探索的検討、デジタルツイン上での視覚探索・ナビゲーション、同一条件でLLM/VLMを差し替えた際の行動比較、AIエージェント教育やハッカソンでの利用などを想定しています。

※本シミュレーションの出力は、人間の行動や実世界の結果を検証済みの精度で予測するものではありません。仮説生成、メカニズム比較、シナリオ検討を目的とする基盤であり、実社会に関する結論を導くには、別途、実証データによる検証が必要です。

今後の展望

兵頭博士は今後、さまざまなLLM/VLMやデジタルツイン環境との接続、エージェント評価手法の拡充、複数エージェントと3D環境を組み合わせた検証などを進める予定です。

スペースデータは、空間を情報化し、AIに物理を学ばせ、機械が自律的に動けるようにする「空間知能」の実現に取り組んでいます。デジタル空間の中で生成AIが状況を認識し、意思決定し、行動するための研究は、その基礎をなすものです。SD-AgentFoundryで得られる知見を、デジタルツインやフィジカルAIの研究開発と往復させながら、宇宙・都市・防災・施設運用など多様な実世界課題に対するAIエージェント技術の可能性を探索していきます。

開発者コメント：スペースデータ 最高科学責任者（CSO）兵頭龍樹博士

「AIエージェントの活用の可能性は、社会シミュレーションから、一人称視点で環境を認識し行動するシミュレーションまで、多岐にわたります。今回、LLMやVLMを用いたAIエージェントが何を認識し、どう判断し、どのような行動につなげるのかを、できるだけシンプルで追いやすい形で試せる環境としてSD-AgentFoundryを構築しました。研究者や学生、開発者の皆さまが、2Dの社会的な相互作用から3Dデジタルツイン上の身体性を伴う行動まで、自分たちの課題や環境に合わせて自由にアイデアや仮説を試し、発展させていく出発点になればと考え、公開を決めました。また、この基盤を出発点として、スペースデータにおける事業化に向けた研究開発にもつなげていきたいと考えています。」

技術論文・リポジトリ情報

  • 論文タイトル：
    Minimal Local Simulation Foundations for LLM- and VLM-Driven Agents in 2D and 3D Environments
  • 著者：
    兵頭龍樹（株式会社スペースデータ／立教大学大学院 人工知能科学研究科／東京科学大学 地球生命研究所／パリ・シテ大学）
  • 公開：
    arXiv（cs.MA / cs.AI）、2026年8月24日
  • URL：
    https://arxiv.org/abs/2608.22833
  • DOI：10.48550/arXiv.2608.22833
  • SD-AgentFoundry-2D（GitHub）：
    https://github.com/ryukih/SD-AgentFoundry-2D
  • SD-AgentFoundry-3D（GitHub）：
    https://github.com/ryukih/SD-AgentFoundry-3D
  • ライセンス：
    Apache License 2.0

※本論文はプレプリント（査読前の論文）としてarXivに公開されています。

株式会社スペースデータについて

株式会社スペースデータは、宇宙を誰もが活用できるインフラへと変える「宇宙の民主化」を使命に、宇宙をはじめとするあらゆる空間の知能化（MAKE SPACE INTELLIGENT）に取り組むテクノロジースタートアップです。
空間を情報化し、AIに物理を学ばせ、機械が自律的に動けるようにする「空間知能」の技術を活用して、宇宙開発から都市開発、防災、安全保障まで、次の未来を支えるデジタルプラットフォームの構築を国内外で進めています。
スペースデータの公式サイトでは、「NEWS」にて最新の取り組みや発表をご紹介しています。詳細は https://spacedata.jp/newsをご覧ください。

本件に関するお問い合わせ

下記のお問い合わせフォームからご連絡ください。

お問い合わせ - 株式会社スペースデータ
スペースデータは宇宙防衛とデジタルの融合を目指す研究開発スタートアップです。宇宙・防衛といった領域で、AIやデジタルを駆使して革新的技術の発明・特許化・実用化を行っています。
spacedata.jp

詳細はこちら

スペースデータCSO兵頭龍樹、生成AIエージェントの研究基盤「SD-AgentFoundry」をオープンソース公開

データ提供：PR TIMES

タイトルとURLをコピーしました