STREAM4Dとは？過去と現在を言葉でたどる空間理解システム
STREAM4Dは、360°カメラとLiDAR（ライダー：レーザー光を使って物体までの距離や形状を正確に測る技術）で取得した空間情報に、時間情報を加えることで「いつ、どこに、何があったか」を自然な言葉で問い合わせられるシステムです。
一般的な3Dマップがある時点の空間を表すのに対し、STREAM4Dは、3次元の空間情報に時間情報を加えた「4Dセマンティックマップ」（4次元セマンティックマップ：3次元の空間情報に「時間」というもう一つの軸と、物体が何であるかという意味情報（セマンティック情報）を加えた地図）を構築します。これにより、人や物の移動、設備の状態、物の配置といった、時間とともに変化する状況を記録し、過去の状態も確認できるようになります。
例えば、「昨日の16時、机の上には何があったか」や「この椅子は、いつ現在の場所へ移動したか」といった質問を、人が日常的に使う言葉（自然言語）でシステムに投げかけることができます。さらに、問い合わせによって特定された物体や場所まで、ロボットを移動させるための経路計画とナビゲーション（ロボットが目的地まで安全かつ効率的に移動するためのルートを計算し、そのルートに沿って実際に移動する機能）にもつなげられるのが、STREAM4Dの大きな特徴です。
STREAM4Dの主な特徴と「すごい」ポイント
1. 物体の出現・移動・消失を時間とともに記録
STREAM4Dは、物体ごとに位置や形状などの情報を時刻とともに更新します。これにより、すでに撤去された物や移動した物の履歴も保持するため、現在存在しない物についても過去の状態を確認できます。指定した日時や時間帯を対象とした問い合わせにも対応し、「あの時、何がそこにあったのか」を正確に知ることが可能になります。
2. 物体同士の位置関係を確認
「机の上にある物は何か」「ドアに最も近い椅子はどれか」といった質問に対し、3Dマップ上の位置や距離をもとに該当する物体を特定します。上下、左右、近さ、距離、間、並び順など、複数の条件を組み合わせた複雑な問い合わせにも対応できるため、「ドアに最も近い椅子の隣にある物」といった、物体同士の関係を順にたどる質問にも答えられます。
3. 空間情報と時間情報を組み合わせて照会
「何が、いつ、どこからどこへ移動したか」「指定した時間帯に何が現れ、何が無くなったか」といった、空間と時間の両方に関わる変化を確認できます。これにより、特定の時間における空間の状態を詳細に把握し、変化の前後を比較することが容易になります。
4. 増え続ける履歴情報を整理して処理
施設内を継続的に記録すると、物体や時間に関する情報は膨大になります。STREAM4Dでは、問い合わせ内容に応じて必要な履歴情報を選び出し、大規模言語モデル（LLM：大量のテキストデータを学習し、人間のような自然な文章を生成したり、質問に答えたりできるAIモデル）へ渡すためのコンテキスト処理を組み込んでいます。これにより、長期間の運用で記録量が増えても、安定して問い合わせを処理することを目指しています。
5. 言葉による指定からロボットの移動までを接続
「赤い椅子の近くへ行って」と指示すると、STREAM4Dはマップ上から対象となる椅子を特定し、その位置をロボットの移動目標として設定します。自然言語による問い合わせと、ロボットの移動経路の計画に同じマップと空間計算を使用することで、物体の特定からナビゲーションまでを一連の流れで実行できる点が、このシステムの大きな強みです。
将来どう役立つ？STREAM4Dが変える未来の現場
STREAM4Dは現在、研究開発段階であり、実証導入や製品への組み込み、共同研究に関する相談も受け付けています。このシステムは、以下のような多様な場面での活用が想定されています。
-
警備・巡回業務: 施設内の物や設備の配置を継続的に記録し、前回の巡回時から何が変わったかを確認できます。例えば、不審な物の移動や扉の開放などを自動で検知できるようになるでしょう。
-
設備点検・保守: 設備や周辺物の状態について、「いつ、何が変わったか」を過去の記録から確認し、点検や異常発生後の調査に活用できます。これにより、故障の原因究明や予防保全が効率化される可能性があります。
-
施設内の物品・配置確認: 「会議室の机の上に何があるか」「指定した備品が最後に確認された場所はどこか」などを、自然な言葉で問い合わせて迅速に情報を得られます。これにより、物品管理の手間が大幅に削減されるかもしれません。
-
ロボットの移動・ナビゲーション: 「赤い箱の近くへ行って」「受付の隣にある椅子まで移動して」といった言葉による指示から、移動対象を特定し、ロボットの経路計画につなげられます。これにより、ロボットがより人間に近い感覚で指示を理解し、自律的に行動できるようになるでしょう。
-
異常や変化の事後確認: 過去の指定時刻における物体の配置や移動履歴を確認し、紛失、移動、撤去、異常発生後の状況確認に活用できます。まるで時間を巻き戻すように、過去の出来事を詳細に検証できるようになるかもしれません。
実際の導入にあたっては、対象となる施設、業務内容、必要な計測範囲に応じて、センサー構成や運用方法が検討されます。
MIRU2026出展概要
Forcesteed Roboticsは、時空間理解システム「STREAM4D」を以下のイベントで展示します。
-
展示会名: 第29回 画像の認識・理解シンポジウム MIRU2026
-
会期: 2026年8月3日（月）～8月6日（木）
-
会場: 出島メッセ長崎
-
ブース番号: G4
-
イベント公式サイト:
https://miru-committee.github.io/miru2026/
Forcesteed Roboticsについて
株式会社Forcesteed Roboticsは、「世の中の駆動系に人工意識FSR-ACを統合し、機械と人が協調して新たな価値を生み出す未来を創る」をミッションに掲げ、AI・画像認識・ロボティクスの研究開発および社会実装に取り組んでいます。現在、30社以上の企業・研究機関と連携し、Agentic Visionを中核技術としたPhysical AI・ロボティクスの研究開発を推進しています。
同社のWebサイトでは、研究開発の取り組みや論文調査・再現検証、デモ動画、自社技術・アプリケーションの紹介などを技術トピックスとして継続的に公開しており、研究成果だけでなく、その背景や検証内容についても分かりやすく発信しています。
-
Forcesteed Robotics 技術紹介:
https://www.forcesteed.com/technology/ -
Forcesteed Robotics 公式サイト:
https://www.forcesteed.com/
Forcesteed Roboticsは、AIとロボットが協調し、人間がより創造的な活動に集中できる未来の実現を目指しています。
