はじめに
SIGGRAPH 2026（7/19〜23、ロサンゼルス）の NVIDIA キーノートおよび技術論文発表で、いくつか実務レベルで気になる発表がありました。中でも「Newton 物理エンジン向けの新ソルバー」は、自分が日頃 Isaac Sim × Isaac Lab を触っている立場からすると、注目の発表です。
直前に OnRobot 2FG7 を使ったピック&プレースのシミュレーションを完了したばかりなので、「これが半年前にあったら何が変わっていたか」という視点で少し整理してみます。
Newton とは
Newton は NVIDIA・Google DeepMind・Disney Research の共同開発によるオープンソースの GPU アクセラレーション物理シミュレーションエンジンで、Linux Foundation のもとで運営されています。Isaac Lab 3.0 Beta の develop ブランチには既に統合されており、強化学習・模倣学習ベースのロボットポリシー訓練のバックエンドとして試せる状態にあります。
正確には「Newton が SIGGRAPH 2026 で発表された」わけではありません。SIGGRAPH 2026 で発表されたのは、NVIDIA の21件の技術論文の一つとして紹介された、雪・砂・弾性体といった扱いにくい素材をリアルタイムに扱う新しいソルバーで、これが Newton エンジンに組み込まれる形で公開されました（NVIDIA Blog）。Newton エンジン自体はそれ以前から開発・公開が進んでいたプロジェクトです。
これまで Isaac Sim/Isaac Lab が使っていた物理バックエンド（PhysX 5 / Warp）との最大の違いは、接触ダイナミクスの精度と GPU 並列処理効率にあるとされています。ピック&プレースのような「物体をつかむ・置く」動作では、グリッパーと対象物の接触面をどう物理的にモデル化するかが、シミュレーションの精度を左右します。Newton はここを GPU 上で高精度かつ高速に計算することを目的として設計されているようです。
Sim-to-real ギャップとの関係
Isaac Sim でロボットを動かしていると、必ずぶつかるのが sim-to-real ギャップの問題です。シミュレーション上でうまくつかめているのに、実機では滑る・落とす・位置がずれたりすることがあります。
原因はいくつかありますが、物理的な観点では主に以下の二つが原因になっていることが多いです。
- 接触モデルの単純化: シミュレーション上の接触は物理的に簡略化されており、実機のゴム・摩擦・変形を再現できていない
- 並列環境の物理一貫性: 大量の並列環境で訓練すると、各環境間の物理挙動のブレがポリシーの汎化を妨げる
Newton ではこの両方にアプローチしているとされています。接触剛性・摩擦係数のモデルが改善されていることと、GPU 並列処理で各環境の物理一貫性を高く保てることが、ギャップ縮小に効果的に働く可能性があると考えられます。
実際に PoC をやってみて感じた「ギャップの正体」
少し前に、ピック&プレース環境を Isaac Sim 5.1 上で構築し、Modbus TCP 経由でリアルタイム連携する実証を行いました（詳細はこちら）。
このとき sim-to-real で一番手間がかかったのは、グリッパーの把持タイミングと接触応答でした。Isaac Sim 上では物体をつかんだ瞬間に安定していても、Modbus 経由でコントローラーに返す DO 信号のタイミングと実際の把持完了のタイミングにずれが生じました。ポーリング間隔の調整で対処しましたが、これは根本的には「物理シミュレーション側の接触検出がどれくらい正確か」という問題でもあります。
Newton によって接触モデルの精度が上がれば、このような「シミュレーション上の把持完了をどう定義するか」の問題が扱いやすくなる可能性があります。
その他の注目発表
Newton 以外で今回実用的だと感じた発表を簡単にまとめます。
Cosmos 3 Edge 4B パラメータのオープンソース world foundation model。テキスト・画像・映像・音声・アクションを入力として受け取り、物理シーンを推論してロボットアクションを出力します。Jetson・RTX PRO・DGX・GeForce RTX など幅広いハードウェアで動作し、Hugging Face でウェイト・推論コード・ポストトレーニングレシピが公開されています（詳細）。
なお、キーノートで「単一の RTX PRO 6000 で動作実演」されたのは、Cosmos 3 Edge 自体ではなく、自動運転向けシミュレータ Cosmos-Dreams です。従来 64 基の GB300 GPU が必要だった処理を 1 枚の RTX PRO 6000 に圧縮した点がデモの焦点で、Cosmos 3 Edge とは別の発表です（NVIDIA Blog）。
Newton は「すぐ使える」のか
公式ドキュメントによれば、Newton で学習したロコモーションポリシーを Unitree G1 ロボットへ実機デプロイし、Newton と PhysX 間でのポリシー相互転移も検証済みとのことです。つまり sim-to-real の実証は一部で既に進んでいます。ただしこれは主にロコモーション（歩行）タスクでの実績であり、本記事で扱っているピック&プレースのような把持系タスクの接触ダイナミクス改善効果については、まだ実証段階にはないようです。
今この瞬間 Isaac Lab で pick & place の学習環境を作っているチームにとっては、Newton が stable に入るタイミングで既存の環境を Newton に切り替えることで、ポリシーの実機転用精度が改善される可能性があります。
まとめ
- Newton は NVIDIA・Google DeepMind・Disney Research 共同開発のオープンソース GPU 物理エンジン。既に Isaac Lab 3.0 Beta に統合済みで、SIGGRAPH 2026 で発表されたのは雪・砂・弾性体を扱う新ソルバー
- ロコモーションタスクでは Newton 学習ポリシーの G1 ロボットへの実機デプロイが既に検証済み。ただし把持系タスクでの接触ダイナミクス改善効果はまだ実証段階
- 現時点では stable 組み込みのタイムラインは未確定。ただし設計の方向性は今から考慮しておいて良さそう
- Cosmos 3 Edge はエッジ推論の現実性を高める材料になり得る。単一 RTX PRO 6000 実演は別発表の Cosmos-Dreams のものであり区別が必要