AI Trend Note
    ← 一覧へ戻る
    物理シミュレーターの中でロボットと物体が配置された仮想の作業環境の画面
    ロボティクス 用語解説 4分で読めます

    Sim-to-Real、仮想環境で学んだロボットが現場でつまずく理由

    ロボットをまず仮想環境で学習させる方法がなぜ標準になったのか、そしてシミュレーションと現実の差を埋めるドメインランダマイゼーションが実際に何を揺さぶっているのかをまとめます。

    ロボットの学習データを集めるもっとも安い方法は、実機を使わないことです。仮想環境ならアームが壊れることはなく、一晩で数百万回繰り返しても電気代のほかにコストはかかりません。問題は、そうして学んだ方策(ポリシー)を実機に載せた瞬間、たびたび崩れてしまうことです。この隔たりはSim-to-Realギャップ(sim-to-real gap)と呼ばれています。

    シミュレーションが標準になった理由

    フィジカルAIを扱った記事で「実機を壊さずに数百万回の試行錯誤を繰り返せる」と書きましたが、この利点は想像以上に大きなものです。実機1台が1日につくれるデモは数百件ですが、GPU上では数千台の仮想ロボットを同時に動かせます。

    物理シミュレーターの画面で、ロボットと物が配置された仮想の作業空間
    ロボットシミュレーターの仮想作業環境。物理エンジンが摩擦と衝突を計算し、レンダリングエンジンがカメラ入力をつくり出す。画像:Ignition / Open Robotics, Wikimedia Commons、CC BY 3.0.

    何が違うから崩れるのか

    シミュレーターは現実の近似です。ずれが生じる場所は、大きく2つに分かれます。

    • 物理。 摩擦係数、関節の摩擦と減衰、質量の分布、接触した瞬間の変形。とくに物体同士が触れる瞬間の計算は、シミュレーターごとに結果が異なります。
    • 視覚。 照明、影、素材の反射、カメラのノイズ。仮想画面でははっきり見えていた物体が、実際の照明の下では違って映ります。

    これに加えて、遅延という3つ目の違いがあります。シミュレーターでは観測と指令が即座にやり取りされますが、実機ではセンサーの読み取り、推論、モーターの反応まで、各段階の遅延が積み重なります。

    ドメインランダマイゼーション、わざと揺さぶって学ばせる

    もっとも広く使われている解決策は、シミュレーターを現実に近づけることではありません。逆に、シミュレーターを大きく揺さぶることです。摩擦や質量、照明や素材を、学習の回ごとにランダムに変えます。どんな条件でも通用する方策を見つけるよう強いるやり方です。

    ランダムに変えるもの狙う効果
    摩擦、質量、関節の減衰物体やロボットの物性の違いに鈍感になる
    照明、テクスチャー、素材現場の照明や背景が違っても認識を保つ
    観測ノイズ、遅延センサーの品質や制御遅延の差を吸収する
    制御器のゲイン実際のモーター特性のばらつきに対応する

    NVIDIAは産業用の組み立て作業にこの方式を適用し、ロボットの動力学と制御器のゲイン、観測ノイズをあわせてランダム化したと説明しています。正確な物性値を探す代わりに、値が間違っていても問題ない方策を探すアプローチです。

    シミュレーションの目的は現実をそっくりまねることではなく、現実がどちらにずれても耐えられる方策をつくることです。

    シミュレーターを2つ使う理由

    現場では、シミュレーターひとつで済ませないことがよくあります。視覚の学習にはレンダリングに強いものを、物理的な方策の最適化には接触計算の速いものを使う、という具合です。学習した方策を別のシミュレーターに移してもう一度検証する手順(sim-to-sim)を挟むこともあります。現実に出す前にもう一段ふるいにかける仕組みです。

    まとめ

    仮想環境での学習が選ばれるのはコストのためではなく、実機では到達できない反復回数のためです。ただしシミュレーターは現実の近似なので、物理、視覚、遅延で差が生まれます。それを埋める標準的な方法が、条件をわざと揺さぶるドメインランダマイゼーションです。シミュレーターを精密にするより方策を鈍感にするほうが、現時点ではより実用的な方向とみられます。