PFNのSI2020での講演動画「深層学習とロボティクス」

動画

　以下は、動画からの引用です。

画像認識

　Instance segmentationにより、ロボットがモノを掴めるようになる（PFNのお片付けロボットの場合）

微分可能レンダラー

　レンダリング結果と目標画像の差をlossとして、バックプロパゲーションしていき、最適化する。

　これを応用すると、シミュレーションを構築して、大量の教師データを取得することが可能となる。

参考：

• ニューラルネット3D表現に対する微分可能レンダラー | Preferred Networks Research & Development
• SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​

強化学習

　ものすごいマシンパワーを使って、シミュレータを使った分散強化学習を行っている。