ちょっと一区切りついたので、勉強したことを思い出しながらまとめてみます。誰かの役に立てば。
2022年
ロボット工学の最初の一歩
最初は右も左もわからないので、Courseraのコースを選択。目標はせめて学部1～2年生レベルの知識をつけることだったので、まあ良い判断だったと思う。
全くわからないなりに、最初に一周したのは良かったです。最近受講しているPhysical AIの講座で紹介されていた動画でも、元ネタはこの本かな、と思うものもあったので、押さえておいて損はないと思います。自分で勉強したいことが分かっている時は、もっとまっすぐ進む方法もあると思う。
これを理解するためにいくつかロボットの本を買って読んでみたが、角度表現が違っていて、さっぱり分かりませんでした。振り返ってみると、ここで勉強したから、論文にSO(2)とか出てきても分かるようになっていたのは良かったと思います。
確率ロボティクス
次はなんとなく『確率ロボティクス』を読みました。なんか凄いことが書いてありそうで、Pythonで何かやるからって所に期待して買いましたが、ちょっとよくわからなかったです。今読んだらもう少しわかりそう。
2023年
いったん目の前の仕事が一息ついて、勉強する時間が取れるようになったのがこの頃。RT-1が出てきて、ロボットでも言語モデルをちゃんと勉強しないといけないと思って、勉強を広げています。
点群処理
まずはカメラから取得できる点群関係。『詳解三次元点群処理』が良かったです。とりあえず、どんなことができるのかを知るには、ライブラリのチュートリアルを見るよりも良かったです。
詳解三次元点群処理
当時はCVIMチュートリアルも役に立ちました。
言語モデル
RT-1から、LLMもロボットに搭載されそうということで、こっちも沢山本を読んでいます。
初心者が言語モデルを勉強するための本（2023年6月版）
軌道生成と把持
軌道生成の勉強はここから。少しロボットの理解が深まっていたので、「ピッキングロボットはこんなことやってないだろ」とか、「そもそも毎回箱の中が変わるのに、正確な地図は無いんじゃ……」とか、疑問を持てるようになりました。
Planning Algorithms
把持に関してはこれが良かったですね。過去の取り組みやデータの解像度等を知っておくのは、新しい手法を学ぶときに役に立ちます。
Robotic Grasping from Classical to Modern: A Survey
最新手法についてはこの動画が良かったです。結局、Modern Robotics: Mechanics, Planning, and Controlで出てきた拘束条件とかは使っていないと知って、安心した記憶があります。
MIT Robotics - Ken Goldberg - The New Wave in Robot Grasping
この本も読んだけど、あまり記憶に残ってない。
ロボットハンドマニピュレーション
ロボット制御の入門書
ロボット制御に関しては、この本が良かったです。Modern Robotics: Mechanics, Planning, and Controlの中から、実際に必要な所をピックアップし、分かりやすく説明してある本です。
実践ロボット制御
この本も最初の一歩としてはとても良い本でした。自分の担当分以外も簡単に押さえるために、ロボットの開発チームで新しく加わったメンバーには、とりあえず読んでもらいました。
イラストで学ぶ ロボット工学
強化学習の最初の一歩
ゼロつくシリーズの強化学習編。次に強化学習を勉強するときにめちゃ役に立ちました。最初の一歩としてお勧め。
ゼロから作るDeep Learning ❹ ―強化学習編
2024年
ちゃんと強化学習を勉強しようと思ったのがこの年です。
Diffusion Policyとシミュレーター
なんとなくDiffusion Policyを動かそうとしているが、どこから始めて良いのか手探りの状態で始めてます。挫折しかけたとき、ワールドトリガーの「刻むんだ」を思いして継続してました。
学習にシミュレーターは不要なのは分かったが、結局、動きを確認するにはシミュレーターが必要と分かるまで遠回りした。夏頃、DOFBOTのカメラの向きを無理矢理変えて、頑張ってデータを集めていた。結局これは無駄になってしまった。良い思い出である。
まっすぐ行くならシミュレーターを用意しないと駄目と分かったのが、この年の収穫。これだけ勉強しながら、地味に中検3級に合格していて偉い。
生成モデルの勉強
Diffusion Policyは名前の通り、拡散モデルの考え方を使っているので、生成モデルについても勉強開始。ロボット、どんなけ勉強せなあかんねん……と絶望していたのがこのころ。ただ、ロボット制御において拡散モデルは避けて通れないので、一冊勉強するならこれが良いと思います。
ゼロから作るDeep Learning ❺ ―生成モデル編
確率・統計の基礎
強化学習の勉強をしながら、確率・統計をちゃんと勉強した方が良いと気がつき、この二冊を読みました。
- 統計学入門（東京大学出版会）
- チャート式シリーズ 大学教養 微分積分の基礎
統計学は積分だらけで、積分を理解するには微分が分からないと駄目、そのために極限の所まで戻りました。この年の夏は、受験生並みに勉強してたと思う。
この年に読んだ本には、こちらもあります。
ロボットの確率・統計 ―製作・競技・知能研究で役立つ考え方と計算法
Courseraで強化学習
Courseraにちょうど良いコースがあったので、始めてみる。
強化学習（第2版）とCourseraの強化学習コースをやった
講座の教科書です。基本の一冊。
こっちもソースコード付きで分かりやすい。
強化学習の発展と応用
Courseraの続きのトピックはこれ。強化学習と模倣学習はアプローチが違うことが分かってきた。
詳解 強化学習の発展と応用
生成モデルの勉強を続ける
生成Deep Learning 第2版
その他に読んだ本
Pythonで学ぶベイズフィルタとカルマンフィルタ
ROSロボットで学ぶ次世代のIoTアーキテクチャ
医療AIの知識と技術
2025年
Genesisでシミュレーション環境を作る
いろいろあって興味がGenesisへ。Genesisでシミュレーション環境を作って色々やる。
できないことをAIに相談すると、まだAIがあまり賢くなく、「Gazeboではこう書きます」を連発してきて困った記憶がある。今ならGenesisでも十分使えると思う。
Diffusion Policyがシミュレーター内で動く
8月にようやくシミュレーター内でDiffusion Policyが動く。実機はまだ。
Diffusion Policyを動かしたときの記事
この時はここまで来るのに1年かかったが、翌年にはライブラリの整備とAIの進化で、1週間くらいで動くようになる。
その他に勉強した本
- 線形代数セミナー
カメラ行列まで出てくるので、ロボットを勉強しながら線形代数を勉強したい人にお勧め。
- Pythonで学ぶ画像生成
この本は本当に良かった。お勧め。
- 機械学習を解釈する技術
基盤モデルとロボットの融合 僕は日経ロボティクスを読みまくっていたので全然知らない話は少なかったのですが、当時の最新情報が漏れなくまとまっていておすすめです。
An Algorithmic Perspective on Imitation Learning
まるごと学べる異常検知の実践知
LLMのプロンプトエンジニアリング
Data-centric AI
Artificial Intelligence for Robotics
2026年
Isaac Simの環境づくり
4月頃はWindows 11でIsaac Simの環境を作っていたが、ちょっと上手く行かず挫折。7月から環境を全部UbuntuにしてIsaac Simを開始。AIが賢くなっていて、簡単に動く。
今までの失敗が、動くまでの最短距離を教えてくれていて、試行錯誤が無駄ではなかったと信じたい。
Physical AI講座
松尾研のPhysical AI講座を社会人枠で受講。これだけ勉強して、実務でもロボットを使っていたので、さすがに知っていることが多かったですが、復習とモチベーションアップには最高でした。
シミュレーターでのピックから実機動作まで
そして、Isaac Simでピック成功。
Isaac Simでピックに成功したときの記事
AIに聞いて、ACTという模倣学習が動く。AIすごい。
ACTを動かしたときの記事
データセットはそのままでDiffusion Policyの学習を行い、実機動作も完了。長かった……。
Diffusion Policyの実機動作（Xの投稿）
実機で動いた奴 pic.twitter.com/eflmXLFe3O
— natsutan (@natsutan) 2026年9月2日
これをPhysical AI講座の課題にしたいので、雑なリポジトリを作成。
Dofbot_diffusion_policy（GitHub）
その他に勉強した本
[ゼロから作るDeep Learning ⑥]
拡散モデルをちゃんと勉強しようと思って『確率の半歩先 予測・拡散モデルに挑む前の30話』を読んだが、正直よく分からなかった。
Humanoid Robots with AI and Simulation
模仿学习简洁教程
フィジカルAIの教科書
AI based Robot Safe Learning and Control
