新しい Google オフィスで行われたTFUGイベントに参加してきました。
今回はエッジということで期待いっぱいで参加しました。全体の感想としてはいろんなエッジがあるなと、人の数だけエッジがあるそんな勉強会でした。
ShuntaroOhnoさん 「A Little Is Enough: Circumventing Defenses For Distributed Learning」
分散学習を行うときに、学習結果をおかしくしようとする悪い奴がいたときの話。単純に変な勾配を返すだけでも平均を取ってしまうと十分学習の邪魔になるから始まり、じゃどうやって検知するのか、検知されないようにするにはどうするかという掛け合いがおもしろかったです。学習の結果を特定の方向に誘導することもできます。単純に学習の収束を遅くするだけでも、十分脅威とのこと。 元々はビットコイン関係からのネタだそうですが、今後空いているPCで分散学習みたいな事が実現されると一気に脅威が増しそうです。未来の犯罪の可能性を感じました。
発表資料はこちら。
www.slideshare.net
ShuntaroOhnoさんは、後の発表で隅っこのデータについて質問していて、データの偏りが見逃せない人なんだろうなって思いました。
Chibadaiさん 「クラウドとエッジと動画」
TFUG(TensorFlow Users Group)なのにAWSの話題？でざわつきましたが、IoTっぽいネタでした。AWSのIoT、AIっぽいサービスは情報が無く、非常に苦労したとのこと。最初のユーザーはそういうものですよね。僕自身がGDGとかGoogle系のイベントにしかいかないので、AWSの話はとても新鮮でした。
「だいたいすべてがボトルネック」が良かったです。
MasaoTaketani さん 「MIXED PRECISION TRAINING」
かなり真面目に浮動小数点のフォーマットの説明がありました。精度の低いフォーマットで学習する時に、小さい値がアンダーフローしてしまいます。そのために、勾配計算の元になる誤差の計算からスケール（定数倍）させて勾配を計算し、重みの更新時に元に戻す処理をして精度を保っているらしい。こういう面倒くさい事をしても、メモリ使用量が減って学習も早くなるらしいです。
計算精度を落とすことで、推論の精度が上がる所は突っ込みがありました。単純な識別ならよくあるんですが、物体検出まで推論の精度が上がっていてそっちは不思議でした。正則化の効果があるらしいのですが、それにも突っ込みが入ってました。
Yuji Tokudaさん 「量子化どこまでできる？」
量子化をするフレームワークの現状についてというテーマでした。Post-TrainingとAware Trainingの違いを初めて知りました。Aware Trainingがそんなに大したことをしていない事に驚きました。先の発表のように、勾配の計算からもっと面倒なことをやっているのかなと勝手に思ってました。量子化時に画像を流して量子化のパラメータを決めるのは他のDSP向けのコンバータでもやってますね。TFLiteを使うときにAware Trainingを設定しないとエラーになるのは単に出力フォーマットだけの問題の気がしてきた。ちゃんと勉強しないと。
発表資料はこちら
最後に
今回もとても面白いイベントありがとうございました。全体を通して気になったのは、2016年ころってエッジで使うCNNってVGG16ベース一色で、その後MobileNetへ移行の雰囲気があったのですが、最近はResNetが良く使われている気がします。Yuji Tokudaさんが少し言及してましたが、MobileNetと他の最適化手法の組み合わせが上手く行かないかも。これは時間取って試してみたいところです。
