論文へのリンク
*1
*2
筆者・所属機関
投稿日付
2022/11/8 *1
2023/1/8 *2
概要（一言まとめ）
サーベイ論文
Transformer vs CNN仁義なき戦い
（現時点での）結論に草www https://t.co/8GtbOTjca2 pic.twitter.com/Yg2EVjuuB3
— からあげ (@karaage0703) 2022年10月23日
ディープラーニング CDLEの動画
なかなか面白い。
CDLE 勉強会 #1 世界初の水質判定AI「DeepLiquid（ディープリキッド）」
具体的な話が少ない？？
DeepLiquidでやっていること
- 水質の認識
- からあげを揚げるタイミング認識
イノベーションの話
- イノベーションは技術革新でなく新結合
- ディープラーニング x ○○ の組み合わせ
- 企業のドメイン知識
開発のコツ
- 精度向上にはノウハウが必要
CDLE 勉強会 #3 「AIの社会実装を進めるための技術的ポイント」
実践的な内容と、経験豊富さを感じる。自分も実感していることと共通点多い。
性能向上手法の体系化
1年で上がる精度は3%
3%の違い
オープンにされているデータセットでも、不正確なアノテーションは多い
アノテーションの難しさ
ハードウェアの制約を考慮
モデルの選定はハードウェア制約によって決まる
QA
- カメラは星取表で比較
- モデルの選定は、メンテナンスされているかも注視する
- 使いまわせるモデル、CenterNetは物体検知＋姿勢推定
- アノテーションはダブルチェック
- 効率の良いアノテーション。ツールの使い方、能動学習
- アノテーションルールの共有・体系化（統一することが大事）
ディープラーングの性能はデータ集めて札束で殴り続けると向上し続ける！？「Scaling Law」
論文へのリンク
[2001.08361] Scaling Laws for Neural Language Models
[2010.14701] Scaling Laws for Autoregressive Generative Modeling
筆者・所属機関
- Jared Kaplan(Johns Hopkins University, OpenAI), Sam McCandlish(Open AI), ...
- Tom Henighan(Open AI), Jared Kaplan(Johns Hopkins University, OpenAI), ...
投稿日付
- 2020/01/23
- 2020/10/28
概要（一言まとめ）
ディープラーニングの性能は、データのサイズD, モデルのパラメータ数N, 札束 Cmin （論文ではcompute budgetと表現）が支配的なことを実験的に示した身も蓋もない内容。この法則をデータスケーリング則(Scaling Law)と呼んでいる。
手法の概要
以下が詳しい。
コメント
「テクニックなんて無駄で、データ集めてでかいモデルでガンガン学習させた方が勝ちなんじゃ！」と宣言しているような内容。
言われてみれば、それはそうかもしれないけど、それだけだと寂しいよね、とは思ったりする。
関連情報
次に読む論文
自分なりのアウトプット
気になった英単語・英語表現
DataAugmentaionは2回やれ
論文へのリンク
筆者・所属機関
Zhuoxun He 1 Lingxi Xie 2 Xin Chen 3 Ya Zhang 1 Yanfeng Wang 1 Qi Tian 2
1 Shanghai Jiao Tong University 2Huawei Noahs Ark Labc 3Tongji University
投稿日付
2019/09/11
概要（一言まとめ）
Data Augmentationを最後の数epochs、減らして（無しで）学習させることで性能があがる
手法の概要
Data Augmentation正則化としてとらえて、汎化誤差と経験損失の観点で性能向上の理由を説明？
コメント
Data Augmentationを正則化として捉え、汎化性能を向上させる反面、経験損失が増加するリスクがあると考察。
— goto yuta (@goto_yuta_) January 20, 2021
最初に大量にData AugmentationしてData Augmentationを減らして学習することで、汎化誤差と経験損失のバランスが取れ、精度が向上。
現実にもよく使われる印象。https://t.co/6wRMsPxu5V
関連情報
次に読む論文
自分なりのアウトプット
気になった英単語・英語表現
- empirical 経験的
ニューラルネットワークを用いたRAW現像
論文へのリンク
筆者・所属機関
Jierun Chen, Song Wen, S.-H. Gary Chan
Department of Computer Science and EngineeringThe Hong Kong University of Science and Technology, Hong Kong, China
投稿日付
2021/01/12
概要（一言まとめ）
ニューラルネットを用いたRAW画像からのデモザイクとノイズ除去を行いState-of-the-art達成。
手法の概要
Twitterを引用。
RAW画像からのデモザイクとノイズ除去を行う。Dataset中のGround Truthも画像処理プロセス(ISP)を通っているので劣化しているのでそのまま学習するのは問題であると指摘し真のGTからの劣化過程をモデル化し真のGTらしさ(尤度)を最大化するようにLossを定式化したのがキモ。https://t.co/QxutdlNbVC pic.twitter.com/9Pr13YgJj8
— Teppei Kurita (@kuritateppei) January 26, 2021
コメント
RAW現像の手法、評価手法が興味深かった。なかなか深い世界。
個人的に面白いなと思ったのが、RAWデータ取得のプロセスを、 xをノイズ入ったデータ、Aをモザイク処理、zをクリーンな画像、nをノイズとして以下のシンプルな数式で現わすことができること。
デモザイク処理は、Aの逆の処理でデノイズがnを減らすための処理となる。
関連情報
次に読む論文
自分なりのアウトプット
気になった英単語・英語表現
- conjugate 活用・共役
- interpolating 補間
PFNのSI2020での講演動画「深層学習とロボティクス」
動画
以下は、動画からの引用です。
画像認識
Instance segmentationにより、ロボットがモノを掴めるようになる（PFNのお片付けロボットの場合）
微分可能レンダラー
レンダリング結果と目標画像の差をlossとして、バックプロパゲーションしていき、最適化する。
これを応用すると、シミュレーションを構築して、大量の教師データを取得することが可能となる。
参考：
- ニューラルネット3D表現に対する微分可能レンダラー | Preferred Networks Research & Development
- SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜
強化学習
ものすごいマシンパワーを使って、シミュレータを使った分散強化学習を行っている。
