物体検出といえば、Object Detection、Semantic Segmentation, Instance Segmentationだと思っていたのですが、更にPanoptic Segmentationなるものもあるらしいです。
引用元：コンピュータビジョンの最新論文調査 Segmentation 編 · DeNA Engineers' Blog
Semantic Segmentation と Instance Segmentationの合いの子みたいなやつみたいです。奥深い…
まだまだ、どんどん新しいSegmentation出てきそうですね。
Kai Xiao, Logan Engstrom, Andrew Ilyas, Aleksander Madry
全員 MIT
2020/06/17
物体認識のとき、ニューラルネットワークモデルがノイズ（背景）とシグナルをどう見分けているかを調査した内容。
色々な手法を用いて、実験的に調べているらしい（後で追記）
End-to-End Object Detection with Transformers
Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko
全員 Facebook
2020/05/27
BERTなどの自然言語処理で目覚ましい成果を上げつつあるモデルのベースとなるTransformerを、物体検出に適応した研究。構造は以下となる。
COCOデータセットでFaster R-CNNの精度を上回ったとのこと。
transformerを取り入れる他、以下2つの技術が特徴的
精度的には、Faster R-CNN程度ということは、まだまだなのかなという印象だが、Transformerを物体検出に適応して結果を出しているのは凄い。論文の検出も、チャンピオンデータかもしれないけど、かなり使えそうな印象。
Google Colabで手軽に推論を試せるのも好印象。
Transformerは、あんまり理解できてなくて、そこまで重要な技術でもないのではないかと思っていたけど、ちょっと認識を改めた方が良いかもしれない。
Davinder Singh, Naman Jain, Pranjali Jain, Pratik Kayal Sudhakar Kumawat, Nipun Batra
Indian Institute of Technology Gandhinagar, Gujarat, India 382 355
2019/11/23
13種類の植物の合計2,598のデータを17クラスの病気に分類したデータセットを作成。アノテーションには300時間程度かけているとのこと。
既に植物のデータセットとしてPlantVillage dataset(PVD)があるが、以下の図のように、実際のフィールドでの写真とは乖離のあるデータとなっているのに対して、実際のフィールドに近いデータセットをつくったとのこと。
また、データセットに対して複数のモデルで画像判別と物体検出のタスクを評価している。
インドは35%の作物を病気で失っているという書き出しが結構衝撃的だった。
性能は、物体判別のACCで70%、物体検出のmAP(at 50% IoU)で38%と高くはない。2,598のデータを17クラスだと、1クラスあたりのデータは200ないくらいなので、全然データが足りないのではないかなという印象だが、EfficientNet使ってDataAugmentation駆使すればもう少しはあげれそうな気はする。
新型コロナの影響で今年はオンライン開催。YouTubeで公開されている
CEOのKeynote。
Jarvis（アイアンマンから？）という会話するAIの紹介。
Jensen Huangとの会話シーンは必見。
以下ブログ記事が詳しい。
Prafulla Dhariwal * 1, Heewoo Jun * 1, Christine Payne * 1, Jong Wook Kim * 1, Alec Radford * 1 ,Ilya Sutskever * 1
2020/04/30
VQ-VAEや複数のSOTAの手法を組み合わせ、膨大な計算リソースを用いてAIでリアルな音楽を生成。
3種類の異なる解像度に圧縮して、それぞれVQ-VAEにかけて、中間表現を獲得
複数のSOTAの手法を組み合わせて、歌詞の抽出・歌詞の位置特定などを実施。さらに、膨大な計算資源で学習している。
学習に関しては、billion parametersや2 weeksとか4 weeksという凄い数字が出ている。
The upsamplers have one billion parameters and are trained on 128 V100s for 2 weeks, and the top-level prior has 5 billion parameters and is trained on 512 V100s for 4 weeks. We use Adam with learning rate 0.00015 and weight decay of 0.002. For lyrics conditioning, we reuse the prior and add a small encoder, after which we train the model on 512 V100s for 2 weeks.
白金興業FMで知ったもの。こりゃ凄いな…としか言えない。以前、Deep JazzというJazzのMIDIをベースにRNNでJazzを自動生成とかするソフトあったけど、あれとはまた全然レベルが違う。
