Mingxing Tan(Google Brain), Quoc V. Le(Google Brain)
2019/05/28
2019年時点でState of the artの性能を持ち、かつシンプルなネットワーク。
Kaggleのコンペでもよく使われており、自分自身も以下の富士フィルムのコンペで多くの人が使っていたため知った。
オフィシャルのTensorFlow実装
人気のあるPyTorch実装
EfficientDet: Scalable and Efficient Object Detection
富士フィルムで、写真の撮影された年代を当てるという面白いコンペがあったらしい。
なんと、上位者の商品は、フジフィルムのX100Fだったらしい。めっちゃ良い…
FUJIFILM デジタルカメラ X100F シルバー X100F-S
成績上位者が、解法を解説してくれているのがありがたい。
最近は、画像判別ではEfficientNetというのが強いっぽい。今度試してみようかな。
次回のコンペのときは、ぜひ参加してフジのカメラをゲットしたいなと思った。レベル高そうなので、めちゃめちゃ難しそうだけど。
DeepLabV3
DeepLabV3+
Liang-Chieh Chen(Google), Yukun Zhu(Google), George Papandreou(Google), Florian Schroff(Google), and Hartwig Adam(Google)
2017/6/17 (DeepLabV3)
2018/2/7 (DeepLabV3+)
Image Segmentationのサーベイ論文 - からログで性能のよかったとされているGoogle製のモデル「DeepLabV3」と「DeepLabV3+」の論文
恐らく、Atrous convolutionとSpatial pyramid poolingの組み合わせがキモなのではないかと思う。この組み合わせはASPP（Atrous Spatial Pyramid Pooling）モジュールと呼ばれて初代のDeepLabからあるもよう。
Atrouns convolutionは以下のようなちょっと変わったCNN。
いまいちrateの定義が使われている場所によって数字が異なり分からない…dilation rateでスキップしているピクセルを表していると思うのだけど…
最初に、このAtrouns convolutionを直列（カスケード）につないでrateとstrideを調整しようとしたのが以下のモデル。
でも、これだとセマンティックセグメンテーションにはストライドが悪さしてよくないらしい。
なので、以下のように並列化（パラレル）したモデルにしている。
ここで、poolingをしているのは、Actrouns convolutionのフィルターがrateを大きくしていくとフィルタの問題点に対する対策らしい。ここがDeepLabV3での改善点のポイントのようだけど、ちょっと理解しきれなかった。
セマンティックセグメンテーションは、主にSPP(Spatial pyramid pooling）モジュールか、エンコーダー・デコーダー構造が使われて、DeepLabV3は、前者に属していたけどDeepLabV3+ではこの両方を組み合わせて性能改善したぜ（エンコーダー・デコーダー構造を取り入れた）というのがポイントの模様。
あとは、Deep learning with depthwise separable convolutionsに、Xceptionを取り入れたらしい（こっちは、他の多くの最新のモデルで取り入れられているのを真似した様子）
かなり色々な工夫をして精度を高めていることが分かった。よくこんなことを思いつくなという感じはするが、ベースとなるアイディア（ASPP）の他は、他の手法をうまく組み合わせたら性能良くなったという感もある。やはり発想には、うまく組み合わせるセンスに加えて、知識のベースラインが重要だなと実感した。
「DeepLabV3+」のPyTorch実装。少し試したけど、なかなか良さそう
「DeepLabV3」のPyTorchオフィシャル実装。Google Colabページへのリンクもあり
depthwise separable convolutionsというのが、恐らくbackboneモデルのことだと思うが、あんまり分かってないので
Shervin Minaee(Expedia Inc, and New York University), Yuri Boykov (University of Waterloo), Fatih Porikli(Australian National University, and Huawei), Antonio Plaza(University of Extremadura, Spain), Nasser Kehtarnavaz(University of Texas at Dallas), and Demetri Terzopoulos(University of California, Los Angeles)
2020/01/15
セマンティックセグメンテーション、インスタンスセグメンテーションのサーベイ論文
ディープラーニングを使ったImage Segmentation手法の時系列的変化
性能をみるとDeeplabV3が、最新のモデルにひけをとらず安定して良い性能を示している。
Yandong Wen (1), Kaipeng Zhang (1), Zhifeng Li (1), and Yu Qiao (1,2)
?
Center Lossの導入で、識別が難しい顔認識のタスクでstate-of-the-artを達成
Center Lossという新しい損失関数を提案。学習時に、各クラスのCenterのアップデート（更新）と、特徴量ベクトルとクラスのCenterの差の最小化を同時に行う。
CNNに簡単に追加実装でき、性能も良い。
Cynthia Rudin(Duke University)
2018/11/26
