からログ

からあげが鳥並の頭で学んだことを記録する場所だよ

汎用的な画風変換の革命児「pix2pix」

論文へのリンク

[1611.07004] Image-to-Image Translation with Conditional Adversarial Networks

筆者・所属機関

Phillip Isola(Berkeley), Jun-Yan Zhu(Berkeley), Tinghui Zhou(Berkeley), Alexei A. Efros(Berkeley)

投稿日付

2016/11/21

概要(一言まとめ)

ディープラーニングを用いた、汎用的な画像変換。pix2pixとして有名。TensorFlowをはじめとした多くの実装例がある

手法の概要

 CGAN(条件付きGAN)を使っている。「変換前の画像とGeneratorが生成した画像のペア」と「変換前の画像と変換後の画像のペア」という画像を条件として学習させる。

f:id:karaage:20200330183256p:plain

 Generatorにはセマンティックセグメンテーションに使われるU-Netを使用

f:id:karaage:20200330183820p:plain
 U-Netのネットワーク

コメント

 U-Netの代わりに別のネットワーク(DeepLabV3+とか)使ったら性能が向上したりするのだろうか?それかもうやられてる?

関連情報

GitHub - affinelayer/pix2pix-tensorflow: Tensorflow port of Image-to-Image Translation with Conditional Adversarial Nets https://phillipi.github.io/pix2pix/

Pix2Pix:CGANによる画像変換 | NegativeMindException

できそうなことはだいたいできる画像生成AI、pix2pixの汎用性に驚く - WirelessWire News(ワイヤレスワイヤーニュース)

GANの基礎からStyleGAN2まで - akira - Medium

Depixelizing Pixel Art
任天堂のドット絵のアップスケーリング。直接は関係ないが、極限までスピードの要求される画像変換という点で取り上げる

次に読む論文

自分なりのアウトプット

ディープラーニングを使ってドット絵を画像に変換してみた - karaage. [からあげ]

気になった英単語・英語表現