論文へのリンク
[1611.07004] Image-to-Image Translation with Conditional Adversarial Networks
筆者・所属機関
Phillip Isola(Berkeley), Jun-Yan Zhu(Berkeley), Tinghui Zhou(Berkeley), Alexei A. Efros(Berkeley)
投稿日付
2016/11/21
概要(一言まとめ)
ディープラーニングを用いた、汎用的な画像変換。pix2pixとして有名。TensorFlowをはじめとした多くの実装例がある
手法の概要
CGAN(条件付きGAN)を使っている。「変換前の画像とGeneratorが生成した画像のペア」と「変換前の画像と変換後の画像のペア」という画像を条件として学習させる。
Generatorにはセマンティックセグメンテーションに使われるU-Netを使用
U-Netのネットワーク
コメント
U-Netの代わりに別のネットワーク(DeepLabV3+とか)使ったら性能が向上したりするのだろうか?それかもうやられてる?
関連情報
GitHub - affinelayer/pix2pix-tensorflow: Tensorflow port of Image-to-Image Translation with Conditional Adversarial Nets https://phillipi.github.io/pix2pix/
Pix2Pix:CGANによる画像変換 | NegativeMindException
できそうなことはだいたいできる画像生成AI、pix2pixの汎用性に驚く - WirelessWire News(ワイヤレスワイヤーニュース)
GANの基礎からStyleGAN2まで - akira - Medium
Depixelizing Pixel Art
任天堂のドット絵のアップスケーリング。直接は関係ないが、極限までスピードの要求される画像変換という点で取り上げる
次に読む論文
自分なりのアウトプット
ディープラーニングを使ってドット絵を画像に変換してみた - karaage. [からあげ]