論文へのリンク
[2211.09800] InstructPix2Pix: Learning to Follow Image Editing Instructions
筆者・所属機関
Tim Brooks Aleksander Holynski Alexei A. Efros
University of California, Berkeley
投稿日付
2022/11/17
概要(一言まとめ)
プロジェクトページ
人間の指示から数秒で画像編集できる 「InstructPix2Pix」のコードが公開!
— やまかず (@Yamkaz) January 20, 2023
「ひまわりとバラを交換」「空に花火を追加」「雪が降っていたら?」などを入力すると画像が編集できる
Project: https://t.co/H3iY5qQpXm
code: https://t.co/sZueY6UG4R
demo: https://t.co/8bPVHiWkB3 pic.twitter.com/ox5pUUtOh8
手法の概要
高性能なPix2Pixを実現するために、Diffusion Modelをファインチューニング。
教師データは、GPT-3、Stable Diffusionを組み合わせて生成。
コメント
関連情報
次に読む論文
自分なりのアウトプット
Instruct Pix2PixのGoogle Colab版があったので試してみた。凄いですが、簡単に細かいところまで思い通りとはなかなかいかないですねhttps://t.co/tQ9Izr5vAw pic.twitter.com/3XEX6wHtZi
— からあげ (@karaage0703) January 21, 2023
学習の考え方は、以下に近い部分があるかも