2020.12.30 PaddleGAN SIG meeting note

2020年12月12日 Paddle SIG 周会记录

时间：北京时间20：00~21：00

当前正在推进项目进度同步：

1. DCGAN：@韩杰 已完成
2. StyleGAN2：@艾梦 已完成(预测版本)
3. Pix2Style2Pix：@艾梦 已完成
4. AnimeGAN @愚鱼 已完成
5. Photo2Cartoon @郝强, 已完成
6. First Order训练版：@李果，基本完成，待合入
7. Wave2lip：已完成

• Tutorial @此方
• Generator + inference @李晓波
• Wav2lip + hq_wav2lip + Dataloader 训练 @二毛

8. DRN @已完成
9. 美甲创意项目 @Habout
10. 人脸超分DFDNet @Kevin
11. StarGAN：@李杨柳
12. 2D图像—>3D图像生成 @甄昊天

• 论文：https://arxiv.org/abs/1904.04290
• 参考Repo： https://github.com/google/neural_rerendering_in_the_wild
• 视频效果： https://www.youtube.com/watch?v=E1crWQn_kmY

13. deepfill v2 @韩杰

• 作用：图片修复，还原图片中缺失的部分
• 论文：https://arxiv.org/abs/1806.03589
• 参考repo：https://github.com/yangyu12/deepfill_v2.pytorch ； https://github.com/JiahuiYu/generative_inpainting

14. lip2wav @夕月

• 论文： https://arxiv.org/pdf/2005.08209.pdf
• 新闻：https://www.reddit.com/r/artificial/comments/gu1s3d/lip2wav_synthesize_speech_only_from_the_lip/

15. 图像去模糊 @李杨柳 训练数据需要清晰&模糊成对匹配

• DeblurGAN-v2
• SRN-DeblurNet

16. Deep Image Ankonwledge

待领取（不分先后顺序）

1. AI深度估计（非GAN方向，但如果大家感兴趣可以考虑）

• 论文： https://arxiv.org/pdf/1904.11111.pdf
• 画面扩充（例如把原片从4:3变成16:9宽画幅）https://github.com/vt-vl-lab/FGVC
• 老照片修复 https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

2021年规划讨论：

1. 影像超分
2. 艺术圈大家对AI比较感兴趣，扩圈可行，题材是重点
   • 渠道：B站鬼畜区、虚拟偶像、dameidamei
   • 题材：简笔画生成真实画像，水墨画一笔一笔生成
3. AI变声（柯南）
4. 人体动作迁移（分辨率较低 2k）https://www.impersonator.org/work/impersonator-plus-plus.html
5. 数据生成（戴眼镜的、头部姿态改变等等）ToDo:PADDLE思路共享
6. 语音克隆 ToDo:找语音团队支持
7. 时间穿行：https://time-travel-rephotography.github.io/ https://arxiv.org/pdf/2012.12261.pdf