Text-to-Image
对于根据文字生成图像的问题,传统的做法就是训练一个NN,然后输入一段文字,输出对应一个图片,输出图片与目标图片越接近越好。存在的问题就是,比如火车对应的图片有很多张,如果用传统的NN来训练,模型会产生多张图像的平均,结果就会很模糊。
Conditional GAN
Conditional GAN与普通GAN的区别在于输入加入了一个额外的condition,并且在训练的时候使得输出的结果拟合这个 condition。
此时的discriminator的输入是generator的输出和conditional vector,此时discriminator有两个任务:
- 判断图片质量的好坏(图片是否是真实图片)。
- 图片是否和输入条件匹配。
Algorithm
训练D(固定G):
- 首先从database中抽取m个样本,每个样本都是一对条件和图片。
- 从一个分布中抽取m个vector z;然后每个vector都加上条件,表示为(c,z)。
- 将(c,z)输入generator,生成m张图片x (条件+图片)。
- 从database中随机选取m个真实图片 x 。
- 计算损失,最大化损失。
训练G(固定D):
- 随机产生m个噪声,随机从database中抽取m个条件;
- 通过generator得到G(C,Z),然后经过discriminator得到D(G(C,Z)),更改G中的参数,使得它的得分越高越好。
具体设计条件GAN判别器,有两种方式:
- 图片x经过一个网络变成一个c服务器托管网ode,条件经过一个网络也变成一个code;把这两种code组合在一输入到网络里面,输出一个分数。
- 首先让图片经过一个网络,输出一个分数(用于判断图片是否真实),同时这个网络也输出一个code,这个code和条件结合起来输入到另外一个网络里,也输出一个分数(图片和文字是否匹配)。
Stack GAN(叠加生成对抗网络)
第一个网络生成小的图片,第二个网络生成大的图片。
- Image-to-image
传统做法存在的问题就是产生的图片很模糊,是因为它是许多张图片的平均。
Conditional GAN的做法就是,generator的输入一张图片和noise z,输出一张图片,discriminat服务器托管网or会输入产生的image和input,输出一个scalar。通过算法的迭代,生成下面第三张图片,看起来很清晰,但和真实的图片还是有差异。所以提出了GAN+close,对generator生成的image加上限制,使得生成的image与真实对象越接近越好,得到第四张图片。
- Speech Enhancement(语音增强)
这里和image-to-image原理类似,都是把G的输入和输出作为D的输入。
- Video Generation
Video Generation能够根据影片的前几帧产生后几帧。conditional 为之前几帧的图片。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
1. 环境 在网上找的很多文章中写得都有很多问题,这里记录一下最近一次成功地发布jar包到maven中央仓库的过程。并附带上每一个步骤官方的指导链接。 系统:mac(windows系统在下载辅助工具时不太一样,在配置上和mac系统没有区别) IDE:Intel…