如果让AI根据文字画「抽象画」，了解DeepMind新算法
发布时间：2021-06-05 16:04:11 所属栏目：大数据 来源：互联网
导读：AI的艺术细胞你get到了吗？这离真正的抽象派大师画作还有多远？ 而这次AI生成的图像，之所以与此前我们见到的GAN模型的风格大不一样，是DeepMind使用了一种新算法。 该算法最终允许用户输入一串文本，AI就能对这个字符串做出创造性的反应，输出一个解释该字
|
AI的“艺术细胞”你get到了吗？这离真正的抽象派大师画作还有多远？
而这次AI生成的图像，之所以与此前我们见到的GAN模型的风格大不一样，是DeepMind使用了一种新算法。
该算法最终允许用户输入一串文本，AI就能对这个字符串做出创造性的反应，输出一个解释该字符串的艺术作品。
再比如输入“云”，生成如下作品：
如果让AI根据文字画「抽象画」，那得成什么样？｜DeepMind新算法
输入“一张脸”，“尖叫”，“一只猫”，“一个笑脸”，“着火的房子”，“一个人走路”，“丛林中的老虎”，“洞穴壁画”：
如果让AI根据文字画「抽象画」，那得成什么样？｜DeepMind新算法
……
如此不同凡响的新技能，有什么技术创新吗？
神经视觉语法系统与双重编码器
总的来说，DeepMind的这个算法与使用GAN生成图像有3种不同：
首先，此算法的图像是“进化”（evolve）而来，而不是使用反向传播直接生成。
使用进化搜索 （evolutionary-search），可以生成一个与众不同的“美学输出”，也允许人为进行更多输出控制。
其次，该算法不直接进化图像，而是进化一种生成图像的视觉语法。这才能生成有趣的结构化图像。
最后，该算法使用了一个预训练的多模态“评判器” （critic），它接受了网上大量图片和说明文字（captions）的训练。这个算法“理解”文字的视觉意义的能力很重要。
如果让AI根据文字画「抽象画」，那得成什么样？｜DeepMind新算法
下面就来详细说一下用于演化出图像的神经视觉语法系统和用来评估图像合适度的图像文本双重编码器“评判器”。
神经语法系统采用了分层结构，可大大扩展核心神经发生器的功能。
它将用户输入的字符串输入到顶级的LSTM中，LSTM（长短期记忆网络）可为每个笔划（stroke）指定一个中间输入字符串（intermediate input string ）。
这个中间输入字符串的作用与原始输入字符串非常相似。然后这个中间字符串又被输入到底层的的LSTM以输出最终图像的笔划描述。如下图所示。
如果让AI根据文字画「抽象画」，那得成什么样？｜DeepMind新算法
具体细节如，中间向量的第二个位置决定了编码的笔划是不透明的还是透明的。
第三个位置决定是使用顶层指定的位置还是中间层指定的位置来确定笔划的原点。
第四个位置确定笔划中要产生的行数。
 （编辑：平凉站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
