基于生成对抗网络的零样本学习方法文献综述

 2022-11-22 17:17:13
  1. 研究背景与意义

图像处理是当下最流行的研究方向之一,并且在计算机的多个领域得到广泛应用。这些技术为人类生活带来了很大改变的同时也丰富了人们的生活。同时计算机视觉作为人工智能的一个主要研究领域,近年来受到了广泛的关注。在计算机视觉领域中,大部分的问题都可以转换为图像分类任务[3]。因此,对图像分类任务的深入研究是至关重要的。

在传统图像识别任务中,往往需要足够多的样本才能训练出足够好的模型,并且利用猫狗训练出来的分类器,就只能对猫狗进行分类,其他的物种它都无法识别。这样的模型显然并不符合我们对人工智能的终极想象,我们希望机器能够像人类一样,具有通过推理,识别新类别的能力,由此发展出了零样本学习这一概念。在实际应用中,标注的训练样本可能无法覆盖所有的目标类别,零样本学习为解决这类问题提供了一套系统的框架,即利用类的语义信息。而根据测试样本仅包含不可见类别还是同时包含不可见类别和可见类别,零样本学习又可以分为传统的ZSL(zero-shot learning )和GZSL(generalized zero-shot learning )。

零样本学习是指利用属性或词向量等额外信息充当语义空间,在训练阶段不能使用测试集来训练模型,利用该模型来识别训练中没有遇到过的数据类别,完成知识的迁移。零样本学习之所以近年来获得广泛关注,相关理论体系也越来越成熟,很重要的原因就是它广阔的应用前景。目前大致有对未知物体识别、未知语言翻译、未知类别图像合成以及图像哈希四个部分[7]。

由于在零样本学习中的目标标注空间是未见类别,因此学习这些实例的类别需要额外的辅助信息作为支撑。这些辅助信息应当满足以下两个标准[9]:1、包含所有不可见类别的信息;2、和特征空间相互关联。人类学习的过程包含了大量零样本学习的思路,比如被广泛引用的人类识别斑马的例子:假设一个人没有见过斑马,即斑马对这个人来说是未见类别, 但他知道斑马是一种身上有黑白条纹的外形像马的动物,即马是可见类别。那么当他第一次看到斑马的时候, 可以通过先验知识和已经见过的类别认出这是斑马。人类通过语义知识作为辅助信息,识别了未见类,零样本学习基于人类学习过程进行算法的研究。

随着VAE(变分自动编码器),GAN(生成对抗网络)等生成模型的发展,人们开始将生成模型应用于零样本学习。在统计学的定义中,生成模型是通过生成方法学习数据分布的模型。最常见的生成模型之一就是自动编码器,它是一种无监督的神经网络模型,同时也是最基础的生成模型[10]。生成对抗网络是一个关于数据的生成模型:即给定训练数据,GAN能够估计数据的概率分布,基于这个概率分布产生数据样本(这些样本可能并没有出现在训练集中)。其基本思想就是将生成问题看作是生成器和判别器两个网络的对抗和博弈。在GAN中,两个网络互相竞争,生成器的目的是学习训练数据的分布,生成尽可能真实的数据,以确保判别器无法区分。判别器需要不断地学习生成器的“造假数据”,以防止自己被欺骗。在不断的博弈中,两个网络最终达到纳什均衡,此时生成器已经能够生成判别器无法轻易判别真假的接近真实的数据。在零样本识别中,不可见类无法识别的主要原因就是不存在相应的图像特征,而生成模型的发展为生成不可见类别的分布数据提供了可能,为解决零样本问题提供了新的思路。

  1. 研究现状
  2. 零样本学习(ZSL)

在零样本学习过程中, 训练类集和测试类集之间没有交集[14,15], 需要通过训练类与测试类之间的知识迁移来完成学习, 于是[14]提出通过求解相关子问题来解决它,使在训练类上训练得到的模型能够成功识别测试类输入样例的类标签。[16]将不可见的类视为可见的类来研究,[2,3]研究图像和类之间的兼容性。另一方面,零样本学习不是仅仅使用标记的数据,[15,17]还利用了未标记的数据。

  1. 广义的零样本学习(GZSL)

GZSL首先由Chao[5]等人提出,将查询范围扩大到同时包含可见和不可见类别。这对于实践来说很重要,因为我们不能保证测试图像仅属于不可见的类,并且希望零样本学习模型可以和预训练模型配合而不是丢弃它。虽然ZSL吸引了大量的注意力,目前在GZSL领域还没有太多的研究。根据研究,在GZSL任务中应用ZSL方法时,容易出现错误,错误分类的很大一部分是由于将不可见的图像预测为容易混淆的可见类。

  1. 生成对抗网络(GAN)

近年来,生成模型中最受关注的便是生成对抗网络,Goodfellow[7]等于2014年首次提出了generative adversarial net的概念,标志着生成对抗网络模型的诞生,在计算机视觉领域中获得了广泛的关注。DCGAN[11]将GAN扩展到了深度卷积神经网络领域。[12]通过将图像生成过程分解为风格和结构网络对DCGAN进行了扩展。为了解决GAN不稳定的训练问题,[5]提出了Wasserstein-GAN(WGAN)。[13]提出了一种WGAN的改进版本,通过梯度惩罚来加强Lipschitz约束。随着生成对抗网络的不断发展,一些生成对抗网络的变体已经能够生成足够真实的图像样本,并且生成对抗网络也逐渐开始应用到零样本图像分类任务中,并产生了一些新的方法,这些方法的主要思路是利用生成对抗网络来生成未知类的图像样本,使得零样本图像任务转化为一般的图像分类问题。

  1. 当前存在问题
  2. 零样本学习(ZSL)

领域漂移问题(domain shift problem)。该问题的正式定义首先由[18]提出。简单来说,就是同一种属性,在不同的类别中,视觉特征的表现可能很大。例如,斑马和猪都有尾巴,因此在它的类别语义表示中,“有尾巴”这一项都是非0值,但是两者尾巴的视觉特征却相差很远。如果斑马是训练集,而猪是测试集,那么利用斑马训练出来的模型,则很难正确地对猪进行分类。

枢纽点问题(Hubness problem)。这其实是高维空间中固有的问题:在高维空间中,某些点会成为大多数点的最近邻点。由于ZSL在计算最终的正确率时,使用的是KNN,所以会受到hubness problem的影响,并且[19]中,证明了基于岭回归的方法会加重hubness problem问题。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文开题文献,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。