AI内参_21_020_SIGIR_2018论文精读如何利用对抗学习来增强排序模型的普适性

你好，我是洪亮杰。

今天我和你分享的主题是SIGRR二零一八论文精读。

如何利用对抗学习来增强排序模型的普适性？今天，我们继续来精读国际信息检索研究与发展大会SIGRR二零一八的论文。

今天分享的是本次大会的最佳短论文。

标题是使用对抗习实实现神经排训模型的跨领域正则化，非常必必要。

先简介介绍一下这篇章章的作者群，可以说这是一个明星阵容。

第一作者，丹尼尔科恩来自马塞朱瑟大学阿莫斯特分校是计算机科学系的博士生。

二零一七年曾经在微软研究院剑桥分布实习这篇获奖论文就是实习项目的总结。

在深度学习模型，在信息检索的应用这个方向上，科恩已经发表了多篇论文。

第二作者，巴斯特米特拉是微软研究院剑桥分部院主任科学家。

近些年，米特拉在信息检索领域很活跃，并且极力推推动深学学习在这个领域的发展。

他在这个领域发表了很多篇论文。

在过去几年的很多学术会议上，也主持了多个关于深度学习和信息检索相结合的讲座。

第三，作者，卡特纳霍夫曼，也是来自微软研究院剑桥分布的科学家。

霍夫曼在信息检索领域的主要贡献是研究在线排序、学习论文的最后一位作者。

布鲁斯克罗夫特是信息检索领域的学术权威。

我是科恩的博士导师，他是美国ACM院士，还是信息检索领域最高学术荣誉奖？杰拉德索尔顿奖的获得者。

我们先来看论文的主要贡献。

这篇论文主要涉及了这么两个重要概念的结合。

第一个概念是跨领域信息检索。

第二个概念就是对抗学习。

跨领域信息检索主要是指我们需要对一个以上的领域进行搜索。

这里所说的领域主要是指不太相同或者非常不同的文档集合。

例如如果我们要针对体育新闻、金融、新闻等进行搜索。

这里的体育和金融就是不同的领域。

跨领域信息检索的核心挑战是我们如何针对不同的领域都能进行有效搜索。

比如，如果我们的排序算法本身，或者其特性依赖于某个特定领域的信息，例如关于体育方面的搜索，需要依赖体育运动员的名字，那这种信息肯定会很少，甚至完全不出现在另外一个领域。

因此，依靠某些领域特有的信息，很难做到真正的跨领域信息检索。

这篇文章的贡献是作者们认为，想要对跨领域的信息进行较好的检索，就需要训练。

这样的排序模型不容易被某一个特定的领域所主导，同时也尽量不偏好某一个特定领域的具体信息。

如何实现这个目的呢？作者们使用了一种叫做对抗学习的技术，这是这篇论文能够获奖的重要原因。

我在这里简单介绍一下对抗学习的原理，对抗学习最初的思想，来自于利用深度产生模型，解决计算机视觉中的一系列问题。

最基本的对抗学习的模型主要是用于产生数据，而且是比较复杂的数据。

例如，图像对抗学习有两个模模，一个模模叫产生器，一个模模块叫判别器。

产器器作作用是产生数据，判别器的作用是判断产生的数据是不是真实数据产生器的最终目的是产生能够以假乱真的数据来扰乱判别器的判断能力。

判别器的最终目的是不断提高判断能力，从而能够分辨出数据的真假。

当然，最初的时候产生器产生数据来源于随机噪声，因此判别器可以很容易的判断数据的真假。

但是慢慢的产生器产生的数据就会越来越接近真实数据，而判别器也很快在这个过程中得到优化，从而能够判别数据的真假。

当然，这是一个动态的过程，最终判别器和产生器的状态会稳定下来。

对抗学习。

这种思想最初被提出来的时候，主要是应用在计算机视觉领域中，用来产生以假乱真的图片之后，这种技术被广泛应用到人工智能的各个领域。

这篇论文最大的一个贡献，就是利用了对抗学习的理念，来增强学习到的排序模型的普适性，从而尽量避免学习到仅仅对一个领域有用的信息。

具体来说，这篇文章提出了这样一种方法。

首先我们有两套模型，一套是用于学习、查询关键词和文档之间的相关关系的，一套是对抗学习的模型。

然后这两套模型的首要任务是去更加精准的。

针对相关的文档和不相关的文档进行建模，这是整个框架里最主要的目标函数。

文章提出，框架中心的模块是利用对抗学习来分别产生相关的和不相关的文档。

具体来说，某一种类型的文档，就像我们刚才提到的图片一样，我们希望能够利用产生器来进行产生这类数据。

当然，我们依然需要判别器来引导产生器的工作。

在这篇文章中，相关的概念主要是看一个文档是不是某一个领域的。

也就是说，我们希望对抗学习，能够帮助识别某一个文档是不是来自于一个领域。

当对抗学习模型被训练好的时候，对于查询关键词和文档的相关模型，我们就会利用一种叫做梯度反转的技术，强行偏离模型，希望去拟合某一个领域的变换。

从网络结构上看，文章提出的模型、查询关键词和文档都需要经过卷积层、提取层等变换，然后进行俗称的哈达。

马基其实就是对应项成绩，这样文档和查询关键词所提取出来的隐含特征就结合在一起。

这个结果之后，又经过一系列稠密层的变换，最终预测一个相关度的标签。

对于对抗学习模型来说，对抗中的判别器从刚才所说的架构中提取一些中间层作为输入。

然后判断这个文档是不是出现在某个领域中，在一个雅虎的搜索数据集以及另外两个数据集上，对论文所提出的模型进行了实验。

实验主要是看如果我们在某一个领域上训练出的模型，会不会在另外一个领域上表现优异。

当个不令人意外的结果是，如果我们在全部领域上进行训练，数据自然在所有的领域上效果都不错。

当然，文章展示了如果利用文章提出的效法，针对某一个领域，比如运动类文档，在训练的时候完全移除所有的文档，在测试集上依然有不错的表现，实验的结果比不进行对抗，训练的效果要好百分之五以上。

今天我为你讲了今年SRGRR上的最佳短论文，一起来回顾一下要点。

第一，这篇论文主要涉及了两个概念，分别是跨领域、信息检索和对抗学习。

我们详细介绍了这篇文章的主要贡献，就是利用对抗学习的理念来增强所学排序模型的普适性。

第二，我们简要的介绍了文章提出的方法，核心内容，训练两套模型，利用对抗学习来分别产生相关的和不相关的模型。

第三，我们简单介绍了论文的实验结果，进行对抗训练，会有更好的效果。

最后给你留一个思考题，除了使用对抗训练，你还能想到什么方法？能够比较好的学习到不属于某一个特定领域信息的排序模型呢？欢迎你给我留言，和我一起讨论。