保利彩票app-保利彩票平台「官网」
做最好的网站

首届图灵班学生在第七届国际学习表征会议(I

日前,第七届国际学习表征会议公布了论文接收名单。北京大学信息科学技术学院2016级图灵班本科生曹芃、许逸伦作为共同第一作者完成的学术论文《Max-MIG:基于信息论的众包联合学习》榜上有名;指导教师为北京大学前沿计算研究中心助理教授孔雨晴和信息学院教授/前沿计算研究中心副主任王亦洲。

日前,第七届国际学习表征会议(The 7th International Conference on Learning Representations, ICLR2019)公布了论文接收名单。北京大学信息科学技术学院2016级图灵班本科生曹芃、许逸伦作为共同第一作者完成的学术论文《Max-MIG:基于信息论的众包联合学习》(Max-MIG: an information theoretic approach for joint learning from crowds)榜上有名。指导教师为北京大学前沿计算研究中心助理教授孔雨晴和信息学院教授/前沿计算研究中心副主任王亦洲。

原标题:学界 | 最大化互信息来学习深度表示,Bengio等提出Deep INFOMAX

作为用来获取大量标注数据的可行方法,众包是指从一个广泛的群体,尤其是在线平台获取对数据样本的标注。然而,由于标注者所给出的标注可能存在各种各样的错误,且标注者所做出的标注错误并不一定是两两独立的,从而需要推断真实的标注。

作为用来获取大量标注数据的可行方法,众包是指从一个广泛的群体,尤其是在线平台(比如亚马逊的众包平台Amazon Mechanical Turk)获取对数据样本的标注。然而,由于标注者所给出的标注可能存在各种各样的错误,且标注者所做出的标注错误并不一定是两两独立的,从而需要推断真实的标注。

选自arXiv

为此,该论文基于共同学习的框架和最大化互信息,提出一种基于信息论思想、适用于各个信息结构的算法,并称之为Max-MIG。在这种算法中,同时训练数据分类器和标注聚合器,希望最大化的目标函数为二者输出的MIG,即互信息的一个下界。作者证明了当数据分类器与标注聚合器同时取到真实贝叶斯后验概率,MIG取得最大值。MIG的计算方式可以理解为:如果两边的网络对于相匹配的两个输入,两边网络输出一致,则给予奖励;如果对于不匹配的两个输入,两边网络输出一致,则给予惩罚。这样,即可防止两边的网络一直输出相同的无意义的标签,比如一直输出“良性”。 上述算法在生成的数据集与真实的数据集上均取得最佳结果。

为此,该论文基于共同学习的框架和最大化互信息,提出一种基于信息论思想、适用于各个信息结构的算法,并称之为Max-MIG。这种算法通过同时训练数据分类器(卷积神经网络)和标注聚合器(加权平均),希望最大化的目标函数为二者输出的MIG,即互信息的一个下界。作者证明了当数据分类器与标注聚合器同时取到真实贝叶斯后验概率,MIG取得最大值。MIG的计算方式可以理解为:如果两边的网络对于相匹配的两个输入,两边网络输出一致,则给予奖励;如果对于不匹配的两个输入,两边网络输出一致,则给予惩罚。这样,即可防止两边的网络一直输出相同的无意义的标签,比如一直输出“良性”。上述算法在生成的数据集与真实的数据集上均取得最佳结果。

作者:**R Devon Hjelm、Bengio等**

ICLR是深度学习领域的顶级会议,也是国际发展最快的人工智能专业会议之一;采取公开评审的审稿制度,因其在深度学习领域各方面,如人工智能、统计学和数据科学,以及计算机视觉、计算生物学等重要应用领域发表和展示前沿研究成果而享誉全球。ICLR2019将于2019年5月6—9日在美国路易斯安那州新奥尔良市举行。

ICLR是深度学习领域的顶级会议,也是国际发展最快的人工智能专业会议之一。会议采取公开评审的审稿制度,因其在深度学习领域各方面(如人工智能、统计学和数据科学),以及计算机视觉、计算生物学等重要应用领域发表和展示前沿研究成果而享誉全球。ICLR2019将于2019年5月6—9日在美国路易斯安那州新奥尔良市举行。

参与:高璇、刘晓坤

原文链接:

责编:麦洛

style="font-size: 16px;">许多表示学习算法使用像素级的训练目标,当只有一小部分信号在语义层面上起作用时是不利的。在这篇论文中,Bengio 等研究者假设应该更直接地根据信息内容和统计或架构约束来学习表示,据此提出了 Deep INFOMAX(DIM)。该方法可用于学习期望特征的表示,并且在分类任务上优于许多流行的无监督学习方法。他们认为,这是学习「好的」和更条理的表示的一个重要方向,有利于未来的人工智能研究。

引言

在意识层面上,智能体并不在像素和其他传感器的层面上进行预测和规划,而是在抽象层面上进行预测。因为语义相关的比特数量(在语音中,例如音素、说话者的身份、韵律等)只是原始信号中总比特数的一小部分,所以这样可能更合适。

然而,大多数无监督机器学习(至少是部分地)基于定义在输入空间中的训练目标。由于无需捕获少数语义相关的比特,就可以很好地优化这些目标,因此它们可能不会产生好的表示。深度学习的核心目标之一是发现「好的」表示,所以我们会问:是否有可能学习输入空间中未定义的训练目标的表示呢?本文探讨的简单想法是训练表示学习函数(即编码器)以最大化其输入和输出之间的互信息。

互信息是出了名的难计算,特别是在连续和高维设置中。幸运的是,在神经估计的最新进展中,已经能够有效计算深度神经网络的高维输入/输出对之间的互信息。而在本项研究中,研究人员利用这些技术进行表示学习。然而,最大化完全输入与其表示之间的互信息(即全局互信息)不足以学习有用的表示,这依赖于下游任务。相反,最大化输入的表示和局部区域之间的平均互信息可以极大地改善例如分类任务的表示质量,而全局互信息在给定表示的重建完整输入上能发挥更大的作用。

表示的作用不仅仅体现在信息内容的问题上,架构等表示特征也非常重要。因此,研究者以类似于对抗性自编码器或 BiGAN 的方式将互信息最大化与先验匹配相结合,以获得具有期望约束的表示,以及良好的下游任务表现。该方法接近 INFOMAX 优化原则,因此研究者们将他们的方法称为深度 INFOMAX(DIM)。

本研究贡献如下:

  • 规范化的深度 INFOMAX(DIM),它使用互信息神经估计(MINE)来明确地最大化输入数据和学习的高级表示之间的互信息。
  • 互信息最大化可以优先考虑全局或局部一致的信息,这些信息可以用于调整学习表示的适用性,以进行分类或风格重建的任务。
  • 研究者使用对抗学习来约束「具有特定于先验的期望统计特征」的表示。
  • 引入了两种新的表示质量的度量,一种基于 MINE,另一种是 Brakel&Bengio 研究的的依赖度量,研究者用它们来比较不同无监督方法的表示。

本文由保利彩票app发布于保利彩票官网,转载请注明出处:首届图灵班学生在第七届国际学习表征会议(I

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。