对比学习引领弱标签学习新SOTA，浙大新研究入选ICLR Oral
日期：2022-02-17 16:41:06 / 人气：278
机器之心专栏作者：王皓波本文引见浙江大学、威斯康星大学麦迪逊分校等机构的最新打工 PiCO，相关论文已被 ICLR 2022 录用（Oral, Top 1.59%)！偏标签学习 (Partial Label Learning, PLL) 是一个经典的弱监视学习成绩，它允许每个训练样本关联一个候选的标签集合，适用于许多具有标签不确定性的的理想世界数据标注场景。但是，现存的 PLL 算法与完全监视下的办法仍然存在较大差距。爲此，本文提出一个协同的框架处理 PLL 中的两个关键研讨应战 —— 表征学习和标签消歧。详细地，研讨者提出的 PiCO 由一个比照学习模块和一个新颖的基于类原型的标签消歧算法组成。PiCO 爲来自同一类的样本生成严密对齐的表示，同时促进标签消歧。从实际上讲，研讨者标明这两个组件可以相互促进，并且可以从希冀最大化 (EM) 算法的角度失掉严厉证明。少量实验标明，PiCO 在 PLL 中显着优于目前最先进的 PLL 办法，甚至可以到达与完全监视学习相当的后果。论文地址：https://arxiv.org/pdf/2201.08984v2.pdf项目主页：https://github.com/hbzju/pico背景深度学习的衰亡依赖于少量的精确标注数据，但是在许多场景下，数据标注自身存在较大的不确定性。例如，大局部非专业标注者都无法确定一只狗究竟是阿拉斯加还是哈士奇。这样的成绩称爲标签歧义（Label Ambiguity），源于样本自身的模糊性和标注者的知识缺乏，在更需求专业性的标注场景中非常普遍。此时，要取得精确的标注，通常需求聘器具有丰厚范畴知识的专家停止标注。爲了增加这类成绩的标注本钱，本文研讨偏标签学习 [1]（Partial Label Learning，PLL），在该成绩中，研讨者允许样本关联一个候选标签集合，其中包括了真实的标签 。在 PLL 成绩中，最重要的成绩爲标签消歧（Disambiguation），即从候选标签集合中辨认失掉真实的标签。爲了处理 PLL 成绩，现有的打工通常假定样本具有良好的表征，然后基于平滑假定停止标签消歧，即假定特征接近的样本能够共享相反的真实标签。但是，对表征的依赖致使 PLL 办法堕入了表征 - 消歧窘境：标注的不确定性会严重影响表征学习，表征的质量又反向影响了标签消歧。因而，现有的 PLL 办法的功能间隔完全监视学习的场景，仍然存在一定的差距。爲此，研讨者提出了一个协同的框架 PiCO，引入了比照学习技术（Contrastive Learning，CL），来同时处理表示学习和标签消歧这两个高度相关的成绩。本文的次要奉献如下：办法：本论文率先探究了局部标签学习的比照学习，并提出了一个名爲 PiCO 的新框架。作爲算法的一个组成局部，研讨者还引入了一种新的基于原型的标签消歧机制，无效应用了比照学习的 embeddings。实验：研讨者提出的 PiCO 框架在多个数据集上获得了 SOTA 的后果。此外，研讨者初次尝试在细粒度分类数据集上停止实验，与 CUB-200 数据集的最佳基线相比，分类功能进步了 9.61%。作者：蓝狮娱乐
新闻资讯 News
- 冬日温情秘籍：生活打卡季，共度...12-17
- 徐良、张远反思自己条件不差为啥...12-17
- 《我是刑警》：剧中她演最丑的女...12-17
- 女明星骨相有多重要，当董洁和马...12-17