NeurIPS 2020 | 近期必读的最优运输精选论文

作者: AMiner科技

时间: 2020-12-01 14:25

更多NeurIPS2020论文，尽在AMiner。

AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

最优的运输（Optimal transport）以及物资分配问题一直以来都被人们不断研究。这个问题最初是1780s 法国数学家Gaspard Monge提出来，后来二战的时候又被苏联数学和经济学家Kantorovich进一步研究，并为linear programming奠定了基础，1975年还因他在最优资源分配这类问题上的突出贡献，授予当年的诺贝尔经济学奖。时至今日，该问题仍然在学术界引起着广泛的关注，多位菲尔兹奖获得者在最优传输理论研究中做出重要贡献。

根据AMiner-NeurIPS 2020词云图和论文可以看出，与Optimal transport是在本次会议中的热点，下面我们一起看看Optimal transport主题的相关论文。

1.论文名称：Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation

论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397b31?conf=neurips2020

简介：Wasserstein等最佳运输（OT）距离已在GAN和域自适应等多个领域中使用。但是，OT对数据中的异常值（噪声较大的样本）非常敏感，因为在其目标函数中，由于边缘限制，每个样本（包括异常值）的权重都得到了类似的加权。为了解决这个问题，以前已经提出了具有不平衡边际约束的OT健壮公式。然而，由于其双重优化求解器的不稳定性，在诸如GAN和域自适应之类的深度学习问题中采用这些方法具有挑战性。在本文中，我们通过推导适用于现代深度学习应用程序的健壮OT优化的高效计算对偶形式来解决这些问题。我们证明了我们的配方在GAN和领域适应的两个应用中的有效性。我们的方法可以在被异常值分布破坏的嘈杂数据集上训练最新的GAN模型。特别是，我们的优化计算了训练样本的权重，反映了在模型中生成这些样本的难度。在领域适应方面，与标准对抗适应方法相比，我们强大的OT公式可提高准确性。

2.论文名称：COPT: Coordinated Optimal Transport on Graphs
论文链接：https://www.aminer.cn/pub/5e67655391e011e0d17911fd?conf=neurips2020

简介：我们介绍了COPT，这是一种通过优化例程定义的图形之间的新颖距离度量，可以同时计算一对协调的最佳运输图。这是学习通用图形表示形式的一种无监督方式，可用于图形草绘和图形比较。 COPT涉及同时优化双重传输计划，一个在两个图的顶点之间，另一个在图信号概率分布之间。我们从理论上和经验上都表明，我们的方法保留了图形上重要的全局结构信息，特别是光谱信息，使其非常适合图形上的任务，包括检索，分类，摘要和可视化。

3.论文名称：Fast Unbalanced Optimal Transport on Tree
论文链接：https://www.aminer.cn/pub/5eda19d991e01187f5d6db57?conf=neurips2020

简介：这项研究首次从算法的角度研究了不平衡最优运输问题的时间复杂性。我们揭示了不平衡最优运输中的哪些问题可以/无法有效解决。具体而言，我们证明了在强指数时间假设下，在强次二次时间内无法计算欧氏测度中的Kantrovich Rubinstein距离和最佳局部输运。然后，我们提出了一种算法，该算法可以在树度量上的准线性时间内精确地解决更普遍的不平衡最优运输问题。所提出的算法在不到一秒钟的时间内处理具有一百万个节点的树。我们的分析为不平衡最优传输算法的理论研究奠定了基础，并为将不平衡最优传输应用于百万规模数据集打开了大门。

4.论文名称：Deep Shells: Unsupervised Shape Correspondence with Optimal Transport
论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397c67?conf=neurips2020

简介：我们针对3D形状对应关系提出了一种新颖的无监督学习方法，该方法将多尺度匹配管道构建到了深度神经网络中。这种方法基于光滑的壳，这是当前最先进的公理对应方法，它需要在初始姿势的空间上进行先验随机搜索。我们的目标是通过直接从输入表面学习良好的初始化来代替此昂贵的预处理步骤。为此，我们从熵正则化的最优传输系统地导出了一个完全可区分的分层匹配管道。这使我们可以将其与基于平滑的，截短的频谱卷积滤波器的局部特征提取器组合。最后，我们表明，即使与最新的监督方法相比，所提出的无监督方法也可以大大改善多个数据集上的最新技术。此外，我们通过将我们学到的过滤器应用于明显偏离训练集的示例来证明令人信服的概括结果。

5.论文名称：Model Fusion via Optimal Transport
论文链接：https://www.aminer.cn/pub/5da598c63a55ac2466688a7b?conf=neurips2020

简介：组合不同的模型是机器学习应用程序中广泛使用的范例。尽管最常见的方法是形成模型的集合并平均其单个预测，但是由于给定的资源限制（在内存和计算方面，模型随模型的数量线性增长），这种方法通常变得不可行。我们介绍了神经网络的分层模型融合过程，该过程利用最佳运输来使模型中的神经元（软）对齐，然后平均它们的相关参数。我们讨论了以这种“一次性”方式融合神经网络的两种主要算法，而无需任何重新训练。最后，我们在CIFAR10和MNIST上说明了这在卷积网络（例如VGG11和多层感知器）上如何显着胜过香草平均，并且在传输任务上甚至超过了两个原始模型的性能。