所有文章 > 正文

IJCAI 2020 | 近期必读的注意力网络精选论文​

作者: AMiner科技

时间: 2020-12-01 14:25

更多IJCAI2020论文,尽在AMiner。

AMiner平台(https://www.aminer.cn)由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。


人类的注意力机制(Attention Mechanism)是从直觉中得到,它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式,被广泛的应用在自然语言处理、图像分类及语音识别等各种不同类型的深度学习任务中,并取得了显著的成果。

具体来说,在2014年,Google Mind团队发表的《Recurrent Models of Visual Attention》论文使Attention机制开始火了起来,该论文提出在RNN模型上使用Attention机制来进行图像分类,结果取得了很好的性能。

随后,在Bahdanau等人发表论文《Neural Machine Translation by Jointly Learning to Align and Translate》中提出在机器翻译任务上使用Attention机制将翻译和对齐同时进行,他们的工作是第一个将Attention机制应用在NLP领域中的。

接着,在论文《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》中,成功的将Attention机制应用在Image Caption领域。

从此,Attention机制就被广泛应用在基于RNN神经网络模型的各种深度学习任务中。随后,如何在CNN中使用Attention机制也成为研究的热点。

2017年,Google发表的论文《Attention is all you need》中提出在机器翻译上大量使用自注意力(self-attention)机制来学习文本表示,至此attention机制在绝大多数的自然语言处理任务中都被应用。

而在本次的IJCAI 2020中,也涌现了很多注意力机制的相关研究,让我们一起来看看吧。


1.论文名称:BARNet: Bilinear Attention Network with Adaptive Receptive Field for Surgical Instrument Segmentation

论文链接:https://www.aminer.cn/pub/5e281dbb3a55ac4d187e08d7/?conf=ijcai2020

简介:手术器械分割对于计算机辅助手术极为重要。与普通对象分割不同,由于特殊手术场景引起的较大照明和比例变化,因此更具挑战性。在本文中,我们提出了一种具有自适应感受野的新型双线性注意力网络来解决这两个挑战。对于照明变化,双线性注意模块可以捕获二阶统计量,以对全局上下文和局部像素之间的语义相关性进行编码。有了它们,就可以从他们的邻居那里推断出具有挑战性的区域中的语义特征,并且可以增强各种语义的区别。对于比例变化,我们的自适应接收场模块会聚合多比例特征,并自动将它们与不同的权重融合。具体来说,它对通道之间的语义关系进行编码,以强调具有适当比例的特征图,从而更改后续卷积的接收场。拟议的网络在Cata7上实现了97.47%的平均IOU的最佳性能,并在EndoVis 2017上以10.10%的IOU超过第二名的方法排名第一。

2.论文名称:Cross-Interaction Hierarchical Attention Networks for Urban Anomaly Prediction

论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef2772224?conf=ijcai2020

简介:预测城市空间中的异常情况(例如,阻塞的车道和车辆碰撞)在协助政府和社区建设从智能交通到公共安全的智慧城市应用方面发挥着重要作用。但是,由于以下两个因素,对城市异常的预测并不容易:i)异常发生的顺序过渡规律复杂,呈现高阶和动态相关性。 ii)在现实世界中的城市异常预测场景中,区域,时间和异常类别之间的相互作用是多维的。如何在预测框架中融合来自空间,时间和类别维度的多个关系仍然是一个重大挑战。为了解决这两个挑战,我们提出了一种跨交互的分层注意力网络模型(CHAT),该模型揭示了带有时间戳的城市异常数据的动态发生模式。我们的CHAT框架可以自动捕获跨不同时间步长的过去异常事件的相关性,并区分哪种类型的交叉模式交互对于做出未来的预测更为重要。实验结果表明,CHAT框架优于最新的基准。

3.论文名称:Internal and Contextual Attention Network for Cold-start Multi-channel Matching in Recommendation

论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef277212d?conf=ijcai2020

简介:现实世界中集成的个性化推荐系统通常处理数百万种异构项目。由于巨大的计算成本,使用复杂的模型进行完整的语料库检索非常具有挑战性。因此,大多数大型推荐系统由两个模块组成:一个用于有效检索一小部分候选人的多渠道匹配模块,以及一个用于精确个性化推荐的排名模块。但是,在添加新通道或新数据源时,多通道匹配通常会遇到冷启动问题。为解决此问题,我们提出了一种新颖的内部和上下文关注网络(ICAN),该网络突出显示了特定于通道的上下文信息以及多个通道之间的特征字段交互。在实验中,我们通过实际集成推荐系统上的案例研究进行离线和在线评估。重大改进证实了ICAN的有效性和鲁棒性,尤其是对于冷启动通道。目前,ICAN已部署在数百万用户使用的微信热门故事上

4.论文名称:Hype-HAN: Hyperbolic Hierarchical Attention Network for Semantic Embedding

论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef27721de?conf=ijcai2020

简介:双曲空间是具有恒定负曲率的明确定义的空间。 最近的研究表明,以其出色的高容量和连续的树状特性捕获复杂的层次结构的可能性很小。 本文通过介绍一种称为双曲线层次注意网络(Hype-HAN)的双曲线神经网络体系结构,将双曲线空间的优势与文档的幂律结构架起了桥梁。 Hype-HAN在Lorentz模型,Klein模型和Poincaré模型的黎曼几何上定义了三个层次的嵌入(单词/句子/文档)和两层双曲注意机制(单词到句子/句子到文档)。 位于不断变化的嵌入空间中,我们同时使用常规的GRU(门控循环单元)和双曲线GRU以及Möbius运算。 Hype-HAN适用于大规模数据集。实验结果表明了该方法的有效性。

5.论文名称:Infobox-to-text Generation with Tree-like Planning based Attention Network

论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef27721df?conf=ijcai2020

简介:我们研究了信息框到文本生成的问题,该问题旨在从键值表生成文本描述。将输入信息框表示为一个序列,以前的使用端到端模型而不进行订单计划的神经方法会遇到不连贯和不适用于无序输入的问题。最近的基于计划的模型仅实现静态订单计划来指导生成,这可能会导致计划和生成之间的错误传播。为了解决这些问题,我们提出了一个基于树状规划的注意力网络(Tree-PLAN),该网络利用静态订单计划和动态调整来指导生成。一种新颖的树状调整编码器旨在通过将最相关的属性逐层合并在一起,动态调整静态定单计划,以进行更好的计划。在两个数据集上进行的实验表明,我们的模型在自动评估和人工评估方面均优于以前的方法,并表明我们的模型对无序输入具有更好的适应性。

更多IJCAI2020论文,可以关注公众号或者链接直达IJCAI2020专题,最前沿的研究方向和最全面的论文数据等你来~扫码查看更多IJCAI 2020论文

添加“小脉”微信,留言“IJCAI”,即可加入【IJCAI2020会议交流群】,与更多论文作者学习交流!

二维码 扫码微信阅读
推荐阅读 更多