最新资讯AI报告博硕论文会议论文人才智库趋势分析
立即投稿
无需新型token mixer就能SOTA:MetaFormer视觉基线模型开源,刷新ImageNet记录
无需新型token mixer就能SOTA:MetaFormer视觉基线模型开源,刷新ImageNet记录
资讯

来自新加坡国立大学和 Sea AI Lab 的研究者开源了四种 MetaFormer 基线模型,通过使用最基本或者最常见的 token mixer,探索了 MetaFormer 的下限、通用性和潜力。值得注意的是,所提模型之一 CAFormer 基于 ImageNet 常规有监督训练(无额外数据和蒸馏),在 224x224 分辨率上取得 85.5% 的新纪录,相比之前的 SOTA 模型减少了 55% 的参数量和 45% 的计算量。此外,该团队所提出的激活函数StarReLU比常用的GELU减少了71%的计算量,但取得了更好的性能。

MetaFormer视觉基线模型ImageNet
机器之心
2022-12-05 14:26
阅读量:5
0
让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开
让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开
资讯

在触觉传感器与执行器综述中,我们已经大致了解腾讯 Robotics X 实验室在这两个领域的探索及成果。本文将对该实验室在触觉传感器领域的成果进行技术剖析,详解实现方式、具体效果、研究意义以及潜在应用。

机器人的触觉感官传感器
机器之心
2022-12-05 14:19
阅读量:4
0
架构瓶颈原则:用注意力probe估计神经网络组件提供多少句法信息
架构瓶颈原则:用注意力probe估计神经网络组件提供多少句法信息
资讯

本文中,剑桥和 ETH Zurich 的研究者从一个新的角度探讨了 probing,不关心模型编码了多少信息,而是关心它的组件可以提取多少信息。然后使用 V-information 来量化这个数量。通过评估流行的 transformer 语言模型注意力机制,该研究发现关于句子的语法树信息大部分都可以由模型提取。然而,对于随机初始化的 transformer 模型而言,情况并非如此。因此,该研究得出结论,对 transformer 的训练会导致注意力头具有解码语法树的潜力。

注意力probe神经网络组件
机器之心
2022-12-05 13:57
阅读量:5
0
追求高性能触觉反馈:腾讯Robotics X用执行器助力盲文读取、VR沉浸体验
追求高性能触觉反馈:腾讯Robotics X用执行器助力盲文读取、VR沉浸体验
资讯

此前,我们已经初步了解腾讯 Robotics X 实验室在触觉传感器与执行器领域的探索及成果,并从技术角度解读了触觉传感器领域的一系列干货。本文同样将对该实验室在执行器领域的成果进行技术剖析,详解其中的实现方式、具体效果、研究意义以及潜在应用。

执行器盲文读取VR沉浸体验
机器之心
2022-12-05 13:49
阅读量:13
0
有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA
有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA
资讯

蒙特利尔算法学习人工智能实验室(Mila)和微软亚洲研究院等单位提出文本图训练框架 GLEM [1],能够有效融合语言模型和图神经网络,取得 OGB 3 个数据集第一名。

语言模型、图神经网络实现新SOTA
机器之心
2022-12-05 13:32
阅读量:5
0
GENIUS: 根据草稿进行文本生成的预训练模型,可用于多种NLP任务的数据增强
GENIUS: 根据草稿进行文本生成的预训练模型,可用于多种NLP任务的数据增强
资讯

文本生成预训练模型数据增强
PaperWeekly
2022-12-05 13:23
阅读量:6
0
Neural Eigenmap: 基于谱学习的结构化表示学习
Neural Eigenmap: 基于谱学习的结构化表示学习
资讯

谱学习结构化
PaperWeekly
2022-12-05 13:04
阅读量:5
0
​达摩院文档级关系抽取新数据集和五元组抽取新任务
​达摩院文档级关系抽取新数据集和五元组抽取新任务
资讯

本文将介绍达摩院语言实验室多语言 NLP 算法团队的两篇 EMNLP 2022 主会论文。第一篇论文针对文档级关系抽取任务中普遍存在的假负类样本(False Negative Example)问题,进行了深入的分析,并对 DocRED 数据进行了大幅度修正后,发布了 Re-DocRED 数据集。第二篇论文针对三元组关系没有考虑限定信息(例如时间)的问题,我们提出了五元组关系抽取的新任务,并发布了新数据和基线模型。

新数据集抽取新任务文档级
PaperWeekly
2022-12-05 12:51
阅读量:11
0
NeurIPS 2022 | 准确建模多智能体系统,斯坦福提出隐空间多层图模型
NeurIPS 2022 | 准确建模多智能体系统,斯坦福提出隐空间多层图模型
资讯

多智能体系统隐空间多层图
PaperWeekly
2022-12-05 12:33
阅读量:4
0
NeurIPS 2022 | 基于最优子集的神经集合函数学习方法EquiVSet
NeurIPS 2022 | 基于最优子集的神经集合函数学习方法EquiVSet
资讯

最优子集函数学习方法
PaperWeekly
2022-12-05 12:22
阅读量:4
0
NeurIPS 2022 | 阿里浙大提出利用更典型的特征来提升分布外检测性能
NeurIPS 2022 | 阿里浙大提出利用更典型的特征来提升分布外检测性能
资讯

本文中,我们主要研究的是分布外(OOD)检测任务。分布外检测是确保深度神经网络在实际场景中的可靠性和安全性的关键任务。不同于以往大多数 OOD 检测方法侧重于设计 OOD score 或引入各种异常值样本进行重新训练模型,我们从典型性的角度深入研究 OOD 检测中的关键因素,并将深度模型的高概率区域的特征视为该特征的典型集。

典型的特征分布外检测
PaperWeekly
2022-12-05 12:09
阅读量:2
0
VLDB 2023 | 北大河图发布分布式训练神器Galvatron,一键实现大模型高效自动并行
VLDB 2023 | 北大河图发布分布式训练神器Galvatron,一键实现大模型高效自动并行
资讯

北大河图团队提出了一套面向大模型的自动并行分布式训练系统 Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。

训练神器Galvatron高效自动并行
PaperWeekly
2022-12-05 08:27
阅读量:9
0
​AAAI 2023 | 基于历史对比学习的时序知识图谱推理
​AAAI 2023 | 基于历史对比学习的时序知识图谱推理
资讯

知识图谱推理
PaperWeekly
2022-12-05 08:07
阅读量:15
0
COLING 2022 | 小米AI实验室:更有效的鲁棒性神经机器翻译训练方法
COLING 2022 | 小米AI实验室:更有效的鲁棒性神经机器翻译训练方法
资讯

COLING全称International Conference on Computational Linguistics,是自然语言处理领域重要的国际会议,由国际计算语言学委员会(International Committee on Computational Linguistics,ICCL)创办,每两年举办一次。小米AI实验室联合厦门大学提出的一种更有效的鲁棒神经机器翻译训练方法被COLING 2022 接收为大会口头报告(Oral)。

小米AI神经机器翻译训练
PaperWeekly
2022-12-05 07:30
阅读量:9
0
NeurIPS 2022 | 基于实例等价性的知识图谱补全
NeurIPS 2022 | 基于实例等价性的知识图谱补全
资讯

基于该洞察,我们提出了一种知识图谱补全新方法:基于实例的学习(instance-based learning)。例如,为了回答(Jill Biden, lived city, ? ),我们不直接找到答案实体 Washington D.C.,而是找到原型实体Joe Biden,因为他与 Jill Biden 有相同的 lived city。我们基于翻译模型(translational model)发展了实例等价性的理论,并与原有翻译模型相结合。我们在多个数据集上验证了所提出模型的有效性和可解释性。

实例等价性知识图谱
PaperWeekly
2022-12-05 07:07
阅读量:8
0
NeurIPS 2022高分论文!DeRy:让知识迁移像拼积木一样简单高效!
NeurIPS 2022高分论文!DeRy:让知识迁移像拼积木一样简单高效!
资讯

回归到深度学习领域,在大预训练模型风行的今天,如何将一系列大模型的能力迁移到下游特定任务中已经成为一个关键问题。以往的知识迁移或复用方法类似“雕版印刷”:我们往往需要按照任务需求训练新的完整模型。这些方法往往伴随着极大地训练成本,并难以扩展到大量的任务当中。

知识迁移简单高效!积木
FightingCV
2022-12-05 06:36
阅读量:10
0
CVPR 2022 | Accuracy和F1-score真的能代表车道线检测网络性能吗?
CVPR 2022 | Accuracy和F1-score真的能代表车道线检测网络性能吗?
资讯

在2017年TuSimple车道检测挑战赛之后,其数据集和基于accuracy和F1分数的评估已经成为衡量车道检测方法性能的事实标准。虽然它们在提高车道检测方法的性能方面发挥了重要作用,但这种评估方法在下游任务中的有效性尚未得到充分研究。在本文中,我们设计了 2 个新的面向驾驶的车道检测指标:其中,端到端横向偏差指标(End-to-End Lateral Deviation metric )(E2E-LD)是根据自动驾驶的要求直接制定的,这是车道检测的核心下游任务;每帧模拟横向偏差度量(Per-frame Simulated Lateral Deviation metric) (PSLD) 是 E2E-LD 的轻量级替代。为了评估指标的有效性,我们在 TuSimple 数据集和我们新构建的数据集 Comma2k19-LD 上使用 4 种主要类型的车道检测方法进行了大规模实验研究。我们的结果表明,传统指标与 E2E-LD 具有很强的负相关性 (≤-0.55),这意味着最近一些纯粹针对传统指标的改进可能不会导致自动驾驶的有意义的改进,反而可能由于过度拟合传统指标使实际情况变得更糟。自动驾驶是一个安全至上系统,对鲁棒性的低估阻碍了实用车道检测模型的良性发展。我们希望本文研究能够帮助社区实现更多的车道检测下游任务感知评估

Accuracy和F1-score代表车道线检测网络
集智书童
2022-12-05 06:10
阅读量:7
0
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢?
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢?
资讯

许多新兴智能物联网应用对轻量级多人姿势估计的需求越来越大。然而,现有算法往往具有较大的模型尺寸和密集的计算需求,使得它们不适合实时应用和在资源受限的硬件上部署。轻量级和实时的方法非常罕见,更多都是以低的精度为代价。

Efficient-HRNet
集智书童
2022-12-05 05:40
阅读量:9
0
Computer scientists succeed in solving algorithmic riddle from the 1950s
Computer scientists succeed in solving algorithmic riddle from the 1950s
资讯

2022-12-02 07:02
阅读量:35
0
解决神经网络的百年难题,MIT新模型Liquid CfC让模拟大脑动力学成为可能
解决神经网络的百年难题,MIT新模型Liquid CfC让模拟大脑动力学成为可能
资讯

随着神经元数量的增加,人工智能模型的训练和计算成本都变得非常高昂。有没有一种模型能够既实现类似于人脑的神经模拟,又速度快成本低呢

Liquid CfC模拟大脑动力学
机器之心
2022-12-02 06:51
阅读量:83
0
排行
暂无排行信息