来自新加坡国立大学和 Sea AI Lab 的研究者开源了四种 MetaFormer 基线模型，通过使用最基本或者最常见的 token mixer，探索了 MetaFormer 的下限、通用性和潜力。值得注意的是，所提模型之一 CAFormer 基于 ImageNet 常规有监督训练（无额外数据和蒸馏），在 224x224 分辨率上取得 85.5% 的新纪录，相比之前的 SOTA 模型减少了 55% 的参数量和 45% 的计算量。此外，该团队所提出的激活函数StarReLU比常用的GELU减少了71%的计算量，但取得了更好的性能。

在触觉传感器与执行器综述中，我们已经大致了解腾讯 Robotics X 实验室在这两个领域的探索及成果。本文将对该实验室在触觉传感器领域的成果进行技术剖析，详解实现方式、具体效果、研究意义以及潜在应用。

本文中，剑桥和 ETH Zurich 的研究者从一个新的角度探讨了 probing，不关心模型编码了多少信息，而是关心它的组件可以提取多少信息。然后使用 V-information 来量化这个数量。通过评估流行的 transformer 语言模型注意力机制，该研究发现关于句子的语法树信息大部分都可以由模型提取。然而，对于随机初始化的 transformer 模型而言，情况并非如此。因此，该研究得出结论，对 transformer 的训练会导致注意力头具有解码语法树的潜力。

此前，我们已经初步了解腾讯 Robotics X 实验室在触觉传感器与执行器领域的探索及成果，并从技术角度解读了触觉传感器领域的一系列干货。本文同样将对该实验室在执行器领域的成果进行技术剖析，详解其中的实现方式、具体效果、研究意义以及潜在应用。

蒙特利尔算法学习人工智能实验室（Mila）和微软亚洲研究院等单位提出文本图训练框架 GLEM [1]，能够有效融合语言模型和图神经网络，取得 OGB 3 个数据集第一名。

本文将介绍达摩院语言实验室多语言 NLP 算法团队的两篇 EMNLP 2022 主会论文。第一篇论文针对文档级关系抽取任务中普遍存在的假负类样本（False Negative Example）问题，进行了深入的分析，并对 DocRED 数据进行了大幅度修正后，发布了 Re-DocRED 数据集。第二篇论文针对三元组关系没有考虑限定信息（例如时间）的问题，我们提出了五元组关系抽取的新任务，并发布了新数据和基线模型。

本文中，我们主要研究的是分布外（OOD）检测任务。分布外检测是确保深度神经网络在实际场景中的可靠性和安全性的关键任务。不同于以往大多数 OOD 检测方法侧重于设计 OOD score 或引入各种异常值样本进行重新训练模型，我们从典型性的角度深入研究 OOD 检测中的关键因素，并将深度模型的高概率区域的特征视为该特征的典型集。

北大河图团队提出了一套面向大模型的自动并行分布式训练系统 Galvatron，相比于现有工作在多样性、复杂性、实用性方面均具有显著优势，论文成果已经被 VLDB 2023 接收。

COLING全称International Conference on Computational Linguistics，是自然语言处理领域重要的国际会议，由国际计算语言学委员会（International Committee on Computational Linguistics，ICCL）创办，每两年举办一次。小米AI实验室联合厦门大学提出的一种更有效的鲁棒神经机器翻译训练方法被COLING 2022 接收为大会口头报告（Oral）。

基于该洞察，我们提出了一种知识图谱补全新方法：基于实例的学习（instance-based learning）。例如，为了回答（Jill Biden, lived city, ? ），我们不直接找到答案实体 Washington D.C.，而是找到原型实体Joe Biden，因为他与 Jill Biden 有相同的 lived city。我们基于翻译模型（translational model）发展了实例等价性的理论，并与原有翻译模型相结合。我们在多个数据集上验证了所提出模型的有效性和可解释性。

回归到深度学习领域，在大预训练模型风行的今天，如何将一系列大模型的能力迁移到下游特定任务中已经成为一个关键问题。以往的知识迁移或复用方法类似“雕版印刷”：我们往往需要按照任务需求训练新的完整模型。这些方法往往伴随着极大地训练成本，并难以扩展到大量的任务当中。

在2017年TuSimple车道检测挑战赛之后，其数据集和基于accuracy和F1分数的评估已经成为衡量车道检测方法性能的事实标准。虽然它们在提高车道检测方法的性能方面发挥了重要作用，但这种评估方法在下游任务中的有效性尚未得到充分研究。在本文中，我们设计了 2 个新的面向驾驶的车道检测指标：其中，端到端横向偏差指标（End-to-End Lateral Deviation metric )（E2E-LD）是根据自动驾驶的要求直接制定的，这是车道检测的核心下游任务；每帧模拟横向偏差度量（Per-frame Simulated Lateral Deviation metric） (PSLD) 是 E2E-LD 的轻量级替代。为了评估指标的有效性，我们在 TuSimple 数据集和我们新构建的数据集 Comma2k19-LD 上使用 4 种主要类型的车道检测方法进行了大规模实验研究。我们的结果表明，传统指标与 E2E-LD 具有很强的负相关性 (≤-0.55)，这意味着最近一些纯粹针对传统指标的改进可能不会导致自动驾驶的有意义的改进，反而可能由于过度拟合传统指标使实际情况变得更糟。自动驾驶是一个安全至上系统，对鲁棒性的低估阻碍了实用车道检测模型的良性发展。我们希望本文研究能够帮助社区实现更多的车道检测下游任务感知评估

许多新兴智能物联网应用对轻量级多人姿势估计的需求越来越大。然而，现有算法往往具有较大的模型尺寸和密集的计算需求，使得它们不适合实时应用和在资源受限的硬件上部署。轻量级和实时的方法非常罕见，更多都是以低的精度为代价。

随着神经元数量的增加，人工智能模型的训练和计算成本都变得非常高昂。有没有一种模型能够既实现类似于人脑的神经模拟，又速度快成本低呢