
近年来,神经接口技术的快速发展,和其在灵长类动物体内实验中的探索应用,有利地推动了神经科学领域的前进,尤其是在人机交互、脑功能分析以及偏瘫、帕金森病等神经系统疾病的治疗方面。

尽管 Yann LeCun 或者一部分学者对 ChatGPT 的评价不高,但其商业化的成功仍是不可阻挡的。

结构化剪枝通过从神经网络中删除结构分组的参数来实现模型加速。然而,参数分组模式在不同的模型中差异很大,使得依赖于手动设计的分组方案的特定于体系结构的剪枝器无法推广到新的体系结构。

传感器内多任务学习不仅是生物视觉的关键优点,也是人工智能的主要目标。然而,传统的硅视觉芯片存在大量时间以及能量开销。此外,训练传统的深度学习模型在边缘设备上既不可扩展也不可负担。

机器学习正在经历一场由基于self-attention的Transformer的革命。

生成模型领域里,ChatGPT 并不是一切。

干扰素诱导跨膜(IFITM)蛋白是由干扰素刺激基因(ISGs)编码的小同源蛋白,可被干扰素(IFN)强烈诱导,并对多种病毒病原体的入侵提供抗性。

人眼的空间分辨率和对比灵敏度是有限的,这限制了我们直接看到亚细胞结构的能力。

这是一篇弱监督+自监督的旋转目标检测方法解读,性能比肩全监督的方法。

本文提出了一种基于 prompt 的 P-BERT 和 C-BERT 的中文 few-shot NER。本文在高资源数据集上训练标注模型,然后在低资源数据集上发现更多隐式标签,并且进一步设计了一种标签扩展策略来实现高资源数据集的标签传输。本文在微博和其他三个抽样中文 NER 数据集上评估了模型,实验结果证明了本文的方法在 few-shot 学习中的有效性。

经典彩票假说算法通过 IMP 剪枝算法寻找稀疏子网。通过 IMP 剪枝得到的掩码中非 0 元素一般是分散的,这种非结构化掩码对硬件加速是非常不利的。本文介绍近期提出的两种通过特殊的后处理算法将彩票假说得到的非结构稀疏掩码转变为合适的结构化稀疏掩码。这里两种结构化剪枝关注于通道剪枝、分组剪枝与 N:M 剪枝。

本文作者从稀疏性的角度提出了一个应用超大 Kernel 的方法,它可以平滑地将 Kernel 扩展到 61×61,并具有更好的性能。因此作者将模型命名为稀疏大 Kernel 网络 (SLaK),一种配备 51×51 卷积核的纯 CNN 架构。

论文介绍了2023年医学领域最值得关注的研究进展,涉及帕金森病、癌症(包括卵巢癌、宫颈癌、前列腺癌以及癌症转移)、肌营养不良症、肥胖症、昏睡病、阿尔茨海默病、镰状细胞病等多种疾病。

本文使用了一系列可视化方法探索了神经损失函数的结构,以及loss landscape对泛化的影响,提出了一种基于 "Filter Normalization" 的简单可视化方法。当使用这种归一化时,最小化的锐度与泛化误差有很高的相关性,这种展示的可视化结果非常清晰。

本文介绍机器学习顶级国际会议 ICML 2021 接收的 long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。

过去的一年见证了Transformer模块在视觉问题上的快速发展。

ICL的工作原理整明白了!

考虑到工程设计和制造随着计算技术的发展而快速发展,你可能会惊讶地发现,很少有工程师同时接受过工程系统设计和人工智能方面的培训。在我们如何在工程设计中使用 AI 开发新技术方面,存在无数突破性改进的机会,但要在这些具有挑战性的领域取得成功,工程师必须了解一个新的专业——人工智能设计。

本文旨在介绍近年等变图神经网络的进展,参考于最新的等变图神经网络综述。

数字科技的更新迭代和普及渗透颠覆了传统社会的连接方式,万物互联成为未来社会发展的大势所趋。在这一背景下,建设数字中国成为实现高质量发展的客观要求,也是构筑国家竞争新优势、推动产业现代化的重要举措。目前,中国数字科技发展处于什么阶段?与发达国家相比中国有哪些优势?今后应该朝什么方向持续发力?