17岁陈广宇的Block AttnRes:不到2%成本,如何换来25%效率提升?
2026年7月,一个17岁深圳高中生的名字,和月之暗面顶尖研究员并列出现在全球最大开源模型Kimi K3的核心技术贡献者名单上。他叫陈广宇,他参与提出的Block AttnRes设计,只用不到2%的额外算力成本,就把大模型训练效率硬生生拉高了25%。
Kimi少了一个天才少年
本文复盘这段短暂却深刻的AI研究之旅,探讨大厂如何留住这类人才。10月15日,17岁的陈广宇在社交平台 X 宣布,自己最近已经离开月之暗面 Kimi 团队。
Kimi K3公开了不少秘密,但最重要的Infra却很难抄
模型浮点运算利用率 是评估训练效率的标准指标,它是 “ 观测吞吐量 ” 与 “ 理论最大吞吐量 ” 的比值,理论最大吞吐量是假设达到峰值浮点运算的 100% 。
Kimi新架构让马斯克叹服,17岁高中生作者一战成名
17岁高中生,以一作身份,在Kimi团队把Ilya提出的设想,变成了现实。除了马斯克,这篇论文也引发了大神Karpathy的思考,直言我们对Attention is All You Need这篇Transformer开山之作的理解还是不够。
将注意力旋转 90 度!今天,Kimi 的「注意力残差」火了
就连 OpenAI 「推理模型之父」,主导了 o1/o3 系列、Codex 编程模型及 GPT-4 的 STEM 能力开发的 Jerry Tworek 都深受这一论文启发,认为应当重新思考之前的一切,「深度学习 2.0」的时代即将到来。
马斯克下场点赞!Kimi 这篇论文撬动了大模型的「祖传地基」
比如马斯克通过社交媒体表示「「Impressive work from Kimi」」OpenAI o1 主要发明者 Jerry Tworek 称其为「深度学习 2.0」的开端。
月之暗面Kimi最新技术报告引发硅谷热议,马斯克评价“令人印象深刻”
来源:环球网 【环球网科技综合报道】3月16日,月之暗面Kimi发布了一项重磅技术报告《Attention Residuals》(注意力残差),突破大模型架构中的瓶颈,重新设计深度学习中核心的残差连接结构。
Kimi少了一个天才少年
10月15日,17岁的陈广宇在社交平台 X 宣布,自己最近已经离开月之暗面 Kimi 团队。2025年11月,16岁的陈广宇以实习生身份加入Kimi。
你的火箭造得不错!马斯克与中国AI隔空互夸火上热搜
今天AI圈最大的瓜,当属硅谷大佬马斯克和国产AI黑马Kimi的隔空互夸:你一句“令人印象深刻”,我一句“你的火箭造得也不错”,直接把氛围感拉满。
语言模型的下一次进化,可能不在词表里
2014年,深度学习刚在图像识别领域站稳脚跟。到了2026年,一个更棘手的问题摆在了所有大语言模型研究者面前:模型已经能一个字一个字地把话说得很流畅了,但它们真的"理解"自己在说什么吗?这不是一个哲学问题,而是一个工程问题。