训练时用粗糙的softmax近似,模型到底会学坏在哪一步?
先说一个可能让你意外的事实。在做低精度大模型训练这件事上,业界早就把矩阵乘法、权重、激活值都压缩到了很窄的数值格式里,FP8、FP4满天飞。但唯独softmax这一步,几乎所有主流方案都留了一手,继续用高精度浮点数计算。
训练后的模型到底是变聪明了,还是变得更会考试了
你有没有遇到过这种学生:平时模拟考永远年级前三,可一到那种开放性、没有标准答案的真实项目里,反而不如班里那个成绩中等但点子特别多的同学。他做题特别稳,但稳的代价是,他只会用那几种解题套路,一旦题目稍微换个样子,他就卡住了,而那个成绩中等的同学,偏偏在这种时候总能试出点新花样。
身价275亿!29岁在清华教书如今成教授首富,学生一个比一个厉害
本文叙述皆有官方信源,为了读者有更好体验放在了文章后缀!最近AI圈最扎眼的新闻,不是谁家模型又刷新了跑分,而是一张财富榜。10月27日,2026胡润百富榜刚发,一个名字被反复拎出来说,那就是唐杰。49岁,清华大学计算机系教授,身家约275亿元,成了舆论口中的中国教授首富。
号称"无损"的AI加速技术,换个精度就翻车了
2026年年初,一篇论文安静地摆在了很多研究者的桌面上,标题里有个词特别扎眼:无损。这篇论文说的是一个叫Orthrus的系统,它号称能让大语言模型的推理速度大幅提升,而且承诺输出结果和原来的模型一模一样,不多不少。
线性表征假说到底在假设什么,没人说清楚
2024年,一篇论文引爆了可解释性研究圈。Arditi等人发现,大语言模型里存在一个单独的方向,只要往这个方向推一把,模型就会放弃拒绝回答敏感问题。这篇论文被广泛引用,被当作线性表征假说的经典证据。但这里有个问题很少有人注意到。
一本“错题本“,讲透 AI 是怎么学会的、又是怎么学废的
摘要:模型一开始是一堆随机数,预测全靠猜。它凭什么越猜越准?答案是一个五步闭环:猜 → 打分 → 归因 → 改 → 再来。但真正值得警惕的是最后一环:训练分数一路下降,模型可能已经学废了。这篇文章把"学习"这件事,从技术讲到管理。一、"知道自己错了",其实一点用都没有先讲个场景。
《影之刃零》游玩体验:路径追踪绝对值得开!影驰GeForce RTX 50系显卡全分辨率实测
具体到选卡,追求 4K 顶级光影体验,建议一步到位直接上影驰 GeForce RTX 5080 HOF OC LAB Deluxe-X,预算受限也至少需要从影驰 GeForce RTX 5070 Ti 魔刃 OC 看起。
字节要用世界模型重做PICO,押注下一代内容入口
字节跳动正在研发实时空间交互式视频生成模型,基于Seedance架构,支持语音与动作输入,目标帧率20FPS,延迟0.05秒,计划与PICO头显联动。
AIBuildAI开源递归自进化PostTrain Agent,登顶PostTrainBench
PostTrainBench把这个问题做成了一个基准:给定基座模型和目标能力,Agent 在单张 H100 上、10 小时内自主设计并执行后训练方案,产出的 checkpoint 在基准方持有的、Agent 看不到的评测集上打分。
27B小模型反超1.6T巨兽!智源AREX-2长程反思撬动RSI新路径
近日,由来自智源研究院、中国科技大学、中国人民大学等多个机构的研究人员组成的 AREX 研究小组发布 AREX-2 模型。