700 亿个数字里,没有一个写着“猫“:模型的知识到底存在哪?
摘要:都说大模型有多少亿参数。但那些数字到底在干什么?为什么权重可以是负的?改一个权重,预测就变了?偏置是干嘛的?权重越大就越重要吗?以及最关键的那个问题——模型学到的东西,究竟存在哪里?答案可能会让你对"知识"这个词,产生全新的理解。
当训练一个大模型陪着它一起长大的小助手,会遇到什么麻烦
2024 年前后,强化学习后训练成了打造推理型大模型的标配做法。你可以把它理解成,模型先学会说话,再通过不断试错、拿反馈来学会把话说得更好、更聪明。但这里有个几乎所有做这件事的人都会撞上的墙:训练时间大部分不是花在算梯度上,而是花在生成上。
提示词工程已死!祖师爷亲手砸饭碗:以后问AI,不用再念咒了
10 月 22 日,安全研究员 Justin Elze 在 X 上发了一条帖子,正文只有一句:You're all prompting wrong,你们提示的方式全都错了。
米哈游项目组联手清北高材生,开源游戏操作AI模型:字节也做过
10月22日晚,GitHub突然出现了一个挂着米哈游、清华大学、中国科学院大学和香港大学Logo的开源项目,大标题赫然写着Scaling in Games,这把大家吓了一跳——难道米哈游悄悄搞了个大动作?
Momenta掀桌子! 20万颗跑通量产,智驾迎来“大模型定义芯片”拐点
10月29日,苏州的一场发布会,把智驾行业藏了很久的一个共识,正式摆到了台面上。当天,XHEART新芯航途正式发布大模型智驾芯片X7 Ultra,同时披露了一组已经跑通量产的数字:X7系列量产8个月,累计出货超过20万颗,搭载10款量产车型,在手订单覆盖超过40款车型。
苹果续约之前,高通在夏威夷刚讲了一个更大的故事
夏威夷时间9月24日,骁龙峰会临近尾声,高通突然宣布与苹果续签全球专利许可协议。新协议将于2027年4月1日生效,期限和具体金额没有披露。
Manus终于像个通用Agent了
2025 年 3 月 Manus 刚上线时,行业里最吵的问题是:AI Agent 到底该做全能通用型,还是聚焦单一场景。
Arm发了个“挑模型神器”,针对硬件优化,能直观对比延迟和内存占用
智东西9月9日报道,今日,在Arm Create开发者大会上,Arm推出Arm AI Portal,提供针对Arm优化的模型、代码、工作流和学习路径,让开发者与智能体都能便捷地在Arm计算平台范围内完成AI软件的发现、优化及部署。
靠“咒语”吃饭的人被判死刑,判官正是祖师爷自己
一句“提示词工程已死”,把整个AI圈炸得人仰马翻。说这话的不是外人,偏偏是把“提示词工程师”捧成正式职业的开山鼻祖Riley Goodside。事情得从10月22日说起。安全研究员Justin Elze在X上扔下一句“你们提示的方式全都错了”,还附上两张LinkedIn截图。