摩尔线程开源万卡训练底座,瞄准万亿参数 MoE
摩尔线程开源了一个训练框架,叫 Megatron-MUSA-Titan。发布稿标题里挂着两个数字,一万张卡,一万亿参数。一万张卡讲的是集群规模,一万亿参数讲的是模型规模。两个数要同时对得上,才算真在万卡上跑过万亿。这次不只是纸面说法。仓库能下载,还配了八份能直接跑的配置。
判断一篇论文的水平,先看Introduction:高手读论文都在看什么?
你有没有过这样的经历?拿到一篇论文,先看摘要,觉得挺厉害;接着打开 Method,开始研究各种公式、网络结构和算法细节;好不容易看到实验部分,又被一大堆数据表格绕得头晕。几个小时过去了,论文似乎读完了,但如果有人问你:这篇论文到底好在哪里?它真正解决了什么问题?
王云鹤创业后交出首个模型
王云鹤创业后,首次交卷了大模型成果。该模型由无问芯穹提供底层基础设施支撑与Infra优化技术能力,清华大学、北京大学团队参与算法和训练方法研究,共同探索提升Agent后训练的数据利用效率和训练效果。
大模型训练里,同一份好数据到底该重复看几遍?
你有没有想过这样一个问题:如果你在准备一场重要考试,手头有一本高质量的错题本,题量不多但含金量很高,你会选择只做一遍就扔在一边,还是反复刷这几十道题直到滚瓜烂熟?答案好像很直觉:好东西当然要多刷几遍。
英伟达前AI总监颠覆Transformer,5万亿上下文物理AI,推演整个宇宙
这需要的长下文长度无疑非常大,而现在初创企业Accelerated Understanding在训练中上下文以提升到万亿级别,推理时超过5万亿!
持续聚焦标准化建设,青岛市人工智能产业协会参与研制的三项国家标准获批发布
青岛日报社/观海新闻9月8日讯 近日,2026年8月27日,国家市场监督管理总局、国家标准化管理委员会正式批准发布一批人工智能领域的国家标准化指导性技术文件。
王云鹤创业后交出首个模型
王云鹤创业后,首次交卷了大模型成果。量子位获悉,华为诺亚方舟实验室前主任、盘古大模型负责人王云鹤创办的基元律动,发布首个Agent-Native模型NeoHorse。
BarTender软件彻底手动卸载流程
备份当前文件在手动删除BarTender之前,建议创建以下项目的备份:BarTender 文档 (.btw)BarTender 组件 (.btc)命名数据库连接BarTender系统数据库集成构建器集成文件(.
智谱GLM-5.5新线索指向100%RSI,唐杰再曝100T数据目标!
这两天,智谱下一代模型 GLM 5.5 的研发线索突然被刷屏。最吸引眼球的,不是又多了一个模型名字,而是资料提到,32B、122B、256B几个内部模型都做过后训练,成果还要合并进下一代基座。很多人第一反应很实际,模型到底什么时候能用,写代码能不能少返工。