记忆张量 MemT1.0 把记忆写进模型
引子:1/66 的状态开销,和一个被误解的问题2026 年 10 月 20 日,来自上海的记忆张量(MemTensor)团队开源了 MemT-1.0 系列记忆原生基座模型,包含两款:MemT-1.
AI 智能体简史(万字总结)
智能体是今年非常火的方向,2025年称为“智能体元年”。为了便于大家更系统的入门和学习,最近,我们会为大家分享关于AI智能体的实用内容:《Hello-Agents》项目正式发布,一起从零学习智能体!第一篇:关于智能体(AI Agent)入门,一篇超详细的总结!
vLLM与PagedAttention:大模型推理KV Cache分页管理与 GPU 显存选型
摘要:PagedAttention 借鉴操作系统虚拟内存分页思想管理大模型推理的 KV cache,将显存浪费从论文报告的大幅碎片降至接近零,使同等显存下可并发服务的请求数成倍增长。对硬件选型而言,这意味着 LLM 推理的第一约束是 GPU 显存容量与显存带宽,而非单纯算力。
英伟达发布DGX Station for Windows:本地运行1万亿参数AI模型
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,英伟达发布 DGX Station for Windows,定位为桌面级 AI 超级计算机,旨在让开发者、研究人员和数据科学团队在本地运
中金 | Token启示录(五):推理产业链深度-测算篇
来源:中金点睛中金研究推理需求高增叠加算力紧缺约束的背景下,大模型、云厂商、第三方服务商均需要追求更高的推理效率。在分析推理优化的原理的基础上,市场关注:不同技术对于推理优化的定量影响如何?推理优化有哪些参与者又如何看待各方参与者?
为什么大模型的缓存命中率能到 90%?
本文作者:陈威特缘起:一个 90% 的观察如果看过自己团队的大模型 token 消耗看板,我们多半会注意到一个现象:主力模型的缓存命中率常年挂在 90% 上下,而且越是高频使用、跑得越久的模型,命中率越稳。