360与昇腾AI联合打造解决方案,为AI Agent全面提速
来源:环球网 【环球网科技综合报道】2026年9月17日,第十一届华为全联接大会在上海开幕。大会期间,360集团与昇腾AI联合打造解决方案。
从 34.81 秒降至 11.89 秒:Agent推理运行时完成新一轮性能验证
来源:环球网 随着企业AI从单次模型调用转向长期运行的Agent,推理基础设施的关注点也在变化:除GPU算力外,上下文能否持续保存、跨实例复用,并在Agent暂停和再次唤醒时低成本恢复,正越来越直接地影响实际运行效率。
DSH 0.1.5 in-history机制:更新系统提示如何继续复用 Prefix Cache
DeepSeek Harness(DSH)0.1.5 的更新了一个System Prompt 的规则,可以在更新 System Prompt 的同时,尽可能保留已有缓存。
英伟达HBM告急,下一代GPU受限,这块硬盘却抢走风头
一次任务可能连续访问模型、记忆、向量索引、业务数据库、对象存储和网络服务,还会把工具结果、执行轨迹、用户偏好、临时上下文与审计记录不断写回。
缓存命中率飙升至93.2%!Meta提出LLM推理Prefix Cache请求路由方案
智猩猩AI整理 编辑:BugMaker 大模型推理服务里,Prefix Cache明明已经算过一次,下一次请求却不一定能用上。问题不一定出在缓存本身,而可能出在请求被送到了哪个模型服务节点。
拆开“超节点”的伪装:没有内存统一编址,仍是服务器堆叠
当万亿参数的多模态大模型成为一种常态,AI行业的“军备竞赛”早已转向:不再只是卷模型参数、堆叠服务器,而是深入底层计算架构,开启了一场“系统级对决”。
从攻击到防御:KVGov 如何阻断 KV Cache 时间侧信道
0.前言前面已经写过两篇跟 Cache 有关的 AI 安全文章,第一篇主要研究的是 LLM 中的 KV Cache 《从原理到攻击:KV Cache 安全问题与跨会话泄漏实验》这里简单回顾一下,详细的可以看我发的链接https://www.yijinglab.
大模型时代下,缓存命中率如何影响AI产品体验与成本
从企业AI助手到代码Copilot,深入解析Prompt Cache、KV Cache等机制如何影响模型选型,以及产品经理该如何通过Prompt工程、RAG优化等策略,在AI产品的工程化与商业化之间找到平衡点。
Kimi新论文:把KVCache玩成新商业模式了
把长上下文做到极致的Kimi又发新成果!这一次瞄准的是大模型推理架构跨机房调度沉疴。他们提出了一套全新范式,Prefill-as-a-Service,预填充即服务。