vLLM越忙越慢:算过的东西还要重算
请求塞得太满,vLLM 可能先让出一部分运行空间,之后再把其中的上下文重算。触发点是 KV cache 空间不够,而不是“并发高”这三个字本身;只有看到抢占记录,才有理由沿这条路排查。
朗科US26双口支架U盘评测 能加密又好用的高速U盘
【ZOL中关村在线原创评测】U盘是现代白领和商务人士的必备,但在移动办公大行其道的今天,容量已不再是衡量U盘的最重要参数,传输效率、全平台兼容和数据安全也都被重视起来。
买了一等座却全程站着?12306:无法补救
近日,有网友发帖称“一等座的我站了全程”,引发关注。当事人称,11月1日她乘坐D655次列车,先买了湖州到杭州东3车厢的二等座,接着买了同趟车9车厢杭州东到宁波的一等座。按照以往经验,这段路通常会有几个停靠站。但当天,这趟车从杭州东发车后一路直达宁波,中途不停。
微信小程序积分商城实战:从签到弹窗到地址管理
摘要:本文围绕微信小程序中签到弹窗、悬浮猫咪导航与收货地址三大高频模块,从布局、状态同步、动画定位到原生 API 调用逐层拆解。重点讲解乐观更新与失败回滚、movable-view 吸附动画、wx.
CodexManager 的请求转换机制
CodexManager 把 Codex CLI 的请求接到本地网关,先做请求改写,再把上游的流式响应翻译回调用方约定的格式。v0.7.
前沿视野 · 第 02 期|Prompt Caching 底层原理与实战避坑
#探寻人工智能,从技术到真实世界#追踪来源:Anthropic 官方 Prompt Caching 规范、Google Gemini Context Caching 架构文档与 OpenAI 前缀缓存设计白皮书整理日期:2026-10-31事实级别:官方文档证据、官方 SDK 源
花3分钟清一次 我输入法里1万条打字记录 免费全清干净
上个月把旧笔记本借给同事用了两天。还回来时桌面很干净,浏览器历史也清了,但我心里还是不踏实——他只要在我电脑上打几个字,就能大致猜出我最近在忙什么。这不是多疑。Windows 自带的微软拼音会把你打过的词一个个攒起来,存成两个文件,放在一个不用管理员权限就能打开的地方。
Kimi K3.1 Pro来了:基于CANN的Day0推理支持与性能优化
10月24日,Moonshot AI发布Kimi K3.1 Pro,并于11月4日正式开源。CANN完成Kimi K3.1 Pro的Day0支持与优化,助力开发者在昇腾平台上快速部署与体验。承接Kimi K3积累,快速适配新架构Kimi K3.
AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分
来源:市场资讯(来源:新智元)新智元报道AI看着自己的脑子改写自己,这一天还是来了!7630亿参数的DeepSeek-V4.1-Flash,直接读取了自己做数学题时最深7层的内部激活状态。