A卡跑大模型只用CPU不用显存，电脑天天卡死，最后找到了4条出路
上周有个客户咨询我，语气挺急的。他说他的电脑配的是A卡，16G显存，拿Ollama本地跑大模型，结果发现一个问题，推理的时候显卡基本闲置，Ollama完全不调用显存，全靠CPU和内存在扛。模型小的时候还能忍，模型一大，内存直接被吃满，整个电脑卡死，鼠标都动不了。我当时就。。。
锐龙AI Max+ 395本地部署实战DeepSeek V4蒸馏模型
【ZOL中关村在线原创评测】4月24日，DeepSeek V4预览版正式上线并且同步开源，直接拿下了开源模型的NO.1的王座，可以说是在五一假期前给AI行业带来了新的震撼。DeepSeek V4 Pro版拥有1.
Docker 扩展 Compose，新增 Cloud Offload 支持
作者 | Sergio De Simone译者 | 平川Docker 推出了一个新特性，允许开发者 使用 Docker Compose 定义、构建和运行代理，目的是简化代理开发流程并减少重复性任务。
Rust GPU编程追平CUDA！H100上部分场景反超11%
快科技8月18日消息，近日，一篇聚焦Rust语言GPU编程的最新研究论文显示，通过LLVM的卸载基础设施，Rust编写的GPU内核性能已能媲美手写优化的CUDA和HIP C++方案。这套方案完全构建于LLVM后端与Rust编译器内部，无需依赖第三方组件。
在AMD锐龙AI Max+处理器和Radeon GPU上本地运行OpenClaw
RadeonClaw评分卡展示了在AMD Radeon AI PRO R9700显卡上运行相同工作负载时所带来的性能提升。
在AMD锐龙AI Max+处理器和Radeon GPU上本地运行OpenClaw
多年来，强大的AI模型主要部署在云端，通过远程API和服务进行访问。但随着本地硬件性能的提升以及推理软件栈的优化正开始改变这种模式，使得直接在个人系统上运行高性能的大语言模型成为可能。这一转变也催生了一个被称为"智能体计算机（Agent Computer）"的新计算类别。
马斯克惊呼太强了，国产0.8B模型开源，网友：已在iPhone上摩拳擦掌
智东西3月3日报道，昨日晚间，阿里开源4款Qwen3.5小尺寸模型系列:Qwen3.5-0.8B、Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B，可部署于笔记本电脑等端侧设备。
为什么MOE模型在LM STUDIO里面把GPU卸载拉满反而慢如蜗牛
你有没有本地部署大模型的时候，满心欢喜的把各种营销号推荐的什么8G显存消费显卡就实现TOKEN自由的MOE大模型下载下来根本各种教程设置好参数后，一看日志却发现速度只有十几token甚至几token，出现这种情况很大程度是轻信了那些推荐的配置把GPU卸载拉到最大！
在AMD锐龙AI Max+处理器和Radeon GPU上本地运行OpenClaw
RadeonClaw评分卡展示了在AMD Radeon AI PRO R9700显卡上运行相同工作负载时所带来的性能提升。