48G显存干翻144G显存! Strata 到底搞了些什么?
10 月 6 日凌晨,我们在两台机器上把同一个底模——通义 Qwen3.8-Flash-Next(125B 混合专家)——各跑了一套服务:1.74 服务器上用新部署的 Strata 引擎,单张 RTX 4090 48GB,加载 IQ3_S 三比特量化;1.
强推神项目Strata!16G显存真能跑125B?踩过3个坑
先别急着换显卡。如果你手上有一台带独显的电脑,不管台式还是游戏本,我建议你先把这个开源项目装上再说。它叫 Strata,MIT 协议开源,GitHub 上 7945 星,上线没多久就冲到这个数。我为什么这么推?
Strata 在Mac m1上跑通10~13t/s
适用版本:Strata v0.1.44.1 引擎实现:官方 v0.1.44 Metal 引擎 运行模型:Qwen3.8-Flash-Next。
12GB显存显卡跑125B模型:Strata登场
IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。
Strata实测,6倍提速背后SSD寿命与模型通用性成隐患
导语:一个专为超大规模 MoE 模型设计的推理引擎,试图用消费级硬件撬动服务器级模型的部署门槛。它带来了令人瞩目的性能跃升,也暴露了专用化路线的深层矛盾。本文基于实测数据与社区反馈,对 Strata 做一次严肃拆解。一、Strata 是什么?
Strata 实测:8GB 显卡跑 125B 模型
Qwen3.8-Flash-Next 是个狠模型:主网络 125B 参数,外加一张 51B 的 n-gram 查找表。Ollama 的 4-bit 版下载要 120GB,128GB 内存的机器都装不下。
真神!实测strata让125B在3060上跑出47token/s!
先说机器,后面所有数字都是这台机器量出来的,换一台就不成立。HP Z8 G4,Xeon Gold 6154,18核36线程,Skylake-SP,2017年的平台。内存原来48GB,10月12号加到108.8GB。
Strata 在Mac m1上跑通10~13t/s
两天本地跑通千亿大模型:我的折腾实录与 Strata 实测
一张 32GB 显存的工作站显卡,就是这次故事的主角导语昨天,我的电脑干了一件“我以为不可能”的事:在本地跑起了一个千亿参数规模的大模型。实测对话输出 138.