视频生成一长就漂移竟是前序帧「太干净」惹的祸,研究揭示共享噪声水平才是长视频稳定关键
随着视频生成向长时序演进,自回归扩散模型因其支持流式输出的特性,受到了学术界和工业界的广泛关注。论文标题:HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising。
「世界模型」究竟是什么?一文看懂其前世今生与百亿赌局
近日,MoE Capital 的 Henry Yin 和 Naomi Xia 撰写了一篇深度博客,系统梳理了「世界模型」这一概念背后两条长达数十年、彼此独立演进的研究脉络:一条是强化学习社区从 1990 年代便开始探索的「让智能体在想象中做梦」,另一条是计算机视觉社区从海量人类视频中学习物理知识的「从观看中学习」。
我们让蒸馏模型当了采样器,Diffusion RL采样成本降低一个数量级
训练效率上,GenEval 任务从 DiffusionNFT 的 480 GPU hours 降到 360 GPU hours,VBench 任务从约 900 小时降到约 288 小时。
让AI生成视频「又长又快」:Rolling Forcing实现分钟级实时生成
本工作由南洋理工大学与腾讯 ARC 实验室联合完成。本文的第一作者为南洋理工大学博士生刘坤昊。本文的通讯作者为 ARC 资深研究员胡文博和南洋理工大学教授 Shijian Lu。AI 能实时拍长片了吗?
AgentGarten:当AI智能体开始在"代码写的世界"里反复练习
2019年,OpenAI做过一个很出名的实验,让两群AI在一个简单的物理环境里玩捉迷藏。躲的一方和找的一方互相博弈,久而久之,躲的那方学会了搬箱子筑围墙挡住入口,找的那方学会了拖来斜坡爬过围墙。
Salt++如何把两条打架的技术路线拧成一股绳
你有没有想过,为什么现在那些能一边说话一边生成画面的AI视频系统,看起来总是慢半拍,或者画质差那么点意思?这背后其实藏着一个工程上的死结。要做到实时,模型必须像说评书一样,说一段看一段,不能等整部视频拍完才放给你看。
Self-Forcing++:让自回归视频生成模型突破 4 分钟时长极限
本工作由加州大学洛杉矶分校与字节 Seed 等团队联合完成。在扩散模型持续引领视觉生成浪潮的今天,图像生成早已臻于极致,但视频生成仍被一个关键瓶颈困住——时长限制。
黄勋Self Forcing:离线视频模型实时交互革命
#15万内大六座破局者星光L#离线视频模型能变成实时交互引擎吗?黄勋做到了。他发明的Self Forcing方法,把迟缓的双向离线生成模式改造成了快速、自回归的交互式生成引擎。现在,这项技术被Roblox收入囊中。
英伟达研究:看完44000小时人类视频后,机器人学会想象物理世界
例如,让计算机在智力测试或棋类游戏中击败人类或许相对容易,但要让机器人像一岁孩子那样具备对物理世界的感知和运动本能,却难如登天。