发布时间:2024-02-20
点击次数: 耗费的计算资源仅为传统stable video diffusion(svd)模型的2/25!
AnimateLCM-SVD-xt发布,一改视频扩散模型进行重复去噪,既耗时又需大量计算的问题。
先来看一波生成的动画效果。
赛博朋克风轻松驾驭,男孩头戴耳机,站在霓虹闪烁的都市街道:
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
图片
写实风也可以,一对新婚夫妇依偎在一起,手捧精致花束,在古老石墙下见证爱情:
图片
科幻风,也有了外星人入侵地球的即视感:
图片
AnimateLCM-SVD-xt由来自香港中文大学MMLab、Avolution AI、上海人工智能实验室、商汤研究院的研究人员共同提出。
图片
2~8步就能生成25帧分辨率576x1024的高质量动画,并且无需分类器引导,4步生成的视频就能实现高保真,比传统SVD更快、效率更高:
图片
目前,AnimateLCM代码即将开源,有在线demo可试玩。
在demo界面可以看到,AnimateLC
M目前有三个版本,AnimateLCM-SVD-xt是通用图像到视频生成;AnimateLCM-t2v倾向个性化文本到视频生成;AnimateLCM-i2v为个性化图像到视频生成。
图片
下面是一个配置区域,可以选择基础的Dreambooth模型,也可以选择LoRA模型,并通过滑动条调整LoRA alpha值等。
图片
接下来可以输入Prompt、负面prompt,指导生成的动画内容和质量:
图片
还有一些参数可以调整:
图片
我们上手体验了一把,提示词为“clouds in the sky”,参数设置如上图,采样步骤仅为4步时,生成的效果是这样婶儿的:
图片
采样步骤为25步时,提示词“a boy holding a rabbit”,效果如下:
Machine Translation
聚合多个来源的AI翻译
49
查看详情
图片
再看看一波官方放出的展示效果。2步、4步、8步效果对比如下:
图片
步数越多,动画质量越好,仅4步AnimateLCM就能做到高保真:
图片
各种风格都能实现:
图片
图片
要知道,虽然视频扩散模型因能生成连贯且高保真度的视频而受到越来越多的关注,但难题之一是迭代去噪过程不仅耗时而且计算密集,这也就限制了它的应用范围。
而在AnimateLCM这项工作中,研究人员受到一致性模型(CM)启发,该模型简化了预训练的图像扩散模型以减少采样所需的步骤,并在条件图像生成上成功扩展了潜在一致性模型(LCM)。
图片
具体来说,研究人员提出了一种解耦的一致性学习(Decoupled Consistency Learning)策略。
首先在高质量的图像-文本数据集上蒸馏稳定扩散模型为图像一致性模型,然后在视频数据上进行一致性蒸馏以获得视频一致性模型。这种策略通过在空间和时间层面上分别训练,提高了训练效率。
图片
此外,为了能够在Stable Diffusion社区中实现即插即用适配器的各种功能(例如,用ControlNet实现可控生成),研究人员又提出了Teacher-Free自适应(Teacher-Free Adaptation)策略,使现有的控制适配器更符合一致性模型,实现更好的可控视频生成。
图片
定量和定性实验都证明了方法的有效性。
在UCF-101数据集上的零样本文本到视频生成任务中,AnimateLCM在FVD和CLIPSIM指标上均取得了最佳性能。
图片
图片
消融研究验证了解耦一致性学习和特定初始化策略的有效:
图片
项目链接:
[1]https://animatelcm.github.io/
[2]https://huggingface.co/wangfuyun/AnimateLCM-SVD-xt
以上就是两步生成25帧高质量动画,计算为SVD的8% | 在线可玩的详细内容,更多请关注其它相关文章!
# 计算
# 北京欢迎您网站建设
# 全网关键词网站优化费用
# 网站优化软件挣钱靠谱
# 仅为
# 提出了
# 腾讯
# 开源
# 本田
# 华为
# 中国
# 就能
# 两步
# 高质量
# controlnet
# stable diffusion
# stable video
# svd
# 动画
# 新房推广用什么网站好
# 视频营销文案推广
# 武汉企业网站建设步骤
# 曲靖哪家seo公司好
# seo万词霸屏哪家便宜
# 荆门市seo关键词排名如何
# 专业做平衡泥网站推广
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
西班牙小鲜肉*视频在网上疯传,本人发文澄清:是AI换脸的假视频!
人手一部「*」!视频版Midjourney免费可用,一句话秒生酷炫大片惊呆网友
AYANEO 安卓掌机 Pocket AIR 配置公布:天玑 1200 + 5.5 英寸屏
微软更新服务协议,以防止通过AI服务进行逆向工程和数据抓取
Bing Chat 和 Bing Search 正式引入深色模式
参议院司法听证会:AI 不易管控,有可能被恶意分子利用来研发生化武器
500元一张的AI艺术二维码制作,详细教程来了!
推动综合能源服务高质量发展
美图设计室2.0什么时候上线
本届人工智能大会上的这个“镇馆之宝”,来自长宁企业西井科技!
五项人工智能尚未能够实现的任务
消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术
陈根:AI工具为游戏软件实时3D内容助力
深度学习模型综述:用于3D MRI和CT扫描的应用
视觉中国推出AI灵感绘图功能
斑马推出全新升级版思维机:以人工智能为核心的交互式学习体验
央广车联网亮相2025世界人工智能大会
智能技术提高现代商业运营的7七种方式
【原创】奥比中光:与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态
"探索Meta发布的Quest MR/VR视频录制与拍摄指南"
ChatGPT会成为你家新的语音助手吗?
消息称 Meta Quest 将推 VR 游戏订阅:每月 7.99 美元,任选两款
放弃自动驾驶,也是一种和解
AI行业盛会大咖云集!Sam Altam、“AI教父”......一文看懂最新观点
如布AI口袋学习机S12 将亮相综艺节目《好样的!国货》
Snap宣布研发出新技术 可大幅提升AI生成图像速度
Meta 开源 AI 语言模型 MusicGen,可将文本和旋律转化为完整乐曲
人工智能和你聊天 成本有多高
阿里云全面支持Llama2训练部署,助力企业快速构建自有大型模型
首届全国体育人工智能大会在首都体育学院召开
探索AI前沿理念 2025全球人工智能技术大会在杭州开幕
测试框架-安全和自动驾驶
WHEE功能介绍
亲身体验鸿蒙4:AI大模型带来的便利,告别单纯的旁观者状态
无人机巡检方案是什么,该如何选择适合的巡检方案
重磅! 捷通华声灵云AICC荣获第二届光合组织AI解决方案大赛二等奖
AI 冥想应用 Ogimi.ai 推出,可为用户提供教练级个性化指导
曝索尼在开发新头显设备:游戏中使用AR技术
Xbox游戏工作室负责人:VR/AR领域的用户规模还不足够
IBM 与 NASA 携手开源地理空间 AI 模型,促进气候科学研究进步
羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品
不止“文心一言”,消息称百度将推出全新 AI 对话软件“万话”
鸿蒙4即将支持大规模AI模型
软通动力多项AI创新产品及应用亮相2025世界人工智能大会
北京公司实施AI技术,推行4.5天工作制,抵制996文化,提升员工工作幸福感
Databricks推出人工智能模型共享机制,可令开发者与公司“双赢”
特斯拉 Optimus 人形机器人入驻北美门店,帮助提升汽车销量
微软新出热乎论文:Transformer扩展到10亿token
张朝阳与陆川谈AI:ChatGPT是鹦鹉学舌思维,不可能取代人类 | 把脉AI大模型
定义人工智能的十个关键术语