400 128 6709

行业新闻

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑

发布时间:2023-07-09点击次数:

文生图模型stable diffusion开源后,将「ai艺术」彻底平民化,只需一张消费级显卡即可制作出非常精美的图片。

而文本转视频领域,目前质量较高的只有Runway前不久推出的商用Gen-2模型,开源界还没有一个能打的模型。

最近,Huggingface上有作者发布了一个文生视频模型Zeroscope_v2,基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

模型链接:https://huggingface.co/cerspense/zeroscope_v2_576w

相比于原版本,Zeroscope生成的视频没有水印,并且流畅度和分辨率都得到了提升,适配16:9的宽高比。

开发者cerspense表示,他的目标就是和Gen-2进行开源较量,即提高模型质量的同时,还能免费供大众使用。

Zeroscope_v2包括两个版本,其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频,可用于视频概念的快速验证,只需要约7.9GB的显存即可运行。

使用Zeroscope_v2 XL生成高清视频,分辨率为1024x576,占用约15.3GB的显存。

Zeroscope还可以与音乐生成工具MusicGen一起使用,快速制作一个纯原创短视频。

Zeroscope模型的训练用到了9923个视频片段(clip)以及29769个标注帧,每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时(frame timings)的轻微变化或微小失真。

训练期间引入噪声可以增强模型对数据分布的理解,从而可以生成更多样化的逼真视频,并更有效地解释文本描述中的变化。

使用方法

使用stable diffusion webui

在Huggingface上下载zs2_XL目录下的权重文件,然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。

在生成视频时,推荐的降噪强度值为0.66到0.85

使用Colab

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑

ChatGPT Writer ChatGPT Writer

免费 Chrome 扩展程序,使用 ChatGPT AI 生成电子邮件和消息。

ChatGPT Writer 106 查看详情 ChatGPT Writer

笔记链接:https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先点击Step 1下的运行按钮,等待安装,大约需要3分钟;

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

当按钮旁边出现绿色复选标记时,继续执行下一步。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

点击想要安装模型附近的运行按钮,为了能够在Colab中快速获得3秒左右的剪辑视频,更推荐使用低分辨率的ZeroScope模型(576或448)。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

需要在执行更高分辨率模型(如Potat 1或ZeroScope XL)时,权衡执行时间会更长。

再次等待复选标记出现,继续执行下一步。

选择在Step2中安装并希望使用的模型型号,对于更高分辨率的模型,推荐下面的配置参数,不需要太长的生成时间。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

接下来,您可以输入目标视频的提示词来改变效果,并且还可以输入否定提示词(negative prompts),然后点击运行按钮。 

等待一会后,生成的视频就会被放置在outputs目录下。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

「文生视频」开源竞赛

目前来说,文生视频领域仍处于起步阶段,即便是最好的工具也只能生成几秒钟的视频,并且通常存在较大的视觉缺陷。

但其实文生图模型最初也面临着类似的问题,但仅仅几个月后就实现了照片级真实感。

不过与文生图模型不同的是,视频领域在训练和生成期间所需要的资源都要更比图像更多。

虽然谷歌已经研发出了Phenaki和Imagen Video模型,可以生成高分辨率、更长、逻辑连贯的视频片段,但公众无法使用到这两个模型;Meta的Make-a-Video模型也同样没有发布。

目前可用的工具仍然只有Runway的商用模型Gen-2,此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。

以上就是AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑的详细内容,更多请关注其它相关文章!


# 开源  # 目录下  # 谁能  # 更高  # 只需  # 还可以  # 首个  # 显存  # phenaki  # stable diffusion  # runway  # ai  # 高质量  # 天津优化网站哪个好  # seo专员职位职责  # 邯郸天猫网站推广介绍  # 营销推广怎么注册营业执照  # 巩义网站建设与推广方案  # 通州区网站建设好处  # 初级seo工程师  # 福州市网站推广服务外包  # seo精准营销分类  # 餐饮网站如何优化  # 上海 


相关栏目: 【 行业新闻62819 】 【 科技资讯67470


相关推荐: 华为将于 7 月发布面向 AI 大模型的新款存储产品  如何用AI开创智慧能源新时代?固德威正让能源“通人性”!  传字节内测对话式 AI 产品,代号「Grace」;马斯克嘲讽苹果 头显;比亚迪 F 品牌定名「方程豹」  朝鲜出现国产大型察打一体无人机,实力世界第二,太意外了  能源电力数字化转型恰逢其时  国内通用人形机器人将发布、产业加速突破  即将到来:AI婚纱设计软件实际测试,人工智能即将开创婚纱设计新纪元  软通动力多项AI创新产品及应用亮相2025世界人工智能大会  AI成政客博弈工具,美国大选真假难辨,律师们的生意来了  Meta 为打造元宇宙不惜下血本:VR 开发者年薪高达百万美元  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  编程已死,AI 当立?教授公开“唱反调”:AI 还帮不了程序员  GPT-4 模型架构泄露:包含 1.8 万亿参数、采用混合专家模型  美图公司影像节或发布AI设计新品  人工智能:解决劳动力短缺的关键策略  苹果式 AI 哲学:不着一字,处处落子  企业软件行业更将被AI全面重构!Moka李国兴:未来优秀组织和个人将一定是善于使用AI生产力的  华为盘古AI模型实现秒级全球气象预报时间缩短  马斯克称人类是半机器人,记忆外包给了电脑  售价14.99万起!小米汽车部分信息疑遭AI曝光,内部人士回应:网传图片明显经过处理,不可轻信  首个算网生态体!中国移动元宇宙产业联盟正式成立  行业首发「超级智绘」AI故事集,TCL实业推进AI技术应用  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  争鸣:OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同?  ChatGPT大更新!OpenAI奉上程序员大礼包:API新增杀手级能力还降价,新模型、四倍上下文都来了  映宇宙集团执行总编辑:元宇宙还是要以人为媒介  云深处与昇腾CANN携手合作:开设ROS四足机器狗开发训练营  微软商店 AI 摘要功能开启预览,帮助用户迅速了解应用评价  Vision Pro 太贵,苹果基于 iPhone 的 VR 头显专利曝光  花16000元买四款扫拖机器人!科沃斯追觅石头小米谁能笑到最后?  AIGC浪潮下,联想集团再加码计算与人工智能  “长沙造”无人机,领先的不止植保  XREAL Beam 投屏盒子正式发布:支持“可悬停 AR 空间屏”  NVIDIA垄断AI市场90%份额:AMD性能追上80% 软件太不能打  优化J*a与MySQL合作:分享批处理操作的技巧  AI 大模型重塑软件开发,有哪些落地前景和痛点?| ArchSummit  Prompt解锁语音语言模型生成能力,SpeechGen实现语音翻译、修补多项任务  新华三集团总裁兼首席执行官于英涛:人工智能时代需要想象力,更需要精耕务实  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品  小米又拿下国际比赛第一:AI翻译立功  AI会帮我们把活干完吗?  消息称 ChatGPT 未来有望增加更多功能:上传文件分析信息,还能记住用户画像  复旦发布「新闻推荐生态系统模拟器」SimuLine:单机支持万名读者、千名创作者、100+轮次推荐  500元一张的AI艺术二维码制作,详细教程来了!  第 66 届格莱美奖规定,AI 作品将无法获得评奖资格  一句话搞定数据分析,浙大全新大模型数据助手,连搜集都省了  “三夏”农忙保障用电,无人机高空巡视高压线  “痴迷”元宇宙,魔珐科技想做什么?  郭帆:AI发展日新月异,或是弯道超车好莱坞的最好机会 

400 128 6709
E-mail

contact@tlftec.cn

扫一扫,添加微信

©  云南淘乐房科技有限公司 版权所有  滇ICP备2025071560号  

云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司