FantasyTalking— 阿里联合北邮推出静态肖像生成可控数字人的框架

FantasyTalking是什么

fantasytalking 是阿里巴巴 amap 团队和北京邮电大学联合提出的新型框架，用于从单张静态肖像生成逼真的可动画化虚拟形象。基于预训练的视频扩散变换器模型，采用双阶段视听对齐策略，第一阶段通过片段级训练方案建立连贯的全局运动，第二阶段通过唇部追踪掩码在帧级别细化唇部运动，确保与音频信号精确同步。框架引入面部专注的交叉注意力模块来保持面部一致性，通过运动强度调制模块实现对表情和身体运动强度的控制。

星辰Agent

科大讯飞推出的智能体Agent开发平台，助力开发者快速搭建生产级智能体

378 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

FantasyTalking的主要功能

• 口型同步：能准确识别并同步虚拟角色的口型与输入语音，使角色在说话时的口型与语音内容完全一致，增强了角色的真实感和可信度。
• 面部动作生成：根据语音内容和情感信息，生成相应的面部动作，如眨眼、皱眉、微笑等，使虚拟角色的表情更加丰富和生动。
• 全身动作生成：能根据场景和情节需要，生*身的动作和姿态，如行走、奔跑、跳跃等，使虚拟角色在动画中更加自然和流畅。
• 运动强度控制：通过运动强度调制模块，用户可以显式控制面部表情和身体运动的强度，实现对肖像运动的可控操纵，不仅限于唇部运动。
• 多种风格支持：支持多种风格的虚拟形象，写实风格、卡通风格，能生成高质量的对话视频。
• 多种姿态支持：支持生成具有各种身体范围和朝向的逼真说话视频，包括特写肖像、半身、全身以及正面和侧面姿势。

FantasyTalking的技术原理

• 双阶段视听对齐策略
  • 片段级训练：在第一阶段，通过片段级训练方案，模型会捕捉音频与整个场景（包括参考肖像、上下文对象和背景）之间的弱相关性，建立全局的视听依赖关系，实现整体特征融合。使模型能学习到与音频相关的非语言线索（如眉毛运动、肩膀动作）和强音频同步的唇部动态。
  • 帧级训练：在第二阶段，模型专注于帧级与音频高度相关的视觉特征细化，特别是唇部动作。通过使用唇部追踪掩码，模型能确保唇部运动与音频信号精确对齐，提高生成视频的质量。
• 身份保持：传统的参考网络方法通常会限制视频中人物和背景的大范围自然变化。FantasyTalking 采用面部专注的交叉注意力模块，集中建模面部区域，通过交叉注意力机制解耦身份保留与动作生成。更轻量级，能解放对背景和人物自然运动的限制，确保在整个生成的视频序列中保持角色的身份特征。
• 运动强度调节：FantasyTalking 引入了运动强度调制模块，能显式控制面部表情和身体运动的强度。使用户可以对肖像运动进行可控操纵，不仅限于唇部运动。通过调节运动强度，可以生成更加自然和多样化的动画。
• 基于预训练的视频扩散变换器模型：FantasyTalking 基于 Wan2.1 视频扩散变换器模型，基于时空建模能力，生成高保真、连贯的说话肖像视频。模型能有效捕捉音频信号与唇部运动、面部表情以及身体动作之间的关系，生成高质量的动态肖像。

FantasyTalking的项目地址

• 项目官网：http://fantasy-amap.github.io/fantasy-talking/
• Github仓库：http://github.com/Fantasy-AMAP/fantasy-talking
• arXiv技术论文：http://arxiv.org/pdf/2504.04842

FantasyTalking的应用场景

• 游戏开发：在游戏开发中，FantasyTalking 可用于生成游戏角色的对话动画和战斗动画。能根据语音内容生成精准的口型同步、丰富的面部表情和自然的全身动作，使游戏角色更加生动逼真，提升游戏的视觉效果和玩家的沉浸感。
• *制作：在*制作中，可用于生成虚拟角色的表演动画和特效动画。通过 FantasyTalking 可以快速生成具有复杂表情和动作的虚拟角色，减少传统动画制作中的人力和时间成本，为*作品增添更多的创意和想象力。
• 虚拟现实和增强现实：在虚拟现实（VR）和增强现实（AR）应用中，FantasyTalking 可以生成虚拟角色的交互动画和引导动画。
• 虚拟主播：FantasyTalking 可以用于生成虚拟主播的动画视频。支持多种风格的虚拟形象，虚拟主播可以用于新闻播报、|直播|带货、在线教育等多种场景，具有较高的实用性和灵活性。
• 智能教育：在智能教育领域，FantasyTalking 可以生成虚拟教师或虚拟助教的动画视频。

以上就是FantasyTalking— 阿里联合北邮推出静态肖像生成可控数字人的框架的详细内容，更多请关注其它相关文章！

# 阿里巴巴  # 盐城推广智能营销平台  # 本田思域优化网站在哪里  # 太原行业seo推广  # 钢材推广哪个网站好做  # 拒绝平庸的网站建设公司  # 众途seo博客推广  # 海林网站优化排名  # seo在线仿制教程  # 图书营销推广计划软件  # 到哪里学习营销推广  # git  # 可以用  # 掩码  # 安装包  # 游戏开发  # 一键  # 高质量  # 北邮  # 主播  # 变换器  # talk 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 鸿蒙4即将支持大规模AI模型  吉林首例！机器人辅助下搭桥手术成功实施  选对AI智能写作软件，让创作游刃有余！  调查显示：实际上没有那么多人在用 ChatGPT  大脚攀爬者车主福利！无人机、运动相机大奖等你来挑战  2025年的网络分区：人工智能和自动化如何改变事物  谷歌 Gmail“帮我写电子邮件”AI 功能开始向安卓和苹果设备推广  马克龙密会AI专家，法国加入全球人工智能竞赛  对话式论文阅读工具PaperMate上线，综述细节AI告诉你  金山办公：AI是重要的产品战略之一  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验  网易云音乐和小冰推出AI歌手音乐创作软件，首发内置12名AI歌手  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  中国最强AI研究院的大模型为何迟到了  卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  能走、能飞、能游泳，科学家打造全能 M4 机器人  苹果机器学习关键人物 Ali Farhadi 离职，回归 AI2 担任 CEO  英伟达推出 L40S GPU，AI 推理性能超过 A100 约 1.2 倍  机器人技能大比拼  有远见！华为四年前注册商标Vision Pro：苹果AR国内要改名  高质量数据推动AI场景化应用快速发展及落地  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  苹果AR头显商标与华为撞车，在中国或改名  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  脑机接口产业联盟发布十大脑机接口关键技术  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  GPT-4不能在麻省理工学院获得计算机科学学位  苹果头显降临，AI虚拟人的救星还是流星？  IBM 与 NASA 携手开源地理空间 AI 模型，促进气候科学研究进步  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  全场景智能车：智能无处不在｜芯驰亮相世界人工智能大会  大模型训练成本降低近一半！新加坡国立大学最新优化器已投入使用  当孔子遇见AI｜尼山的“数字”  ChatGPT只讲这25个笑话！实验上千次有90%重复，网友：幽默是人类最后的尊严  DreamAvatar数字人在哪里下载  传字节内测对话式 AI 产品，代号「Grace」；马斯克嘲讽苹果 头显；比亚迪 F 品牌定名「方程豹」  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  深圳人工智能企业超1900家  改动一行代码，PyTorch训练三倍提速，这些「高级技术」是关键  大语言模型的视觉天赋：GPT也能通过上下文学习解决视觉任务  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  CREATOR制造、使用工具，实现LLM「自我进化」  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  马斯克发推讽刺人工智能，机器学习本质是统计？  英伟达CEO宣称生成式AI已迎来“划时代时刻”  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能  深度学习模型综述：用于3D MRI和CT扫描的应用  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  消息称字节机器人团队已有约50人，计划年底扩充到上百人