清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳

2025 年 12 月发布的 CPM-1 是国内首个中文大模型 ；2025 年 9 月发布的 CPM-Ant 仅微调 0.06% 参数就能超越全参数微调效果；2025 年 5 月发布的 WebCPM 是 中文首个基于搜索的问答开源模型。CPM-Bee 百亿大模型是团队最新发布的基座模型，中文能力登顶权威榜单 ZeroCLUE，英文能力打平 LLaMA。

屡屡作出破壁性成就，CPM 系列大模型一直在引领国产大模型攀登高峰，最近发布的 VisCPM 是又一次证明！VisCPM 是由面壁智能、清华大学 NLP 实验室和知乎联合开源在 OpenBMB 的多模态大模型系列，其中 VisCPM-Chat 模型支持中英双语的多模态对话能力，VisCPM-Paint 模型支持文到图生成能力，评测显示 VisCPM 在中文多模态开源模型中达到最佳水平。

VisCPM 基于百亿参数基座模型 CPM-Bee 训练，融合视觉编码器（Q-Former 和视觉解码器（Diffusion-UNet）以支持视觉信号的输入和输出。得益于 CPM-Bee 底座优秀的双语能力，VisCPM 可以仅通过英文多模态数据预训练，泛化实现优秀的中文多模态能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

VisCPM简易架构图

我们来详细看看 VisCPM-Chat 和 VisCPM-Paint 到底牛在哪里。

图片

viscpm 链接：https://github.com/openbmb/viscpm

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

VisCPM-Chat 支持面向图像进行中英双语多模态对话。该模型使用 Q-Former 作为视觉编码器，使用 CPM-Bee（10B）作为语言交互基底模型，并通过语言建模训练目标融合视觉和语言模型。模型训练包括预训练和指令精调两阶段。

团队使用约 100M 高质量英文图文对数据 对 VisCPM-Chat 进行了预训练，数据包括 CC3M、CC12M、COCO、Visual Genome、Laion 等。在预训练阶段，语言模型参数保持固定，仅更新 Q-Former 部分参数，以支持大规模视觉 - 语言表示的高效对齐。

之后团队对 VisCPM-Chat 进行了指令精调，采用 LLaVA-150K 英文指令精调数据，并混合相应翻译后的中文数据对模型进行指令精调，以对齐模型多模态基础能力和用户使用意图。在指令精调阶段，他们更新了全部模型参数，以提升指令精调数据的利用效率。

有趣的是，团队发现即使仅采用英文指令数据进行指令精调，模型也可以理解中文问题，但仅能用英文回答。这表明模型的多语言多模态能力已经得到良好的泛化。在指令精调阶段进一步加入少量中文翻译数据，就可以将模型回复语言和用户问题语言对齐。

团队在 LLaVA 英文测试集和翻译的中文测试集对模型进行了评测，该评测基准考察模型在开放域对话、图像细节描述、复杂推理方面的表现，并使用 GPT-4 进行打分。可以观察到，VisCPM-Chat 在中文多模态能力方面取得了最佳的平均性能，在通用域对话和复杂推理上表现出色，同时也表现出了不错的英文多模态能力。

VisCPM-Chat 提供了两个模型版本，分别为 VisCPM-Chat-balance 和 VisCPM-Chat-zhplus，前者在英文和中文两种语言上的能力较为平衡，后者在中文能力上更加突出。两个模型在指令精调阶段使用的数据相同，VisCPM-Chat-zhplus 在预训练阶段额外加入了 20M 清洗后的原生中文图文对数据和 120M 翻译到中文的图文对数据。

图片

下面是 VisCPM-Chat 的多模态对话能力展示，不仅能识别具体地区的地图，还能读懂涂鸦画和电影海报，甚至认识星巴克的 logo。而且，中英文双语都很溜！

再来看 VisCPM-Paint ，它支持中英双语的文到图生成。该模型使用 CPM-Bee（10B）作为文本编码器，使用 UNet 作为图像解码器，并通过扩散模型训练目标融合语言和视觉模型。

在训练过程中，语言模型参数始终保持固定。使用 Stable Diffusion 2.1 的 UNet 参数初始化视觉解码器，并通过逐步解冻其中关键的桥接参数将其与语言模型融合：首先训练文本表示映射到视觉模型的线性层，然后进一步解冻 UNet 的交叉注意力层。该模型在 Laion 2B 英文图文对数据上进行了训练。

与 VisCPM-Paint 类似，得益于基座模型 CPM-Bee 的双语能力，VisCPM-Paint 可以仅通过英文图文对训练，泛化实现良好的中文文到图生成能力，达到中文开源模型的最佳效果。通过进一步加入 20M 清洗后的原生中文图文对数据，以及 120M 翻译到中文的图文对数据，模型的中文文到图生成能力获得进一步提升。同样，VisCPM-Paint 有 balance 和 zhplus 两个不同的版本。他们在标准图像生成测试集 MSCOCO 上采样了 3 万张图片，计算了常用评估图像生成指标 FID (Fréchet Inception Distance) 评估生成图片的质量。

VisCPM-Paint 模型中分别输入 “海上生明月，天涯共此时，唯美风格，抽象风格”“人闲桂花落，月静春山空” 两条 prompts，生成了以下两张图片：

（生成效果稳定性仍有提升空间）

相当惊艳，可以说精准把握了古诗词的意境，以后读不懂诗句就直接生成个图片来理解！如果应用在设计上，可以节省一大笔人力。不仅能 “作画”，用上 VisCPM-Chat，还能 “吟诗”：用图片反向检索诗句。比如能用李白的诗描绘黄河的景象并作解读，在面对中秋月夜时还能用苏轼的《水调歌头》借景抒情。

VisCPM 不仅生成效果好，下载版本设计考虑周到，安装和使用也十分简易。 

VisCPM提供不同中英文能力的版本

VisCPM 提供不同中英文能力的模型版本供大家下载选择，安装步骤简单，在使用中可以通过几行代码实现多模态对话，还在代码中默认开启了对输入文本和输出图片的安全检查。（具体教程详见 README）未来团队还会将 VisCPM 整合到 huggingface 代码框架中，并且会陆续完善安全模型、 支持快速网页部署、 支持模型量化功能、支持模型微调等功能，坐等更新！

值得一提的是，VisCPM 系列模型非常欢迎个人使用和研究用途。如需将模型用于商业用途，还可以联系 cpm@modelbest.cn 洽谈商业授权事宜。

传统模型专注处理单一模态数据，现实世界中的信息往往是多模态的，多模态大模型提升了人工智能系统的感知交互能力，为 AI 解决现实世界中复杂的感知和理解任务带来了新的机遇。不得不说，清华系大模型公司面壁智能研发能力强大，联合发布的多模态大模型 VisCPM 实力强大、表现惊艳，期待他们后续的成果发布！

以上就是清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳的详细内容，更多请关注其它相关文章！

# 的是  # 上饶企业网站排名优化  # 网站建设腾讯课堂  # seo怎么找人搜词  # 即墨租房网站建设工作  # 网红营销推广技巧  # 行业网站建设公司排行榜  # 师宗县网站建设  # seo与前端的关系  # 加多宝产品营销推广方案  # 单页网站的优化技巧  # 丰田  # 中国科学院  # 模型  # 进行了  # 基座  # 惊艳  # 英文  # 清华  # 开源  # 多模  # stable diffusion  # llama  # openbmb  # ai 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 无人机自主巡检为高海拔输电线路运维添“新彩”  苹果2万5的AR遭遇砍单95%：不及预期  东软成立魔形科技研究院，积极布局大语言模型系统工程战略，迎接AI时代  联想首发AI PC于今年秋季，英特尔CEO确认AI PC时代来临  微软面向AI初学者推出免费网络课程  世界人工智能大会中西部县域数字就业中心组团亮相  月薪6万，哪些AI岗位在抢人？  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  调查：过半数艺术家认为 AI 作图无法帮助他们的工作  支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇  Meta 开源 AI 语言模型 MusicGen，可将文本和旋律转化为完整乐曲  Bing Chat 和 Bing Search 正式引入深色模式  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  酒店业将如何受益于人工智能的改变？  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  华为AI大模型将融入HarmonyOS 4  AI生成新闻网站数量激增，正在疯狂赚取广告收入  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  长宁这家企业在世界人工智能大会上荣获“蓝鼎奖”  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  上新7款产品，美图继续“蹭”AI  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  明略科技发布免费开源TensorBoard.cpp，促进大型模型的预训练工作  Nature封面：量子计算机离实际应用还有两年  再度重仓 AI 赛道，SaaS 巨头 Salesforce 扩大 AIGC 风投基金规模  30+大模型齐聚，大模型成世界人工智能大会“顶流”  13 个提高生产力的 AI 工具  英国前首相：AI可能被用来制造“生物恐怖武器”  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  消息称字节机器人团队已有约50人，计划年底扩充到上百人  2025 世界人工智能大会闭幕，32 个重大产业签约总额达 288 亿元  人工智能和神经网络有什么联系与区别？  AI技术加速迭代：周鸿祎视角下的大模型战略  亚马逊CEO：人工智能将成为公司未来战略的重中之重  昇思开源社区理事会成立，基于昇思AI框架的全模态大模型“紫东.太初2.0”发布  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  鸿蒙4即将支持大规模AI模型  人工智能如何帮助制造业？  AI大模型产品集体奔赴高考考场，教育赛道的讯飞星火能赢吗？  华为余承东表示：鸿蒙可能拥有强大的人工智能大模型能力  “长沙造”无人机，领先的不止植保  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  脑虎科技：奔跑在“脑机接口”最前沿 跨界融合取得阶段性成果  猿力科技入选北京市通用人工智能产业创新伙伴计划  Vision Pro 太贵，苹果基于 iPhone 的 VR 头显专利曝光  两架海燕号无人机交付中国气象局 助力建设国家级机动气象观测业务  「社交达人」GPT-4！解读表情、揣测心理全都会  联想浏览器引入小乐 AI 助手，成功接入百度文心一言大模型，经过实测证实