发布时间:2023-07-21
点击次数: 生成式AI(AIGC)开启了人工智能通用化的新纪元,围绕大模型的百舸争流蔚为壮观,算力基础设施是首要的竞逐焦点,而存力觉醒也日益成为业界共识。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
在新的时代,大模型从单模态走向多模态,参数和训练数据集的规模呈几何级数增长,海量的非结构化数据需要高性能混合负载能力的支撑;与此同时,数据密集型范式大行其道,超算、高性能计算(HPC)等应用场景迈向纵深,既有的数据存储基座已难以满足不断升级的需求。
如果说算力、算法、数据是驱动人工智能发展的“三驾马车”,那么在外部环境发生巨大变化的背景下,三者亟需重新达成动态的平衡。算法模型完善带来的“软实力”提升,算力供给优化引发的“硬实力”增强,需要得到进一步的加持——数据传输的“运力”和数据存储的“存力”即是尚待改进的动力源,新型的数据存储基座将在应对诸多挑战的过程中破茧成蝶。
需求复杂且持续进化的应用场景,是数据存储新基座最好的试金石。从这个意义上讲,教科研行业就是其中的典型代表:算力与数据是该领域数字化转型的关键要素,学科融合的科研计算与基于数据的决策支撑同等重要。从HPC迈向HPDA(高性能数据分析)是改善教学及科研效率的一大步,而AI的赋能则有助于解决过往算不了、算不准、算不动的难题。

在近日举办的2025世界人工智能大会上,华为OceanStor Pacific分布式存储助力上海交通大学构建的HPC+AI存力底座正式上线,“交我算”统一数据基座将在今年再扩充25PB,其有望成为教科研数字化、智能化转型的新标杆,也为数据存储新基座的探索之旅树立了一座里程碑。
伴随千行百业的数字化转型进入深水区,以及人工智能、大数据等新兴技术的协同爆发,数据与算力的关系正在发生微妙的变化。

教科研领域身处数字经济的风口浪尖,对这一变化颇为敏感。过去,数据必须跟着算力跑。为了应对复杂科学和工程问题的快速数值求解,教科研界在很长一段时间里更多关注如何打造最强大的算力,而数据仅作为算力的配套设施来考虑。
如今,“算力围着数据转”逐渐成为新的趋势。新兴应用的涌现、数据体量的膨胀、数据安全问题的凸显,让数据本身的价值备受重视。基于AI、大数据等技术的突破,传统超算正向数据密集型超算演变,多元异构算力需要围绕同一个数据存储基座进行构建。
上海交通大学网络信息中心副主任林新华认为,数据与算力的主导权发生逆转,既是建设数据密集型超算平台的契机,也给统一数据存储基座的构建带来不少新的挑战。
首先是数据爆发式增长,对存储容量的需求显著提高。据统计,“交我算”平台的数据规模增长幅度达到每年7PB,气象海洋、能源勘探、卫星遥感、基因测序、冷冻电镜、AI自动驾驶、制造CAE、动画渲染等应用场景的数据量都达到PB级,用一套数据基础设施容纳如此庞大的数据量殊为不易。
其次是新业务不断涌现,对存储性能要求更高。AI通用化进程的提速,特别是大模型、多模态的批量输出,对IO性能构成严峻挑战。在百TB级数据集成为常态的情况下,自然语言处理、多模态应用加剧了数据量的增速,小文件训练数据集的高效访问更要求存储性能再上新台阶。
再次,跨校区多集群存储共用,数据在异构集群间的流动可能造成数据丢失、运行缓慢等问题。“交我算”平台提供多种异构算力,拥有ARM集群、X86集群以及AI集群等。在众多集群中,只有做到全数据流动和数据融合,才能释放算力和数据的最大价值。
最后,传统AI本地盘训练,伴随高并发数据分析,打破IO墙迫在眉睫。数据多次搬迁过程中的IO瓶颈非常突出——传统的读写流程冗长,加载数据涉及三次数据搬迁,checkpoint也有两次数据搬迁,其间产生的效率损失不容忽视。
为了应对上述挑战,自2019年起,上海交通大学与华为存储展开深度合作,共同打造“交我算”数据密集型超算平台。依托在技术和应用创新方面的深厚积累,华为OceanStor Pacific分布式存储产品助力“交我算”建设统一数据基座,支撑起全校多种异构算力平台。

构建分布式统一融合数据基座,是“交我算”拥抱新兴数据应用的必由之路。基于横向扩展分布式存储架构,“交我算”平台的存储容量和带宽可按需扩展。一是性能容量线性增长,单集群可达EB级容量;二是借助高密大容量硬件,节省机柜空间;三是采用大比例EC,以场景化压缩提升磁盘利用率。
据了解,“交我算”平台从初始的2PB容量、6GB/s带宽,到2025年增至20PB容量、60GB/s带宽,2025年又扩容至40PB容量、120GB/s带宽,预计2025年容量将再扩充25PB。与此同时,华为OceanStor Pacific分布式存储拥有5U 120盘位的超高密设计,结合超大比例EC数据冗余保护算法,在满足高可靠性的基础上将硬盘空间利用率提升至91.6%。
分布式全闪硬件加持是“交我算”应对存储性能难题的基石。在华为OceanStor Pacific的助力下,“交我算”平台采用全闪硬件加速,显著提升带宽与IOPS性能,每节点80万IOPS、带宽20GB/S能够满足混合负载条件下的高性能要求。
全局分布式存储跨校区统一管理是“交我算”解决多集群存储共用难题的良方。通过采用全局文件系统跨域多套存储管理的方式,“交我算”平台构建起跨校区的统一数据基座,在华为OceanStor Pacific分布式存储产品的支撑下,达*局文件视图、数据管理与调度、全域数据流动、统一流式元数据等多重目标。
数据分析加速、多种协议访问无损互通、免搬迁高效用是“交我算”打破IO墙的利器。基于华为面向AI的存储方案,以及华为OceanStor Pacific分布式存储“一份数据,多种协议访问”的能力,“交我算”平台实现外置存储减少数据搬迁,并大幅提升分析效率、节省存储空间。
透过“交我算”平台携手华为存储打造分布式统一融合数据新基座的演变轨迹,不难看出数据密集型场景正在加速进化。
从早期的HPC到后来的HPDA,再到HPDA+AI的比翼齐飞,教科研行业的应用场景不断丰富,对存储产品和数据基座的需求也持续跃迁。事实上,教科研只是千行百业数字化进程的冰山一角,数据
存储的大时代已呼啸而来。
大模型时代的到来,将进一步重塑包括存力在内的IT基础设施,带有崭新AI基因的存储产品有望成为行业数字化升级的新宠。7月14日,主题为“数据新范式 释放AI新动能”的大模型时代华为AI存储新品发布会将在线举行。无论您正在企业内部署AI,还是让开发的应用具备AI能力,此次发布的方案都将提供更优的技术架构与产品,帮您踏准时代的节拍。
人工智能通用化的大幕已经开启,存储行业的领头羊率先吹响了冲锋的号角,后面的每一个乐章都值得期待。
以上就是AI大模型时代,数据存储新基座助推教科研数智化跃迁的详细内容,更多请关注其它相关文章!
# 数据存储
# 教科研数智化
# 基座
# 华为
# 高性能
# 开源
# 中国科学院
# 异构
# 存储产品
# ai大模型
# 保定seo优化的网站
# seo实战免费课程分类
# 设计网站有哪些做推广
# 高端品牌如何营销推广
# 丽江关键词排名费用
# 怎么给公司做网站推广
# 江苏营销推广费用
# 酒店网站优化建议有哪些
# 云悦seo
# 呼市网站推广
# 基础设施
# 丰田
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
机构研选 | 虚拟电厂是电力物联网升级版 智能电网望迎来高速发展
朝鲜出现国产大型察打一体无人机,实力世界第二,太意外了
AI大模型产品集体奔赴高考考场,教育赛道的讯飞星火能赢吗?
ChatGPT会成为你家新的语音助手吗?
华为HarmonyOS 4将集|成人|工智能大型模型
数据科学,解码智能未来——Altair首次提出“Frictionless AI”概念
AMD称下半年AI显卡供应充足,不需要像NVIDIA那样加价抢购
阿里云推出通义万相AI绘画大模型
郭帆谈ChatGPT:电影行业需要创新,否则人工智能将让电影变得平庸
猿辅导推出Motiff,整合三大AI功能,助力UI设计生产力革新
能走、能飞、能游泳,科学家打造全能 M4 机器人
推动企业数字化转型升级!“松江智造”摘世界人工智能大会重磅奖项
“电碳”技术提升碳排放监测精度
Moka发布AI原生HR SaaS产品“Moka Eva”,布局AGI时代
数字彩排、虚拟建厂!这家顶级洗衣机工厂敲开“工业元宇宙”之门
“黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”
七大主流AI企业包括OpenAI、谷歌等联合承诺:引入水印技术,并允许第三方审核AI内容
有远见!华为四年前注册商标Vision Pro:苹果AR国内要改名
乐天派桌面机器人加入小米米家生态系统,实现与其他智能设备的互联
商业智能决策技术助力降本增效,世界人工智能大会举办商业AI高峰论坛
脑虎科技:奔跑在“脑机接口”最前沿 跨界融合取得阶段性成果
探展WAIC | 第四范式“式说”聚焦toB大模型,布局生成式AI重构企业软件
【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播!
讯飞听见会写“会议摘要”功能全面升级,AI更懂你的关注点
音乐制作元工具AudioCraft发布开源AI工具
网友自制 AI 版《流浪地球 3》预告片,登上 CCTV6
上影节直击 | AI技术降低了短片拍摄门槛?金爵奖评委不赞同
Gartner发布中国企业人工智能趋势浪潮3.0
周星驰支持的人工智能与 Web3 初创公司 Moonbox 完成 100 万美元融资
华为推出全新操作系统HarmonyOS 4,AI和新引擎完美融合
大模型新品出现井喷,AI产业迎来新时代
印象笔记开放旗下“印象 AI”,可一键生成思维导图、写文章等
此「错」并非真的错:从四篇经典论文入手,理解Transformer架构图「错」在何处
人工智能框架生态峰会即将召开,聚焦AI大模型技术与科学智能探索!
智能化解决方案:保障数据安全阻击泄露和丢失
对话式论文阅读工具PaperMate上线,综述细节AI告诉你
沐曦首款AI推理GPU亮相:INT8算力达160TOPS!
WHEE功能介绍
扎克伯格吐槽苹果Vision Pro:社交落后Meta太多,无法建设元宇宙
午报 | 字节跳动要造机器人;东方甄选首次启动自有APP|直播|
V社谈AI制作游戏被ban:为确保开发者有素材所有权
自动驾驶汽车避障、路径规划和控制技术详解
世界周刊丨AI“棱镜”?
烟台大学学生首次在全国大学生无人机航拍竞赛中获奖
马斯克嘲讽人工智能:机器学习本质就是统计学
谷歌推出新 AI 工具 Imagen Editor,一句话对图片二次创作
为什么很多人对纽约《人工智能招聘法》感到生气?
IBM将模拟计算用于人工智能,重塑AI计算
【首发】首款“消化内镜手术机器人”进入临床尾声,ROBO医疗获数千万元A轮融资
科技赋能司法执行 阿里资产免费为全国法院升级VR新服务