收藏文章 楼主
华为发布大模 型时代AI存储新品
版块:电子商务   类型:普通   作者:gdfdgdfd   查看:123   回复:0   获赞:0   时间:2023-09-14 13:18:37

  分布式光纤 DOFS

  近日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

  企业在开发及实施大模型应用过程中,面临四大挑战:

  数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

  华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

  华为数据存储产品线总裁周跃峰

  OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。

  FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、、AI平台软件的第三方伙伴一站式方案。

  华为数据存储产品线总裁周跃峰表示:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。”

 我 在下方展示

 
回复列表
默认   热门   正序   倒序

回复:华为发布大模 型时代AI存储新品

暂无用户组
退出
等级:0级
学途币:
游客:

平台声明:

为打造一个高质量、高收录的外链平台,站长将针对所有普通用户投稿的内容进行审核,针对文章原创度、文章格式是否杂乱、外链数量是否泛滥等多个方面对投稿内容进行审核测评,只有满足条件的内容才会通过审核。

平台将持续严厉打击发布虚假不实信息内容,一经发现立即删除,且将对发布虚假内容的账号进行相应的处罚。

当用户等级达到2级及以上等级之后,可联系站长【QQ:724413399】免费升级至VIP会员组,将免费获得发贴免审核权限,以后发的帖子都将跳过审核直接发布成功!

Powered by HadSky 7.7.16

©2015 - 2024 seo学途论坛网

站内帖子均为用户自愿发表,并不代表本站立场~

XML( 12345 )

您的IP:44.220.44.148,2024-06-22 00:57:17,Processed in 0.0161 second(s).

网站备案号:黔ICP备19009860号-2

seo学途论坛网是一个可以免费发外链的论坛,大家可以免费发布含有纯文本外链、锚文本外链的精美软文内容,也可以在论坛中与大家进行交流、讨论更多话题。
头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
免责声明

1、本站资源,均来自网络,版权归原作者,所有资源和文章仅限用于学习和参考 。

2、不得用于商业或非法用途,否则,一切责任由该用户承担 !

3、本站内容如不慎侵犯了你的权益,敬请谅解,内容素材由网友自发上传并非本站意愿,您可参照文章侵权处理流程联系我方解决!


侵权删除请致信 E-Mail:724413399@qq.com