当前,生成式AI(AIGC)已经成为AI产业化发展的主战场,随着大模型参数量和数据量的爆发式增长,多源异构数据的传、用、管、存,正在成为制约生成式AI落地的瓶颈之一。为了化解生成式AI的数据存储与管理瓶颈,浪潮信息在“数智未来”AIGC数据应用创新论坛上,正式发布面向生成式AI的存储解决方案,该方案以极致融合、极致性能、极致节能,和热温冷冰四级数据全生命周期管理,助力开启生成式AI新局面,创造智慧时代新机遇。
生成式AI亟待突破多源异构和存储性能瓶颈
生产式AI是人工智能从1.0时代进入2.0时代的重要标志,其具备强大的认知智能,在搜索引擎、艺术创作、影音游戏,以及金融、教育、医疗、工业等领域有着广阔的应用前景。Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。据分析师预测,到2032年,生成式人工智能市场规模将达到2,000亿美元,占据人工智能支出总额的约20%,显著高出当前的5%。换言之,未来十年市场规模可能每两年就会翻一番。
生成式AI主要应用场景涵盖文本生成、语音生成、图片生成、视频生成、代码生成、虚拟人生成等,在每种应用的背后是基于行业上下游对数据进行采集、标注、训练、推理、归档,其特征是数据量大、多元数据类型复杂、服务协议多样、性能要求苛刻、要求服务持续在线。生成式AI对数据存储提出如下挑战:
● 异构数据的融合:生成式AI训练模型的数据呈现来源多、格式多的多源异构现状,传统存储面向单一数据类型设计,需要以搬移数据的方式实现多协议访问,存储成为应用平台的关键瓶颈;
● 持续的低延迟与高带宽:模型训练过程中,频繁地从数据集取Token,每个Token一般4字节,实时高并发小IO性能需要极低的延迟;存储模型Checkpoint时,为Checkpoint数据可快速写入,需要高带宽;
● EB级大容量存储需求:越多的数据投喂结果越精准的工作原理,决定了大模型训练存在深度学习网络层数多、连接多、参数和数据集种类复杂、数据量大的特征,随着模型参数和数据量的快速增长,对于存储的大容量和扩展需求也迫在眉睫。
数据存储产业需要进行全方位的技术升级,通过在多源异构融合、数据高速传输、海量数据管理等方面持续创新,打造专业的生成式AI存储产品与解决方案。
为打造一个高质量、高收录的外链平台,站长将针对所有普通用户投稿的内容进行审核,针对文章原创度、文章格式是否杂乱、外链数量是否泛滥等多个方面对投稿内容进行审核测评,只有满足条件的内容才会通过审核。
平台将持续严厉打击发布虚假不实信息内容,一经发现立即删除,且将对发布虚假内容的账号进行相应的处罚。
当用户等级达到2级及以上等级之后,可联系站长【QQ:724413399】免费升级至VIP会员组,将免费获得发贴免审核权限,以后发的帖子都将跳过审核直接发布成功!
双击表格可删除表格
1、本站资源,均来自网络,版权归原作者,所有资源和文章仅限用于学习和参考 。
2、不得用于商业或非法用途,否则,一切责任由该用户承担 !
3、本站内容如不慎侵犯了你的权益,敬请谅解,内容素材由网友自发上传并非本站意愿,您可参照《文章侵权处理流程》联系我方解决!