X 关闭
今天,生成式AI正在成为全球科技公司竞相布局的赛道,不少硬件公司也在向AI转型。
(相关资料图)
2023年8月24日,浪潮信息正式发布“大模型智算软件栈OGAI。OGAI(Open GenAI Infra)“元脑生智”,由浪潮信息基于大模型自身实践与服务客户的专业经验而开发,旨在为大模型开发与应用全力打造高效生产力,加速生成式AI产业创新步伐。
作为业内最早布局大模型的企业之一,浪潮信息早在2021年就推出了中文AI巨量模型“源”,参数规模高达2457亿。
浪潮信息是国内排名第一的AI服务器龙头企业。根据IDC的数据,2021年X86服务器市场和AI服务器市场中,浪潮信息均位列第一,市场占比分别为30%,%。
服务器厂商开始做大模型以及配套开发工具链的软件产品,这是生成式AI驱动下的产业链变化趋势。
生成式AI不仅是AI公司的机遇,它也是一场从底层算力到上层AI应用的全产业链机会。
从市场增长表现上来看,预计到2032年,生成式AI市场的营收规模将从去年的400亿美元增长逾30倍至万亿美元。
OGAI是浪潮信息面向以大模型为核心技术的生成式AI开发与应用场景所构建的全栈智算软件栈,为大模型业务提供AI算力系统环境部署、算力调度保障及模型开发管理的全栈全流程能力。
图片来自浪潮信息
OGAI软件栈由5层架构组成,从L0到L4分别对应于基础设施层的智算中心OS、 系统环境层的PODsys、调度平台层的AIStation、模型工具层的YLink和多模纳管层的MModel五大产品。
具体来看,L0层智算中心OS的定位是面向智算中心等公共算力服务平台,面向多租户场景,提供 灵活多样的以裸金属为主的AI算力服务。
L1层PODsys是浪潮信息聚焦于智算集群部署场景打造的开源项目,提供了包括基础设施环境安装、环境部署、用户管理、系统监控和资源调度一整套工具链, 旨在打造一个易用、高效、开放、兼容的智算集群系统环境部署方案。
L2层AIStation聚焦于AI开发场景,通过云原生技术对集群系统中的计算资源、存储资源和网络资源进行统一的接入和纳管,提供了易于使用的开发环境和作业管理界面,并基于内置算力调度系统和训练稳定保障系统来实现易于接入、按需分配、弹性扩展和和高效稳定的AI研发应用支撑平台。
L3层YLink聚焦于大模型的开发过程,通过集成整合浪潮信息在大模型研发过程中的工具和开源工具,为用户提供高效、便捷与标准化的大模型开发与优化流程。
L4层MModel定位于多模型管理与服务平台,帮助客户更好的管理和评估模型,加速模型的部署和应用。
为了满足大模型开发和应用在算力基础设施上的需求,OGAI秉承全栈全流程,算力充分释放,实战验证提炼的设计原则,帮助客户更好更快地使用大模型,降低算力系统的使用门槛、优化大模型的研发效率,保障大模型的生产与应用。
作为智慧计算的引领者,浪潮信息是一家以 IT基础架构技术、产品为核心的基础设施提供商 ,主要向客户提供 云计算、大数据、人工智能等数字化解决方案 ,为什么在此刻,选择做大模型开发工具链这一软件产品?
实际上,开发大模型是一项复杂的系统工程,尤其是对于长线布局大模型、注重打造自身核心竞争力的企业,需要综合考量算力系统的部署、优化、资源调度,还要考量数据的采集、清洗、处理,模型训练、推理、迁移、调优以及应用服务、生态构建等一系列问题。
浪潮信息人工智能与高性能应用软件部AI架构师Owen ZHU表示:“以前客户会认为,买服务器就像买手机、买电脑一样,买完就可以使用了,但实际上随着算力需求持续变大,事情变得越来越复杂,买回去也不一定用起来。”
客观来看,以英伟达GPU为例,其虽然也是非常成熟的产品,但它本身也是在持续地更新与进步,每隔一两年就会有新产品上市。而大模型公司中并不一定会有那么多的GPU专家,如果买了最先进的GPU,使用起来会有一些门槛。
其次,大模型算力平台并不是算力的简单堆积,随着模型的规模越来越大,单卡算力与模型总算力需求之间存在着巨大的差异。
Owen ZHU告诉「甲子光年」:“从十几台机器扩展到几百台机器,使用难度会呈指数级上升。一百台机器的集群规模,从安装、调试到部署,可能需要一个月之久,研发团队真正用起来可能到下一个季度了,极大地影响工作效率。而浪潮信息的OGAI软件,可以把这个周期缩短到一周。”
针对大模型训练的种种问题,浪潮信息给出的解决方案,就是在算力之上推出的配套软件产品OGAI,一款解决大模型训练与微调的工具链,真正实现“算力释放”。
面向万亿级别的AIGC赛道,真正的产业布局才刚刚开始。市场亟需从系统层面为未来大模型的良好生态发展寻找最优解:通过构建高效稳定的智算系统,深耕发掘系统部署、集群优化,资源调度,数据处理、训练加速、算法优化等全面的能力,让炼大模型更省时、省力,让大模型更快、更稳、更智能。
浪潮信息高级副总裁刘军表示:“我们越来越不像一家硬件公司。我们硬件当然做得非常好,但要想进一步产生更大的价值,必须去理解客户的痛点,并且去解决痛点。我们在系统、软件、算法上面都有非常强的团队,这是我们帮助于客户去用好系统,用好硬件的非常重要的保证。”
浪潮信息正是用大模型智算工具链解决大模型研发遇到的算力效率问题。
OGAI来自于浪潮信息在大模型领域的工程实践,这要追溯到2021年。
当时,谷歌已经发布了BERT,OpenAI也发布了ChatGPT的上一个版本GPT-3,大模型时代刚刚开启。
大模型的训练需要充足的算力。为了对大模型这一先进技术进行验证与示范,浪潮信息专门成立了一个软件开发团队来进行大模型研发。
浪潮信息高级副总裁刘军表示:“我们的初心,就是对前沿技术的探索,让算力来充分地赋能大模型训练以及背后的产业落地化等工作。”
2021年,浪潮信息推出了中文AI巨量模型“源”,参数规模高达2457亿,并获得了中文语言理解评测基准CLUE榜单的零样本学习(zero-shot)和小样本学习(few-shot)两类总榜冠军。
大模型能力来源于大量工程实践经验,其对集群的并行运算效率、片上存储、带宽、低延时的访存等都提出了较高的需求,万卡AI平台的规划建设、性能调优、算力调度都是很难解决的难题。
而千亿参数规模的大模型创新实践,使得浪潮信息在大模型领域积累了实战技术经验并拥有专业的研发团队,具备从算力、平台管理、算法到应用落地的全栈开发能力,持续加速开放赋能。
面对今时的AIGC产业机遇,唯有深耕“沃土”,才有迸发出百花齐放、万紫千红产业的可能。显然,这是浪潮信息始终在践行的。
IDC预测,到2026年,全球AI计算市场规模将增长到亿美元,生成式AI计算占比从22年%增长到 %。
万亿AIGC赛道,布局探路初露眉头。百模大战,系统性能力的比拼才刚刚开始。
X 关闭
Copyright © 2015-2022 热讯服装网版权所有 备案号:豫ICP备20005723号-6 联系邮箱:29 59 11 57 8@qq.com