闫跃龙

闫跃龙

公告

在通信知名媒体工作超过6 年,担任总编;在京东工作超过5 年,
对互联网、通信、IT 等行业有深入了解和独特观点。擅长撰写深度文章、评论文章,文章不
仅传递观点,而且还能让读者获益。

文集

统计

今日访问:858

总访问量:12969515

华为云做“百模千态” 的云底座,坚如磐石

2023年09月22日

评论数(0)

今年最火的是什么?答案一定是大模型!据赛迪顾问的数据,截止2023年7月,中国累计已经有130个大模型问世,“百模大战”正在进入白热化。

但是,在大模型炙手可热背后,也有诸多痛点。如何让大模型从写诗画画到解决行业实际问题?如何解决大模型训练所需要的算力问题?如何真正将大模型用好?都是行业关注的焦点话题。

在一年一度华为最重要的ICT盛会——华为全联接大会2023上,华为云的一系列举措,就是直击这些痛点,让大模型“用得实、用得上、用得好”。

当大模型的诸多痛点得到解决,一个崭新的时代正在到来。


从华为云200+博士下一线说起


过去几年,华为云把一批又一批博士、专家、科学家派到客户现场,走田头、跑工地、下矿井、进车间,目前已帮助超过1000家企业落地智能化创新项目。今年华为云还将派200名博士深入客户现场。” 华为常务董事、华为云CEO张平安这样说。

这番景象令人震撼,博士下一线,透露出华为云的盘古大模型的最大差异化之处:解难题、做难事。

当众多的大模型在秀写诗、画画时,华为云盘古大模型已经深入到行业,解决行业真正的难题:

在山东能源,盘古大模型全面应用到采、掘、机、运、通、洗选等9大业务系统、21个场景,济宁二号煤矿每年多产出8000吨精煤;在政务领域,盘古可以实现对文本、视频、图像的动态解析和理解,分析现象找到责任部门,生成专业处理建议,将城市治理效率提升50%以上;在汽车领域,盘古汽车大模型通过构建数字孪生空间,生成复杂场景样本,可以让自动驾驶学习新复杂场景的周期从两周以上缩短到2天内;在气象领域,华为云启动盘古气象平台的邀测,挑战暴雨红色预警从提前3小时到提前24小时……

这样的例子有很多。盘古大模型之所以能为行业解难题、做难事,本质上是两方面的原因:一方面,华为云盘古大模型汇聚了华为这么多年积累的技术和经验,以AI能力的方式呈现,企业可以调用华为云语言大模型、视觉大模型、多模态大模型、科学计算大模型、预测大模型等上百种AI能力。

另一方面,是华为云的盘古大模型抓住了AI技术创新和业务需求的结合点,今年200+博士下一线就是这样,体现的是华为云躬身力行、行以致远,深入到行业,摸透行业痛点,结合技术去解决问题,而非闭门造车。来自生物医疗领域的博士刘星星,就是其中之一,他就是瞄准AI与医药的具体场景,实现的盘古药物分子大模型助力西安交大一附院刘冰教授团队发现世界40年以来首个广谱抗菌药,目前已经进入临床阶段。在接受访谈时,刘星星谈及自己的最大工作感悟:“做行业大模型,首先要尊重行业。

据麦肯锡报告,到2040年,生成式AI每年可为全球经济带来约2.6万亿至4.4万亿的增长,价值增量主要集中在产品研发、软件工程、生产供应、市场营销、客户运营,大模型将大大加快千行百业数字化变革。当然,这一切的前提是大模型要能沉下去,解决行业的关键难题。


算力瓶颈如何解?


大模型训练的效率和创新速度,算力是关键。

大模型从本质上是来说是“算”出来的,有专家形象地比喻:如果大模型是饕餮,那么算力就是饕餮的食物。据了解,全球头部AI模型训练算力需求是每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍,目前大模型发展如火如荼,训练算力需求有望扩张到原来的10-100倍。毕马威的报告指出,算力供给增速明显难以满足指数式爆发的需求。

一方面是需求的“大”,另一方面是供给的“难”。尤其是放在中国来看,受到国际复杂局势的影响,高端GPU芯片采购受限,价格疯涨。据笔者调查,在国内互联网大厂的采购潮下,英伟达的A800、H800卡涨价幅度已经超过40%,而且还一卡难求。

毫不夸张的说,能否解决智能算力用得上的问题,成了中国在AI上生死存亡的关键。从这个角度来看华为云推出的昇腾AI云服务,就知其特殊意义。为更好支持大模型的“百模千态”创新,华为云在贵安、乌兰察布、芜湖打造了3大AI云算力中心,为企业提供澎湃昇腾AI算力。相比自己采购GPU的方式,华为云昇腾AI云服务只需要一根光纤,就能随取随用AI算力,像用水用电那样简单便捷。

而且,华为云昇腾AI云服务就是为大模型而生,适配业界主流的近一百个开源大模型,像LLAMA、Stable Diffusion等都不在话下,堪称是“百模千态”最适合的黑土地。据了解,昇腾AI云服务已正式上线华为云官网。

当然最重要的是,华为云昇腾AI云服务是自主可控的算力,正如华为找到了解决办法让手机全面回归,华为也找到了算力的破局方向。华为轮值董事长徐直军在2023世界计算大会上表示,“基于集成技术,把多个CPU,多个AI处理器连接起来做成集群,然后利用云计算的分布式手段,是可以满足国家算力需求的。”

不仅用得上,而且还得用得好。训练一个大模型,不仅需要海量的算力,更需要稳定的算力。GPU作为高密算力,卡的稳定性一般比CPU要差,训练中发生故障很常见,一旦发生GPU卡的故障,研发人员不得不经常重启训练,时间长、代价大。华为云昇腾AI云服务直击痛点,已经实现千卡训练30天不中断,断点恢复时长不超过10分钟,让大模型训练更“稳”。

据了解,华为云昇腾AI云服务已经帮助科大讯飞、清华智谱、美图、思必驰等企业打造了自己的大模型。算力瓶颈正在得到解决。


生态才是最难啃的硬骨头


在华为全联接大会上,华为轮值董事长孟晚舟表示,华为通过算力底座、AI平台、开发工具的开放,支持大模型在智能化时代的“百花齐放”,努力做好“百花园”的黑土地。

诚然,有了大模型才是第一步,如何真正用起来,就需要有相关的工具、资源,能实现大模型的高效迁移,要能保障模型训练的性能和可靠。归根结底,需要有一个完善的大模型生态。

令人欣喜的是,华为云瞄准生态这个最难啃的硬骨头,构建的大模型生态已经基本成型。总结起来,这个大模型生态的特点可以用“全”和“精”来概括。

全,是华为云基于澎湃的昇腾AI云服务算力,全面支持盘古大模型以及各类开源模型和三方商业模型提供大模型高效迁移、保障模型训练的澎湃算力、提供稳定可靠的服务

全,也是华为云为开发者和生态伙伴提供的扶持举措全面,例如华为云专门针对大模型构建相应的开发者社区,开发者可以基于华为云技术栈,通过盘古的一站式数据处理工具、AI开发生产线ModelArts以及异构计算架构,进行各类创意应用的搭建和模型的创新,还可以直接基于社区的环境进行模型的优化。华为云还将云学堂进行全面的智能升级,全新上线了20多个大模型、云原生的热门技术领域的优质课程,为开发者提供4类学练一体的实验等。

华为云全球生态部总裁康宁表示,华为云提供了盘古大模型工程化套件,覆盖数据工程、模型开发、应用开发三大环节,将复杂留给自己,将简单留给伙伴。以盘古大模型工程套件为例,完成一个千亿级的行业模型端到端开发,过去需要5个月,现在用该套件只需要1个月,速度提升了5倍。

精,是华为云将行业大模型做精,不仅自己深耕行业,躬身力行,将盘古大模型应用于千行万业;更是与伙伴联创行业大模型,解决行业难题。华为云全球生态部总裁康宁透露,目前华为云和150多家伙伴、200多家客户,共同构筑了20多个行业大模型以及400多个AI应用场景。无论是华为云和阳光云联合打造的媒体大模型中间件,还是与重庆法谷构筑的法律大模型,或是与中国公共关系协会文化大数据专业委员会联创的文化大模型,都是如此。

徐直军在2023世界计算大会上曾说,任何大模型也好,AI也好,要持续训练,如果越早的基于一个可持续面向未来的生态去发展,投资效率就更高,就越有未来。

显然,华为云所构建的大模型生态,就是中国大模型可持续面向未来的生态,弥久历坚。


后记:直挂云帆济沧海


最近,华为手机全面回归,令国人振奋,有媒体将其称为“争气机”。实际上,在软件、硬件、数据库、大模型等方面,华为云在这几年同样遭遇到了难以想象的困难。面对困难,华为云不放弃,迎难而上、攻坚克难,“没有退路,就是胜利之路”,终于“长风破浪会有时,直挂云帆济沧海”。

2023年,是华为云技术大爆炸的一年:在软件上,相继发布代码仓、需求管理、测试管理等23款云上软件开发工具,聚合这些工具,华为云打造出软件全生命周期开发生产线CodeArts;在硬件上,联合20多家合作伙伴发布云原生原理图工具、PCB版图工具、结构设计工具等;在数据库上,发布分布式云数据库GaussDB;在大模型上,发布盘古大模型3.0,提供L0、L1、L2层的全栈大模型能力集……

在极其困难的情况下,华为云构建起完整的云上基础设施,构建起支撑大模型的智能世界云底座。这次华为全联接大会2023,华为云围绕盘古大模型、昇腾AI云服务、大模型生态的一系列举措,充分说明:在AI最前沿的大模型领域,华为云不仅立住了,而且立稳了。

今年华为全联接大会的主题是“加速行业智能化”。显然,有了华为云所构建的智能世界的云底座,千行万业的智能化将能按下加速键,在重塑中奔向更美好的未来。


文章为作者独立观点,不代表联商专栏立场。

联商专栏原创文章由作者授权发表,转载须经作者同意,并同时注明来源:联商专栏+闫跃龙。