一朵华为云,如何做好百模千态?
点击关注
文丨刘雨琦、郝鑫
2005年华为提出网络时代的“All IP”,2011年提出数字化时代的“All Cloud”,2023年提出智能时代的“All Intelligence”。
截至目前,华为的战略升级经历了三个阶段。
步入智能化,需要迎接的困难依然不少。在大模型能力涌现、多模态融合、MOE等趋势下,模型参数很快将从现在的5400亿超过数万亿,对海量的稳定算力、大规模并行训练、以及整体的架构设计都提出了更高要求。同时,数据集规模的快速增长,数据高效存储、清洗和标注的难度,以及海量Token的训练等充满挑战。
“可以说,大模型及相关应用是迄今为止最复杂的软硬件系统工程”, 华为云CTO张宇昕判断道。
在上篇 《全面智能化,华为的“硬功夫”》 中,我们总结在硬件层面,华为的策略是从底层建基开始做起, 以硬件为切入,打通感知层和连接层,凭借特色化行业军团打入各行各业,出具智能化解决方案。 也正是因为华为本身软硬一体化的特殊性,催生了其既要做好“硬件层”与“软件层”的连接,也要做好软件层与千行百业连接的需求。
近期的华为全联接大会2023,华为云公布了一系列实践,进一步印证了软硬结合的深层次逻辑:
面向底层算力,宣布华为云昇腾AI云服务正式上线,提供算力集群、计算引擎CANN、AI开发框架MindSpore和AI开发平台ModelArts,构建AI云底座;
面向客户、开发者开发训练,上线“昇腾AI云服务百模千态专区”,同时整合了应用开发需要的开发生产线、低码/无码平台、AI应用框架及全新的AI应用工程套件,降低开发门槛;
面向大模型落地,发布华为云Stack 8.3,提供13类100+云服务,重点增强盘古大模型、工业互联网、数据要素流通、软件开发生产线四大核心能力。
通过梳理本次大会内容,光锥智能发现,华为云服务总体分为两个大板块: 一是面向计算,以硬件交付为主、提供算力的业务;二是直接面向客户,以软件交付为主、提供服务的业务。
如果将华为提出的全面智能化战略形象化,算力就好比是引擎,计算就是发动机。华为云平台在其中承担连接器的角色,向下调用算力平台,向上兼容千行百业。对外,也给千行百业的智能化描绘工程图纸和提供工具。
01 昇腾AI云服务:算力的“输血泵”
随着大模型厂商的不断推进,让“大模型落地各行各业”正在一步步变成现实,这同时也激发了大规模底层算力调用的需求。
作为底层的算力,以前大多数情况下通过本地部署方式完成,而现在明显的变化是, 大模型开始推动算力基础设施不断“向上”,服务于千行百业的客户。
但要把算力直接部署在企业端,本身是件门槛极其高的事情,正如华为云代理厂商告诉光锥智能, “预算要千万级起步,其次还要配备技术研发团队”。这就导致,从计算平台到客户之间便产生了一道鸿沟。
谁来填补这道裂缝?华为给出的答案是“昇腾AI云服务”。据华为云透露,截至目前,其在贵安、乌兰察布、芜湖建设了3大AI算力中心。算力中心没办法直接提供服务,但通过云计算就可以把像水电一般的算力转化为“即开即用”的服务一起出售给用户。
就像一块块搭积木,昇腾AI云服务将算力平台和云计算平台的能力组合在了一起,硬件发挥传输信号、计算等能力,软件发挥数据传输、存储、加密等能力,软硬件一体化来实现效率的最大化。据了解, 目前基于华为昇腾AI云服务,同时通过软硬协同实现算子融合与混合精度的优化,让训练效率提升45%。
具体来看, 华为昇腾AI产业生态由云边端的硬件、异构计算架构、AI框架、应用使能和行业应用层构成,这几部分揭示了华为AI能力如何落地行业场景的全过程。
我们可以把上面这张图理解为一间正在投入生产的工厂。异构计算架构层好比一台万能的生产机器,它具有极强的兼容性,既支持CPU的引擎,也支持GPU、TPU的引擎,有了算力整个工厂才得以运作起来。
AI框架就好比是工人手中的图纸,只有对照着图纸,才能知道每一步的生产步骤。有了机器、图纸还不够,工厂还给每位工人配备了一些封装好的扳手、锤子等工具,这也就是“应用使能层”的作用。待工人将图纸的样式组装为现实的产品,会立即被分类投入到不同的产业线进行打包处理,这也等同于AI进入到了各个行业当中。
华为从最底层打造了一个最全的生产工厂,也提供了各类服务。如在异构计算架构层不仅支持不同类型的处理器,还提供了四种算力供给模式, 一种是直接卖服务器的裸算力模式;第二种是租服务器的租算力模式;第三种是通过服务器打造一个云服务空间,提供算力支持;最后一种是以MaaS服务的方式提供算力。
纵观全世界,谷歌、亚马逊等云厂商多以云算力模式、MaaS模式的方式提供算力,英伟达等硬件芯片厂商多以裸算力、多租户模式提供算力,很长一段时间内两者之间泾渭分明。
不过,多算力供给模式正在逐渐成为趋势。据外媒报道,英伟达已经开始通过与一些云厂商签订GPU合同,“逼迫”他们租用英伟达的服务器,以此来打通云算力和MaaS模式。
02 华为云:AI云基座和生产线
算力层的优势是一个新引擎,华为云才是带领华为智能化走向千行百业的那辆马车。
全联接大会中,除了发布昇腾AI云服务,华为云还升级了Stack 8.3版本,为企业提供一站式建设专属大模型的工具和服务。据了解,全新的Stack8.3版本,提供了完整的AI生产链,包括AI算力、计算结构、框架、开发平台、开发套件、基础大模型以及专业服务,降低大模型的建设门槛。
“大模型不是少数企业的专利”,华为云Stack总裁尚海峰说道:“华为希望让每个企业都拥有自己的大模型。”
但从企业内部来看,数据的实时采集受制于非数字化终端,数据的实时上传受制于低速网络,数据的实时分析受制于数据孤岛,行业数据难采、难传、难用,诸多因素都阻碍了智能化的进程。
带着这个思路再看Stack 8.3目前的产品布局,颇有种针对企业痛点逐个狙击的感觉。
比如在8.3版本中,重点对数据要素流通能力进行了增强,而这正是企业面临智能化的第一道难关。在数据实时采集方面,华为打造了感知层硬件进行支撑;为了解决上传速度的问题,华为QingTian架构基于高速新型网络协议,打破了算力、存储和网络的边界,完成对多算力的对等互联,以解决此前低速网络带来的数据传输时间过长、数据丢失等问题。
另一方面,数据需要在流通中才能充分体现价值,但当前业界仍然缺乏可信的数据流通机制,这样的挑战在大模型时代尤为突出。
数据是行业用户的核心资产和竞争优势的源泉,行业用户部分关键敏感数据难以实现共享或者“出厂”, 例如政务行业中涉及到城市发展、公共安全和个人隐私等方面的数据;金融行业中责权、债务关系相关的数据;制造业的资产明细、生产数据以及明确要求不可以出园区的数据等等,此时基础大模型难以适应行业智能化需求。
为此,每个云厂商都在着重建立保障数据要素流通过程中的安全可信机制。区块链和隐私计算成为其中最核心的能力,这原本是金融交易中的核心技术,如今也逐渐成为了基础能力。
在数据流通环节,区块链技术可以进行数据确权、防篡改,隐私计算技术确保数据在应用中“可用不可见、可算不可识”。华为Stack 8.3将上述多种技术进行数智融合,让企业可以实现算法、模型和数据集等高质量数据产品的开发,满足数据的使用标准;并通过EDS交换数据空间让数据可信流通与授权运营,确保数据不出域。
其他厂商也在数据层积极布局,蚂蚁专门推出了针对数据流通安全的平台“摩斯”,独立对外提供服务,产品化页面操作包含分布式和集中式计算模式提供安全匹配、匿名查询、安全模型、安全统计等各类产品。
保障数据安全和流通之后,面对智能化的应用开发,很多企业都是“丈二的和尚,摸不着头脑”。Stack 8.3版本是一站式开发平台,提供从编码规范、分布式构建、漏洞检查到协同开发等30多种核心能力,建立了流程、工具到经验一体的软件开发生产线CodeArts。
对比上文所提到的ModleArts的逻辑是一样的,几乎开发者在软件开发中的所有流程和工具、服务,都能够在CodeArts中找到答案。中国船舶集团旗下的海舟技术公司,专门负责船舶系统的软件业务和开发,基于CodeArts的结构化流程和契约化研发确保交付零偏差,实现千人高效协作,打造大型工业领域原创技术“策源地”。
无论是被动的一体化,还是主动的一站式,可以看出目前华为云的整体思路不仅要做深更要做广,为智能化时代,打造一个AI云基座。
03 5+N+X,解耦大模型解决方案
毫无疑问,大模型虽然不是智能化的全部,但却已经成为了企业智能化的灵魂。
在技术发展的早期,有时候建立标准比发展技术本身更加重要。 这也是华为云的思路。比如自动驾驶技术在发展的早期也曾经历混乱和迷茫,直到业内将自动驾驶技术分为L0-L5,框架清晰之后,才迎来了具体的技术突破和落地。
华为云认为对于大模型的思考也应该如此。基于思考,华为云将大模型分为了L0、L1、L2三个层次,形成了5+N+X的三层解耦架构。
其中5指的是5种基础大模型,包括自然语言(LLM)、视觉(CV)、多模态、预测决策(推理)、科学计算5种不同方向的大模型;N是基于通用大模型打造的行业大模型,利用特定的行业数据,基于无监督自主学习行业知识,形成的行业的大模型,也是目前大模型在产业应用落地的主要形式;而X则是L1结合场景数据形成场景大模型,以适应行业的需要。
从 L0、L1 到 L2,遵从由“通”到“专”的分层级模式,通用大模型用来定性、行业大模型定量,而场景大模型则代表了无限可能。在这样层级分明的架构中,可以完成从 L0 通用模型到 L1 行业模型再到 L2 专用模型的快速开发流程。
据光锥智能了解到,首先,盘古大模型采用完全的分层解耦设计, 可以灵活适配、满足行业多变的需求,企业既可以为自己的大模型加载独立的数据集,也可以独立升级模型。
但同时,大模型的三级模型之间可以交互优化。 L0 模型可以为 L1 模型提供初始化加速收敛,L1 可以通过模型抽取蒸馏产生更强的 L2 模型,L2 也能够在实际问题中通过积累难例数据或者行业经验反哺 L1。
或许这也正是华为云能够快速同时推出9大行业大模型的原因。全联接大会中,华为云一口气“上新”了9大行业模型,矿山大模型、气象大模型、医药大模型等,针对具体行业具体业务,提供实际的解决方案。
与其他云厂商提供的行业大模型不同的是,华为的行业大模型已经在实际业务中“跑过一轮”,带着实战经验就能起到关键作用。
比如在近几年极端天气与日俱增之际,对气象预测的精准度有了进一步要求,盘古气象大模型与中国国家气象局合作,使得中长期气象预报精度首次超过传统数值方法,速度提升10000倍以上。具体而言,该模型使用全球39年的天气数据进行训练,仅用1.4秒就完成了全球24小时的天气预测,同时对台风路径预报等极端天梯,提高了精准度。
同样,煤炭行业面临着开采地质条件复杂、灾害多发(如煤尘、水、火、瓦斯和顶板等自然灾害)、生产效率较低、作业环境恶劣、人员短缺等挑战,为应对这些挑战,大模型在尽量增安、少人。仅以瓦斯隐患预测一个场景举例,借助大模型对井下采煤、设备、矿压、通风、安全监测、地质、瓦斯抽取等系统数据进行智能融合分析,对井下关键位置瓦斯浓度进行预测,实现瓦斯隐患的超前预警。
当然,这得益于华为在智能感知层的纵深布局,在具体的应用场景中再次发挥作用和价值。
未来,百模千态将面临一个个越来越艰深的行业和越来越具体的场景,无论是华为云还是其他云厂商,都需要不断思考着陆点,深入无数毛细血管,才能迎来质的改变。
欢迎关注光锥智能,获取更多科技前沿知识!
相关文章:
一朵华为云,如何做好百模千态?
点击关注 文丨刘雨琦、郝鑫 2005年华为提出网络时代的“All IP”,2011年提出数字化时代的“All Cloud”,2023年提出智能时代的“All Intelligence”。 截至目前,华为的战略升级经历了三个阶段。 步入智能化,需要迎接的困难依然…...
华为云云耀云服务器L实例评测 | 实例使用教学之软件安装:华为云云耀云服务器环境下安装 Docker
华为云云耀云服务器L实例评测 | 实例使用教学之软件安装:华为云云耀云服务器环境下安装 Docker 介绍华为云云耀云服务器 华为云云耀云服务器 (目前已经全新升级为 华为云云耀云服务器L实例) 华为云云耀云服务器是什么华为云云耀云…...
小程序编译器性能优化之路
作者 | 马可 导读 小程序编译器是百度开发者工具中的编译构建模块,用来将小程序代码转换成运行时代码。旧版编译器由于业务发展,存在编译慢、内存占用高的问题,我们对编译器做了一次大规模的重构,采用自研架构,做了多线…...
FFmpeg 命令:从入门到精通 | ffmpeg 命令分类查询
FFmpeg 命令:从入门到精通 | ffmpeg 命令分类查询 FFmpeg 命令:从入门到精通 | ffmpeg 命令分类查询ffmpeg -versionffmpeg -buildconfffmpeg -formatsffmpeg -muxersffmpeg -demuxersffmpeg -codecsffmpeg -decodersffmpeg -encodersffmpeg -bsfsffmpeg…...
Linux学习记录——삼십일 socket编程---TCP套接字
文章目录 TCP套接字简单通信1、服务端1、基本框架2、获取连接 2、客户端3、多进程4、多线程5、线程池6、简单的日志系统7、守护进程8、其它 TCP套接字简单通信 本篇gitee 学习完udp套接字通信后,再来看TCP套接字。 四个文件tcp_server.hpp, tcp_serve…...
【学习笔记】深度学习分布式系统
深度学习分布式系统 前言1. 数据并行:参数服务器2. 流水线并行:GPipe3. 张量并行:Megatron LM4. 切片并行:ZeRO5. 异步分布式:PATHWAYS总结参考链接 前言 最近跟着李沐老师的视频学习了深度学习分布式系统的发展。这里…...
【数据结构】树、二叉树的概念和二叉树的顺序结构及实现
目录 前言:一、树的概念及结构1.树的概念2.树的相关概念3.树的存储4.树在实际中的运用 二、二叉树概念及结构1.概念2.特殊的二叉树(1)满二叉树(2)完全二叉树 3.二叉树的性质4.二叉树的存储(1)顺序存储(2)链式存储 三、…...
rust学习-string
介绍 A UTF-8–encoded, growable string(可增长字符串). 拥有string内容的所有权 A String is made up of three components: a pointer to some bytes, a length, and a capacity. The length is the number of bytes currently stored in the buffer pub fn as_bytes(&…...
No167.精选前端面试题,享受每天的挑战和学习
🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云课上架的前后端实战课程《Vue.js 和 Egg.js 开发企业级健康管理项目》、《带你从入…...
【python】pycharm导入anaconda环境
参考 Pycharm导入anaconda环境的教程图解 - 知乎 (zhihu.com)...
【数据结构】逻辑结构与物理结构
🦄个人主页:修修修也 🎏所属专栏:数据结构 ⚙️操作环境:Visual Studio 2022 目录 🌳逻辑结构 1.集合结构 2.线性结构 3.树形结构 4.图形结构或网状结构 🌳物理结构 1.顺序存储结构 2.链式存储结构 结语 根据视点的不同,我…...
HTML5高级部分
目录 一、拖拽API1.1 拖拽元素1.2 监听事件1.3 dataTransfer传递数据 二、媒体API2.1 常用监听事件2.2 常用API 三、画布API3.1 canvas 标签3.2 创建canvas对象3.3 常用API 四、地理API4.1 方法 一、拖拽API 1.1 拖拽元素 页面中设置了draggable"true"的元素可以进…...
浏览器输入 URL 并回车发生了什么
本文节选自我的博客:浏览器输入 URL 并回车发生了什么 💖 作者简介:大家好,我是MilesChen,偏前端的全栈开发者。📝 CSDN主页:爱吃糖的猫🔥📣 我的博客:爱吃糖…...
asp.net core mvc 文件上传,下载,预览
//文件上传用到了IformFile接口 1.1文件上传视图 <form action"/stu/upload" method"post" enctype"multipart/form-data"><input type"file" name"img" /><input type"submit" value"上传&…...
Axios有哪些常用的方法?
Axios是一个常用的JavaScript库,用于进行HTTP请求。它提供了一组简洁而强大的方法来发送各种类型的请求,并处理响应数据。以下是Axios中一些常用的方法及其格式: GET请求: axios.get(url[, config]).then(response > {// 请求…...
PL/SQL+cpolar公网访问内网Oracle数据库
文章目录 前言1. 数据库搭建2. 内网穿透2.1 安装cpolar内网穿透2.2 创建隧道映射 3. 公网远程访问4. 配置固定TCP端口地址4.1 保留一个固定的公网TCP端口地址4.2 配置固定公网TCP端口地址4.3 测试使用固定TCP端口地址远程Oracle 前言 Oracle,是甲骨文公司的一款关系…...
stable diffusion和gpt4-free快速运行
这是一个快速搭建环境并运行的教程 stable diffusion快速运行gpt快速运行 包含已经搭建好的环境和指令,代码等运行所需。安装好系统必备anaconda、conda即可运行。 stable diffusion快速运行 github: AUTOMATIC1111/稳定扩散网络UI:稳定扩散网页用户界…...
分享三个国内可用的免费GPT-AI网站
AIchatOS国内的不需要梯子 AItianhu同上 国内百度的文心一言一样非常优秀...
使用SDKMAN在Linux系统上安装JDK
本文使用的Linux发行版为Rocky Linux 9.2,可以当做CentOS的平替产品。 SDKMAN是一个sdk包管理工具,通过自带的命令可以快速切换软件环境, 官网地址:https://sdkman.io/。 1、安装sdkman: # curl -s "https://ge…...
MySQL(8) 优化、MySQL8、常用命令
一、MySQL优化 从上图可以看出SQL及索引的优化效果是最好的,而且成本最低,所以工作中我们要在这块花更多时间。 服务端参数配置; max_connections3000 连接的创建和销毁都需要系统资源,比如内存、文件句柄,业务说的支持…...
前端JavaScript入门到精通,javascript核心进阶ES6语法、API、js高级等基础知识和实战 —— Web APIs(三)
思维导图 全选案例 大按钮控制小按钮 小按钮控制大按钮 css伪类选择器checked <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><…...
嵌入式汇编大合集
嵌入式汇编 内联汇编的基本格式: asm volatile( /* volatile : 可选,禁止编译器对汇编代码进行优化 */"汇编指令" /* 汇编指令间使用\n分隔 */:"=限制符"(输出参数):"限制符"(输入参数):保留列表 )共四个部分:汇编语句,输出部分,输入部分…...
C#WPF框架MvvMLight应用实例
本文实例演示C#WPF框架MvvMLight应用实例。 目录 一、MVVM概述 二、MVVMLight概述 三、使用MVMLight框架 一、MVVM概述 MVVM概述MVVM是Model-View-ViewModel的简写,主要目的是为了解耦视图(View)和模型(Model)。...
【JVM】双亲委派模型
双亲委派模型 1. 什么是双亲委派模型2. 双亲委派模型的优点 1. 什么是双亲委派模型 提到 类加载 机制,不得不提的一个概念就是“双亲委派模型”。 双亲委派模型指的就是 JVM 中的类加载器如何根据类的全限定名找到 .class 文件的过程 类加载器: JVM 里面专门提供…...
多叉树+图实现简单业务流程
文章目录 场景整体架构流程业务界面技术细节小结 场景 这次遇到一个需求,大致就是任务组织成方案,方案组织成预案,预案可裁剪调整.预案关联事件等级配置,告警触发预案产生事件.然后任务执行是有先后的,也就是有流程概念. 整体架构流程 方案管理、预案管理构成任务流程的基础条…...
Word | 简单可操作的快捷公式编号、右对齐和引用方法
1. 问题描述 在理工科论文的写作中,涉及到大量的公式输入,我们希望能够按照章节为公式进行编号,并且实现公式居中,编号右对齐的效果。网上有各种各样的方法来实现,操作繁琐和简单的混在一起,让没有接触过公…...
leetCode 123.买卖股票的最佳时机 III 动态规划 + 状态压缩
123. 买卖股票的最佳时机 III - 力扣(LeetCode) 给定一个数组,它的第 i 个元素是一支给定的股票在第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你最多可以完成 两笔 交易。 注意:你不能同时参与多笔交易࿰…...
JavaScript计算两个时间相差多少个小时的封装函数
js中计算两个时间相差小时数 在JavaScript中,你可以使用Date对象来处理日期和时间。下面是一个函数,它接受两个时间字符串作为参数,并返回两者之间的时间差(以小时为单位): function calculateHours(time…...
Qt 画自定义饼图统计的例子
先给出结果图,这个例子是将各种事件分类然后统计的其比例,然后画饼图显示出来 这个是我仿照官方给的例子,让后自己理解后,修改的,要生成饼图,需要QT的 charts 支持,安装QT 没有选择这个的&#…...
【数据结构】链表与LinkedList
作者主页:paper jie 的博客 本文作者:大家好,我是paper jie,感谢你阅读本文,欢迎一建三连哦。 本文录入于《JAVA数据结构》专栏,本专栏是针对于大学生,编程小白精心打造的。笔者用重金(时间和精…...
营销型网站./新媒体
基于MQTT协议的消息传输为什么MQTT?之前刚写了一篇关于socket的文章,为什么又来一个MQTT?因为MQTT协议就是socket接口实现的啊(socket和MQTT只是层级不一样而已),并且感觉发布/订阅模式非常棒,于…...
网站页面一般做多大/爱站网综合查询
在Android SDK Manager 中安装Android 8.1.0 SDK Platform时报错导致无法安装。错误信息:Downloading SDK Platform Android 8.1.0, API 27, revision 1 Download finished with wrong size. Expected 65606517 bytes, got 65738431 bytes.1、如图在SDK Manager中选…...
学网站建设 去哪里/站外推广方式
https://www.cnblogs.com/williamjie/p/9502560.html 1、老写法 keys crm*2、 scan 0 count 10 match crm*会返回两个数组,第一个数组是第二次 scan 开始的游标 ,第二个数组为元素 count用于设置每次查找多少个,match用于模糊匹配...
药物研发网站怎么做/如何做一个自己的网站呢
http://blog.csdn.net/kesalin/article/details/8351935 前言 本文介绍了OpenGL ES 2.0 中的顶点缓冲对象(VBO: Vertex Buffer Object)和索引缓冲对象(IBO: Indice Buffer Object)的用法, 在之前的文章中图元的绘制没用使用VBO, 要绘制的顶点数据是以顶点数组的形式…...
做动画人设有哪些网站可以借鉴/营销策略分析
这种组合方式,依赖的是JUnit和Spring容器,进行对象注入,而Mockit的作用是在spring生成的bean中,注入mock对象。相当于使用了Mockito的一部分功能。1、首先导入包:<dependencies>2、被测试类production-class&…...
东莞做阀门的网站/云搜索网页版入口
关键词 移动端车牌识别、安卓端车牌识别、ios端车牌识别、手机端车牌识别、移动端车牌识别sdk、安卓端车牌识别sdk、ios端车牌识别sdk、ocr车牌识别 什么叫移动端车牌识别? 移动端车牌识别sdk支持Android、iOS平台,支持接口开发。通过智能手机或Pad的摄像…...