解决国内大模型痛点的最佳实践方案
1.前言
自AI热潮掀起以来,国内互联网大厂躬身入局,各类机构奋起追赶,创业型企业纷至沓来。业内戏称,一场大模型的“百模大战”已经扩展到“千模大战”。
根据近期中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告》,中国从2020年进入大模型快速发展期,目前中国10亿参数规模以上的大模型已发布79个。从全球已发布的大模型分布来看,中国的增长态势处于领先国家之列。
今年以来,人工智能成为全球科技产业的热门领域,上百家公司、机构相继发布大语言模型相关产品,人工智能应用在大模型领域打开新局面。
不仅是大模型,人工智能新技术正加速走进千行百业。为消费者提供个性化推荐,预测天气、指导矿山生产、帮程序员“写代码”、帮科学家“搞科研”……,丰富的应用场景,将人工智能赋能产业发展、造福生活体现得淋漓尽致。
12月20日,2023百度云智大会·智算大会在北京召开,百度智能云与来自各行业的专家学者、客户与伙伴共同探讨了AI原生时代下,云+AI的创新变革之路。
2.大模型训练的挑战:开发视角内识
随着数字化转型需求增长,AI在企业中的应用也越来越多,AI开发门槛高、应用场景复杂多样、对场景与标注数据依赖等问题成为AI规模化落的挑战,而预训练大模型的出现则为人工智能带来了新的机遇与希望。大模型作为政府和企业推进人工智能产业发展的重要抓手,在识别、理解、决策、生成等AI 任务的泛化性、通用性、迁移性方面都表现出显著优势和巨大潜力。
具体来看:
大模型具有良好的通用性、泛化性,显著降低人工智能应用门槛。 预训练大模型在海量数据的学习训练后具有良好的通用性和泛化性,用户基于大模型通过零样本、小样本学习即可获得领先的效果,同时“预训练+精调”等开发范式,让研发过程更加标准化,显著降低了人工智能应用门槛,成为AI走向工程化应用落地的重要手段。
深度学习平台为预训练大模型的发展保驾护航,两者结合夯实了产业智能化基座。 深度学习平台是推动产业智能化转型升级的核心载体,为大模型的算法开发、训练、部署保驾护航。大模型加上深度学习平台,贯通了从硬件适配、模型训练、推理部署到场景应用的AI全产业链,夯实产业智能化基座,将加速产业智能化升级。
大模型在推进产业智能化升级中已表现出巨大潜力,企业应该尽早关注。 大模型目前的产业应用包括面向企业提供AI中台基座、深度定制支持产品或生产的优化与创新、开放模型服务等。大模型已经在搜索、推荐、智能交互、AIGC、生产流程变革、产业提效等场景表现出巨大的潜力,企业应该尽早关注,加速业务中的布局。
未来还需加强大模型与真实场景需求匹配,推动大模型大规模落地。 目前中国大模型厂商在模型布局 方面较为完善,应进一步围绕行业赋能的广度和深度持续探索,不断夯实基于大模型的产品建设,推动大模型技术从实验室走向实际大规模落地。
在人工智能领域,大模型如GPT-3、BERT和T5已经证明了其在多个任务中取得卓越性能的潜力。然而,这些模型的开发和训练对于许多研究和开发团队来说,仍然是一项具有重大挑战性的工作。这些困难包括资源成本的高昂、复杂的工程难题、工具和框架支持的不足、以及模型评估和部署的复杂性。
2.1 高昂的资源成本
训练大模型需要巨量的计算资源和存储设备。即便是对于大型公司,动辄数十万美元乃至更高的训练费用也令人望而却步。适合大模型训练的硬件,如高端GPU或TPU集群,其购置和维护成本往往不是普通研究机构或初创公司所能轻易承担。
高端GPU,我真的缺少吗?
“缺,当然缺,但是我们能有什么办法。
” 某大厂高管被问及是否缺算力问题时脱口而出。
这似乎已经成了行业公认的一道无解题,顶峰时期一张[英伟达](javascript:void(0);)A100的价格已经被炒到了二三十万人民币,单台A100服务器的月租价格也飙到了5万-7万/月。但是即便如此,高昂的价格依然可能拿不到芯片,一些算力供应商也遇到过供应商跳票等之前很难遇到的奇葩经历。
云计算行业高管也谈及类似的感受:“算力短缺的情况确实存在。我们有很多客户都想要高端GPU资源,但能提供的也暂时无法完全满足广泛的市场需求。
”
在资源紧缺的情况下,公有云成为了最经济、最适合、最有优势的大模型落地方式。
同时,大模型落地的关键在于自建与完善的工程化能力,大模型更偏向于建设一个系统工程,必须要做好数据工程与模型工程的基础,即需要什么数据?数据从哪里来?数据怎么管理?数据怎么迭代?模型工程如何搭建?这些疑惑伴随着人才不足、人才培养等诸多问题出现,这些隐性成本其实要比硬件显性方面的成本更高。
2.2 繁重的工作和技术挑战
大模型的训练并非一个简单直接的过程。这涉及到庞大数据集的预处理、模型结构的设计、训练策略的制定以及超参数的调整等一系列复杂步骤。此外,分布式训练的实现要求开发者对网络通信、数据一致性、错误恢复等问题有深入理解并加以有效管理。
生成式人工智能带来数字经济发展的新挑战:生成式人工智能的兴起源于深度学习技术的重大突破和数字内容供给的快速增长,其强大的性能使人工智能在需求牵引下快速向数字经济各领域渗透。生成式人工智能在产生新业态、新模式同时,其低成本、高效率、个性化的服务也冲击了同领域现有业务模式。软件业一直是高强度的信息处理和创造行业,无论使用哪种编程语言,总离不开繁重的模式化劳动。在生成式人工智能的帮助下,工作效率可以显著提高。以国内开发者最常用的辅助工具GitHub Copilot为例,当代码出现空缺,AI代码助手可以根据代码类型、代码上下文等信息,自动进行代码补全;并且能够根据代码反向生成注释和单元测试代码,甚至修正代码错误。其代码自动补全功能提升软件开发、测试、部署和维护等过程的自动化水平,带来巨大的效率飞跃的同时,软件业的工作组织模式也必然需要随之调整。
生成式人工智能带来就业的新挑战:从纺织机、内燃机到计算机的出现,新技术的引入往往使部分劳动者失去工作,生成式人工智能很大程度上也会产生同样影响。有研究模型计算显示,美国和欧洲大约三分之二的工作,在某种程度上将受到人工智能的影响。这意味着,在未来的几年内,很多人将不得不面对自己的职业前途问题。文化、媒体、金融等数字化程度较高、内容需求丰富的行业,其中的基础性工作可交由人工智能生成从而导致工作岗位减少。教育、电商等领域需要从业人员增加人工智能技能,以生成多感官交互的沉浸式体验。某种程度上,劳动者再次面临与非人类的竞争,一如200多年前英国工人与纺织机的斗争。
生成式人工智能带来科技创新的新挑战:生成式人工智能的大模型对算力、算法和语料有很高要求,一定程度上凸显了我国在算力、算法和高质量语料等方面的短板。高性能GPU的进口限制放大了算力缺口,算法研发与国际领先水平仍有差距,汉语语料与英文的数据质量和规模差距也不容忽视。如何应对生成式人工智能发展这项庞大的系统工程,是摆在科技创新面前的重要挑战。例如,我国的大语言模型产品距离ChatGPT尚有一定差距,甚至在中文对话能力方面也是如此。究其原因,中文语料的数量和质量不足是一个核心要素,虽然我国拥有大量电商、社交、搜索等网络数据,数据类型不够全面,知识可信性缺乏保证,数据清晰工作也有所欠缺。
2.3 开源大模型的局限性
虽然开源社区提供了一些大模型的实现,但是这些模型通常没有针对特定应用的必要增强。这就要求开发者不仅要理解模型的细节,同时还要对其进行进一步的改进和优化,以适应特殊的业务需要或性能要求。
开发大语言模型需要什么?
了解完大语言模型的原理之后,你可能会好奇 TA 是如何开发的。开发大语言模型的关键是什么。最近看到不少文章为了流量,甚至连 5G 通讯都说成了是开发大语言模型的关键,其实从前面的原理介绍,不难看出,大语言模型的其中一个关键点是数据。
关键一:数据
训练数据主要是所谓的语料库。今天的很多语言模型的语料库主要有以下几种:
- Books:BookCorpus 是之前小语言模型如 GPT-2 常用的数据集,包括超过 11000 本电子书。主要包括小说和传记,最近更新时间是 2015 年 12 月。大一点的书籍语料库是 Gutenberg,它有 70000 本书,包括小说、散文、戏剧等作品,是目前最大的开源书籍语料库之一,最近更新时间是 2021 年 12 月。
- CommonCrawl:这个是目前最大的开源网络爬虫数据库,不过这个数据包含了大量脏数据,所以目前常用的四个数据库是 C4、CC-Stories、CC-News 和 RealNews。另外还有两个基于 CommonCrawl 提取的新闻语料库 REALNEWS 和 CC-News。
- Reddit Links:简单理解 Reddit 就是外国版本的百度贴吧 + 知乎。目前开源的数据库有 OpenWebText 和 PushShift.io。
- Wikipedia:维基百科是目前大模型广泛使用的语料库。
- Code:一般包含 GitHub 上的开源公共代码库,或者是 StackOverflow 的数据,Google 之前发布过一个叫 BigQuery 的数据集。
实际上,训练大语言模型会混合使用不同的数据,一般不会只使用单一语料库。比如 GPT-3 用的混合数据集就包括 Books、CommonCrowl、Reddit Links 和 Wikipedia。
从数据上看,你需要知道一个事实,中文语料在这上面占比很小。ChatGPT 能用中文回答你的问题,只是因为它的语料里有一些中英文对应的语料,然后模型就像是「懂中文了一样」,所以更可能的情况是,它先生成了英文内容,再翻译成中文。如果你去问 ChatGPT 3.5:请给我几个中文谐音梗,你应该就能理解我说的话了。
关键二:算法
有了数据之后,你还需要有算法去做计算,目前最常用的开发大语言模型的算法库有:
- Transformers:这是一个使用 Transformer 架构构建的开源 Python 库。
- DeepSpeed:是由微软开发的深度学习优化库。
- Megatron-LM:这是由 Nvidia 开发的深度学习库。
- JAX:它是由 Google 开发的用于高新能机器学习算法的 Python 库。
关键三:算力
简单理解,算力就是计算资源,或者说硬件,OpenAI 没有说它训练 GPT-3 语言模型花了多少计算资源。但 OpenAI 的 CEO 暗示硬件成本超过一亿美元,如果我们按照 1000 美元一个 GPU 计算,它大约使用了 10 万个 GPU,以 32 位运算为准,它能提供超过 100 PFLOPS 的算力,也就是每秒 10 亿亿次运算以上,这大约是阿里云最大的数据中心的四分之一的算力。
注意,这还是 GPT-3 时的花费。
2.4 缺乏有效的模型评估机制
模型训练完成后,如何确保其性能满足产品上线的标准呢?有效的模型评估是一个复杂的问题。开发者需要考虑多方面的因素,包括但不限于稳健性、泛化能力、偏差和方差、解释性等。对于大模型而言,评估的难度和成本都相对更高,因为每一次评估可能都需要大量的计算资源和时间。
除了训练模式和推断模式之外,还有模型的评估模式(evaluation mode)。
评估模式是指在训练完成后,用于对模型性能进行评估的模式。在评估模式下,模型对一组测试数据进行预测,并与相应的真实标签进行比较,从而评估模型在未见过的数据上的性能表现。
评估模式与推断模式类似,都是在模型训练完成后使用模型进行预测。但评估模式的目的是衡量模型的泛化能力和性能,而不是进行预测。评估模式通常使用一些评估指标来量化模型的性能,如准确率、精确率、召回率、F1分数等。
评估模式的一般步骤包括:
- 准备评估数据集:从训练数据中独立选择一部分数据作为评估数据集。
- 加载训练好的模型:加载已经训练完成的模型参数和权重。
- 设置评估模式:将模型切换到评估模式,通常是通过设置某些标志或调用相关函数来实现。
- 对评估数据进行预测:使用评估数据集作为输入,模型进行预测得到输出结果。
- 计算评估指标:将模型的预测结果与真实标签进行比较,并计算评估指标,如准确率、精确率、召回率等。
- 分析和报告评估结果:根据评估指标的结果,分析模型的性能表现,并报告模型的评估结果。
在大模型训练和部署的过程中,评估机制是一个关键环节,但它也伴随着一系列挑战。作为开发者,我们需要关注的不仅仅是模型的性能指标(如准确率或损失函数),还包括模型的泛化能力、稳健性、解释性和实际部署的可行性。以下是从开发视角出发,对大模型评估过程中所面临的主要问题和应对策略的详细探讨。
大模型评估中的主要问题
- 泛化能力的评估:大模型在训练数据上可能表现出色,但它们在未见数据上的表现如何却是一个挑战。过度拟合是一个常见问题,特别是在大规模参数模型中。
- 稳健性和偏差:大模型可能对输入数据的微小变化敏感,这影响了其稳健性。同时,如果训练数据存在偏差,模型很可能继承甚至放大这些偏差。
- 解释性和可信赖度:由于其复杂性,大模型往往像一个“黑盒”,难以解释其决策过程。这在一些需要高度透明度和可解释性的应用中成为问题。
- 部署的实际考虑:将训练好的模型部署到生产环境中时,还需要考虑到实际运行成本、响应时间和资源利用效率。
应对策略
- 多元化的数据集和交叉验证:使用多样化的数据集和严格的交叉验证方法可以帮助评估模型的泛化能力,并减少过度拟合的风险。
- 健壮性测试和偏差分析:通过对模型进行压力测试和对抗性测试来评估其在极端情况下的表现。同时,进行偏差和公平性分析,确保模型不会无意中放大数据中的偏见。
- 解释性工具和方法:利用各种模型解释性工具(如LIME或SHAP)来理解和解释模型的决策过程。这对于提高模型的可信赖度和透明度至关重要。
- 性能和成本效益分析:在实际部署前,进行全面的性能测试,包括响应时间和资源消耗。此外,成本效益分析有助于决定是否部署模型,以及如何优化其运行。
从开发视角来说,大模型的训练是一场资源和技术上的较量。要求开发者不仅要有强大的技术实力,还需要在战略上决策,如何以有限的资源完成高质量的模型训练。这需要团队成员之间的紧密合作,跨学科的交流,以及与开源社区的持续互动。随着技术的进步和社区的努力,我们有理由相信这些难题将逐步被克服,而大模型的训练将变得更加高效、普及。
2.5 解决方案
面对以上大模型训练遇到的困难,当然,国内也给出来一些解决方案。其中就在20号发布最新的发布的千帆大模型中可以找到答案。
首先面对及其高昂的资源成本,百度给出了这样的解决方案。
重构云原生基础设施,打造极致性价比的基础云服务
百度太行基于百度自研的百度太行 DPU(Data Processing Unit),打造了统一的高性能云原生基础设施架构。通过将计算、网络、存储资源虚拟化、安全管理控制等数据处理任务卸载至DPU,能够将CPU、GPU等算力资源最高100%投入到客户实际的工作负载中,在提升资源利用率的同时,还能够打平软硬件差异,降低开发和管理成本,提升整体资源规模和弹性。
- 新发布的昆仑芯弹性裸金属实例NKL5,搭载了百度自研的昆仑芯R300加速处理器,加强了显存规格与AI加速处理器互联通信性能,在大模型推理场景综合性能较业界主流加速卡可提升达50%;
- 基于昇腾910B加速处理器打造的弹性高性能计算实例NH6T也在大会上正式推出,支持3.2Tbps RDMA高速互联带宽,在大模型训练场景中,综合性能较业界主流加速卡提升可达40%,使能大模型开发提速。
高性能计算平台CHPC(Cloud HPC)正式发布,为用户提供的一站式公共云 HPC 服务:在资源使用层面,CHPC支持用户一键创建高性能计算环境,并根据业务变化灵活使用云上资源;在业务应用层面,CHPC支持集成药物研发、基因测序、等行业的应用。同时,结合集成在 VPC 内的百度网盘等服务,用户可以轻松实现HPC源文件从提交、上传、处理、结果回传,到分发的数据全链路打通,助力研发提效。
而对于繁重的工作挑战是每个做大模型必须要经过的一个挑战。那我们看看百度是如何克服这一困难的。
重构智算基础设施,针对大模型场景进行专项优化
大算力、大数据驱动大模型产生智能涌现。不同于传统AI技术,在计算方面,大模型需要超大规模的智算集群支撑完成训练、推理任务。然而,高性能智算集群不是算力的简单堆积,在进行专门设计和优化前后,性能、可靠性等关键指标表现往往有着天壤之别。
全新发布的百度百舸·AI异构计算平台3.0,针对AI原生应用以及大模型的训练、推理等环节进行了全面的专项优化升级,并且在各个纬度的评估指标上全部达到业界领先水平。
针对AI原生时代智能算力的供给平衡问题,在满足各行各业泛在算力需求的同时,提升智算产业资源利用率,百度智能云正式发布智算网络平台。在算力资源层面,智算网络平台支持将百度及第三方建设的智算中心、超算中心、边缘节点等智算节点进行全域接入,将分散和异构的算力资源连接起来,形成统一的算力网络资源池,再通过百度自主研发的先进算力调度算法,智能分析各类算力资源的状态、性能和利用率等指标进行统一调度,让智算资源灵活、稳定、高效地交付给有需求的用户,赋能智算资源供需双方业务增长。
升级后的百度智能云千帆大模型平台2.0拥有四个最:预置最多的大模型和数据集、有最丰富最全面的工具链、最佳算力效能、最完备的大模型安全方案。
本次重大升级,千帆平台纳管的国内外主流大模型达到42个,还预置了41个高质量有行业特色的数据集,预装了知识问答、客服对话、代码助手等10个精选应用范式,大幅降低企业使用、训练和推理大模型的门槛。对于除文心大模型之外的第三方大模型,千帆平台不只是简单的接入,还提供中文增强、性能增强、上下文增强等能力。比如,原来要用英文对话效果才好的Llama2等国外大模型,现在用中文也一样好。
升级后的工具链变得更丰富和更全面,贯穿大模型完整的生命周期,也更加轻量化、敏捷化。过去客户验证大模型的效果至少需要一周时间,现在基于一站式的工具链,只需一天就可以跑通一个模型并看到效果。值得关注的是,千帆平台的工具链里内置了103套高质量的Prompt模板,还有自动化Prompt工程能力,用户做起来会更方便、更轻松。
千帆平台还持续升级了算力服务,进一步降低客户的算力成本和时间成本。万卡集群训练大模型时,常规方法下,工程师们有30%—40%时间都花在容错和故障恢复上。现在,百度智能云自研的集群组网故障管理机制,使模型有效训练时间达到**95%**以上。基于分布式并行训练策略,千帆平台在万卡规模集群中的加速比可以达到95%,充分释放集群的整体算力。千帆平台还兼容国内外主流芯片和操作系统,客户的算法可以最小的修改成本运行。
安全是企业客户非常关心的话题。千帆平台全面升级模型安全、内容安全和数据安全保障能力。千帆平台为不同模型厂商设计了可信的专用隔离域,重点保护模型资产安全,预置安全模块,可以有效控制输入和输出的安全风险。在数据安全方面,千帆平台提供从模型、数据到日志的全链路加密,为模型厂商和用户提供可信任的执行环境。
料多、好用、高效、放心,沈抖用四个关键词形容百度智能云千帆大模型平台2.0。
金山办公通过千帆平台接入了文心一言,快速推出了WPS AI ,这是中国协同办公赛道首个落地的生成式AI应用。文心一言的中文优势,让WPS AI更符合中国人的办公习惯。千帆平台上丰富的安全机制为金山办公构建了四道安全防线,全面提升内容安全。金山办公首席执行官章庆元表示,WPS AI自9月5日起正式面向社会开放,率先应用在WPS智能文档。
3.千帆大模型的破茧时刻
如果将大模型比作一道佳肴大餐,那么大模型平台就是供大厨烹饪的厨房。菜好不好吃,厨房的作用至关重要。当下,越来越多的“xx行业首个大模型”诞生,大模型行业落地进入效果验证的深水区,对大模型平台也提出了更高要求。
在与上百家客户磨合调研之后,百度智能云千帆大模型平台近期迎来了最新升级,在模型库、提示词库等方面实现迭代。
千帆大模型平台是一个覆盖从数据准备到模型训练、评估优化、测试服务、落地部署等全流程的企业级一站式开发环境和工具链,据称已有超15万企业申请试用,上百家企业与之深度接触。
随着千帆大模型平台扩大开放范围,智东西第一时间对其进行了试用体验,并通过对话百度智能云千帆大模型平台的相关专家,对其最新功能迭代,以及迭代背后的思路和产业洞察进行了深入探讨。
3.1 引入Llama2等33个大模型
千帆的工程师称,目前,千帆大模型平台除百度自研的文心大模型外,还支持Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型,成为国内拥有大模型最多的平台。接入的模型经过千帆平台二次性能增强,模型推理成本可降低50%。
**企业和开发者调用第三方模型时为什么要使用千帆平台?**这位工程师告诉智东西,接入是简单的动作,企业通过Llama 2等模型的官网就可以实现,但接入不是目的,关键是千帆平台能为用户带来更多的价值。
同样是为了效果增强,千帆大模型平台本次还带来了应用支持方面的更新。
3.2 Promot模版
提到 Promot 相信大家看到不陌生,我作为一个每天离不开文心一言的开发者,AI可谓是我的另一个好伴侣。当然现在大模型中,Promot模版也是比不可少的。
我总结了大模型的四个使用难题,分别是选择困难、使用困难、训练困难、数据安全,代表了我们应该选择什么样的大模型和工具;如何更好地使用大模型、让它听话、不胡说;是否有可能训练我们自己的大模型;如何保护隐私数据不被大模型泄露。
本次就拿Promot模版来说。
比如我们看完一个电影,自己观感不错,想写一个影评,如果是我们自己写提示词的话,得到的是下面这个结果。
很显然,他不仅有联网的功能,还知道通过电脑去上下文进行联想,而不是在胡说八道。
但是如果我用千帆平台的Prompt电影评论模版功能的话。
很明显,我们用这个电影模版生成的内容更加具体更加完整,也更加的调理清楚。
这些模版的好处不仅可以用作目前来进行参考,还可以在别的地方进行使用其他大模型。
同时这也是训练我们自己写Promot的能力。
千帆的工程师说,千帆大模型平台包含了海量数据处理标注、再训练、微调、强化学习、评估、高效压缩、自动化Prompt工程、快速应用编排等工具。通过这一系列工具链,千帆的核心是服务于企业核心的需求痛点,从而增强终端的大模型应用效果。
3.3 创建自定义模板
我们在面板中的Promot工程中进行自定义模版的创建
然后我们就可以在自制模版中看到我们的刚创建好的自定义模版。
应用接入
这个步骤直接在左侧菜单中选择【应用接入】,创建一个应用,添加上基本信息什么的即可。
我们这里重新创建一个新的应用。
查看创建效果
在线测试
我们已经准备好了prompt预制模型以及应用,接下来我们在左侧的菜单中直接选择【在线测试】,按照下图进行操作即可。
发送测试
4.商业大模型对比
4.1 基础大模型对比
基础语言模型是指只在大规模文本语料中进行了预训练的模型,未经过指令和下游任务微调、以及人类反馈等任何对齐优化。
- 当前绝大部分的大语言模型都是 Decoder-only 的模型结构,原因请转移这个问题:为什么现在的LLM都是Decoder only的架构;
- 大部分大语言模型都不开源,而 OPT、BLOOM、LLaMA 三个模型是主要面向开源促进研究和应用的,中文开源可用的是 GLM,后续很多工作都是在这些开源的基础模型上进行微调优化的。
4.2 GPT3
大语言模型中最具代表和引领性的就是发布 ChatGPT 的 OpenAI 的 GPT 系列模型 (GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4),并且当前大部分大语言模型的结构都是 GPT-style ,文章生成式预训练模型中介绍了GPT-1/2/3, 且从 GPT-3 开始才是真正意义的大模型。
GPT-3 是 OpenAI 发布的 GPT 系列模型的一个,延续了 GPT-1/2 基于Transformer Decoder 的自回归语言模型结构,但 GPT-3 将模型参数规模扩大至 175B, 是 GPT-2 的 100 倍,从大规模数据中吸纳更多的知识。GPT-3不在追求 zero-shot 的设定,而是提出 In-Context Learning ,在下游任务中模型不需要任何额外的微调,利用 Prompts 给定少量标注的样本让模型学习再进行推理生成。就能够在只有少量目标任务标注样本的情况下进行很好的泛化,再次证明大力出击奇迹,做大模型的必要性。通过大量的实验证明,在 zero-shot、one-shot 和 few-shot 设置下,GPT-3 在许多 NLP 任务和基准测试中表现出强大的性能,只有少量目标任务标注样本的情况下进行很好的泛化,再次证明大力出击奇迹,做大模型的必要性。
4.3 LaMDA
LaMDA 是谷歌在2021年开发者大会上公布的专用于对话的大语言模型,具有 137B 个参数。论文中提出三个指导模型更好训练的指标:质量/Quality(合理性/Sensibleness、特异性/Specificity、趣味性/Interestingness,SSI)、安全性/Safety、真实性/Groundedness。和其他大模型一样,LaMDA分为预训练和微调两步,在微调阶段,生成式任务(给定上下文生成响应)和判别式任务(评估模型生成响应的质量和安全性)应用于预训练模型进行微调形成 LaMDA。对话期间,LaMDA 生成器在给定多轮对话上下文时生成几个候选响应,然后 LaMDA 判别器预测每个候选响应的 SSI 和安全分数。安全分数低的候选响应首先被过滤掉,剩下的候选响应根据 SSI 分数重新排名,并选择分数最高的作为最终响应。为提升 LaMDA 生成响应的真实可靠性,收集标注用户与 LaMDA 间对话的数据集,并在适用的情况下使用检索查询和检索结果进行注释。然后,在这个数据集上微调 LaMDA,学习与用户交互期间调用外部信息检索系统,提升生成响应的真实可靠性。
4.4 PaLM
PaLM 是谷歌2022年提出的 540B 参数规模的大语言模型,它采用的是 GPT-style 的 decoder-only 的单向自回归模型结构,这种结构对于 few-shot 更有利。PaLM 是使用谷歌提出的 Pathways 系统(一种新的 ML 系统,可以跨多个 TPU Pod 进行高效训练)在 6144 块TPU v4 芯片上训练完成的。作者在 Pod 级别上跨两个 Cloud TPU v4 Pods 使用数据并行对训练进行扩展,与以前的大多数 LLM 相比,是一个显著的规模增长。PaLM 实现了 57.8% 的硬件 FLOPs 利用率的训练效率,是 LLM 在这个规模上实现的最高效率。PaLM 在数百种语言理解和生成 benchmarks 上实现最先进的few-shot 学习结果,证明了scaling 模型的好处。在其中的许多任务中,PaLM 540B 实现了突破性的性能,在一组多步推理任务上的表现优于经过微调的 SOTA 模型。并且大量 BIG-bench 任务显示了模型规模的扩大带来性能的不连续提升,当模型扩展到最大规模,性能急剧提高。
4.5 百度千帆大模型
3月份推出文心一言,时隔六个月,百度智能云交出大模型服务的成绩单。9月5日,百度智能云对外公布,千帆大模型平台上月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的400多个场景。并且百度智能云千帆大模型平台升级到2.0版本,升级后平台纳管的国内外主流大模型达到42个,对于除文心大模型之外的第三方大模型,千帆平台不只是简单的接入,还提供中文增强、性能增强、上下文增强等能力。另外,百度还透露将在不久后推出文心大模型4.0版本。
值得关注的是,在大模型应用方面,百度智能云基于文心大模型重构了四大行业解决方案,分别是数字政府解决方案——九州、金融解决方案——开元、工业解决方案——开物、智能交通解决方案——ACE3.0。
在算力效能方面,千帆底层是一套集合了异构算力集群、高速互联的网络、高性能存储,能够支撑万卡规模训练的 AI 算力基础设施,可将大模型训练、推理的成本降到最低。
在数据方面,千帆不仅纳管大模型,还可增强大模型的能力。本次全新升级中文增强,可大幅提升大模型中文理解和生成能力,例如 LIama2 的国外大模型,也可实现中文对话好的效果。同时还全面提升训练和推理性能,训练 LlaMA 2 的总体吞吐可以提升 1/4,推理甚至能提升 3 倍。
在企业级安全方面,通过千帆的安全机制,企业能够构建四层安全防线,全方位保障大模型的内容安全、数据安全和系统安全。对合规要求很高的客户,千帆支持国内、国外主流芯片和操作系统,也支持私有化部署,确保每个企业自己的大模型都自主可控。
此外,在 2023 百度云智大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖表示,截至目前百度网盘“云一朵”智能助理累积使用人数已经超过 600 万。
IT之家注:千帆大模型平台是百度智能云推出的一站式企业级大模型平台,可以为企业提供大模型开发全流程工具链和整套环境,号称可以“让企业高效率、低成本地拥抱大模型”。
8 月初,千帆大模型平台完成第一轮升级,全面接入了 LLaMA2 全系列、ChatGLM2 等 33 个大模型,成为国内拥有最多大模型的平台;同时,千帆大模型平台上线 103 个预置 Prompt 模板,覆盖对话、编程、电商十余个场景。
5.千帆大模型更胜一筹
而在12月20日,2023百度云智大会·智算大会在北京召开,百度智能云与来自各行业的专家学者、客户与伙伴共同探讨了AI原生时代下,云+AI的创新变革之路。
而此次百度智能云全面推出:全面重构,打造AI原生时代的云基础设施。
5.1 重构智算基础设施,针对大模型场景进行专项优化
大算力、大数据驱动大模型产生“智能涌现”。不同于传统AI技术,在计算方面,大模型需要超大规模的智算集群支撑完成训练、推理任务。然而,高性能智算集群不是算力的简单堆积,在进行专门设计和优化前后,性能、可靠性等关键指标表现往往有着天壤之别。
全新发布的百度百舸·AI异构计算平台3.0,针对AI原生应用以及大模型的训练、推理等环节进行了全面的专项优化升级,并且在各个纬度的评估指标上全部达到业界领先水平。
侯震宇表示,大模型不同于以往的AI技术迭代,它同时驱动了底层IT基础设施的重构,也带来了上层应用开发模式的颠覆。他指出,模型重构云计算主要体现在AI原生云将改变云计算的格局,MaaS ( Model as a Service ,模型即服务)成为新的基础服务以及AI原生应用催生新的研发范式三个层面。
首先,在云基础设施层,移动互联网时代的应用,底层大多依赖CPU算力,而AI应用对GPU或异构计算的需求大幅增加,云市场的底层算力需求将逐渐转向以GPU为主。
其次,在模型层,大模型正在成 为通用的服务能力,即MaaS。MaaS将大幅降低Al落地的门槛,实现真正的Al普惠。
最后,在应用层,应用开发的范式已经被彻底颠覆。大模型理解、生成、逻辑、记忆的独特能力会催生A原生应用研发新范式,整个应用技术栈、数据流和业务流都将被改变。
侯震宇表示,总体来说,构建繁荣的A原生应用生态,需要大模型、智能算力、AI原生应用研发新范式三要素相辅相成。大模型是AI原生应用的“大脑”,智能计算则为A原生应用运行提供坚实支撑,新研发范式助力开发者高效基于大模型能力开发应用。数据飞轮是成功的AI原生应用的充分必要条件,让大模型能力高速迭代,产品体验持续进步。
AI原生时代,面向大模型的云计算基础设施体系将全面重构。侯震宇表示,百度智能云将在三大方面重构云计算服务,即:面向模型的智算基础设施、面向数据的数据基础设施、面向应用的云基础设施,以支撑AI原生应用落地。
大会现场,百度智能云还密集发布和升级了20多款云计算产品,涵盖智能计算、通用计算、数据库和大数据、分布式云、应用开发平台五大领域。
在智能计算领域,算力是大模型落地的基础条件,当前大模型训练、推理、部署对高速互联、计算效率、算力成本等都提出了高要求,需要打造新型的智算基础设施。但目前的计算集群还面临不少挑战,大模型训练时间长、易出错、稳定性差,算力集群规模大、系统复杂度高也增加了运维难度。
5.2 重构云原生基础设施,打造极致性价比的基础云服务
全新推出第7代(通用计算型)云服务器实例G7,搭载英特尔最新的第五代至强可扩展处理器(Emerald Rapids),支持200Gbps内网互联带宽,综合性能较上一代产品提升10%,可以帮助客户在搭建企业级应用、电商平台、网站和Web应用等场景中获得更高效的算力服务支持。
针对数据库管理系统(DBMS)管理与运维工作门槛高,数据库工程师(DBA)人才培养难度大成本高,工作负担重等难题,百度智能云发布数据库智能驾驶舱。通过引入大模型能力,能够实现对数据库进行自动的智能化的洞察、评估和优化。同时,在数据库常见问题专业问答方面,复杂问题回复准确率超过80%,媲美专业的 DBA水平。相较传统工作模式,能够提升数据库故障洞察和定位效率80%,提前1个月发现数据库容量瓶颈,SQL优化效果提升超过40%,为数据库洞察、评估和优化带来了全新的智能化方案。
大模型时代的云智一体
首先,针对只有算力需求的客户,千帆平台可以提供极致高效和性价比的异构算力服务。在客户最关心的大模型训练环节,通过分布式并行训练策略和微秒级互联能力,千帆平台可以实现万卡规模集群训练的加速比达到95%;通过事先防范、事中及时发现、定位、解决,最大限度避免集群因故障等原因产生的无效运转,提高有效训练时间占比,万卡集群有效训练时间占比达到96%,充分释放集群有效算力,大幅降低客户算力与时间成本。
此外,千帆平台还兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片,支持客户以最小的切换成本完成算力适配。
面壁智能携手知乎,基于百度智能云提供的AI算力集群,训练出“知海图AI”大模型和多模态大模型Luca,在千卡集群上的有效训练时间占比高达99%,在保障模型训练连续性的同时,可以实现模型训练效果的高效收敛。此外,知乎、好未来、地平线等企业也正在基于百度智能云提供的AI算力服务,以更加稳定、高效和经济的方式实现大规模集群的训练和管理。
其次,在模型层面,对于希望直接调用已有大模型的客户,千帆平台纳管了42个国内外主流大模型,企业客户可以快速调用包括文心大模型在内的各种大模型的API,获取大模型能力。对于第三方大模型,千帆平台还针对性地进行了中文增强、性能增强、上下文增强等优化。目前千帆平台已经服务了超过17000家客户,大模型API调用量持续高速攀升。
第三,对于希望基于现有大模型进行二次开发的客户,千帆平台为大模型的再训练、微调、评估和部署等环节提供全生命周期工具链、业界最多的41个高质量行业数据集,帮助客户针对自身业务场景快速优化模型效果。目前,包括中国邮政储蓄银行、度小满、金山办公、河北高速集团在内的诸多行业头部客户,都正在通过千帆平台提供的工具链服务开发出贴合业务需求的专属大模型。
第四,在应用层面,一部分企业需要基于大模型服务去开发AI原生应用,千帆平台上提供的一系列能力组件与框架,可以帮助企业快速完成应用开发,灵活地响应用户与市场需求。
最后,另一部分客户则希望直接、方便地选购成熟的AI原生应用产品,赋能业务发展。
赋能企业高效开发AI原生应用:发布“千帆AI原生应用开发工作台”
为了满足企业敏捷、高效地进行AI原生应用开发的需求,降低AI原生应用开发门槛,百度智能云重磅发布“千帆AI原生应用开发工作台”,将开发大模型应用的常见模式、工具、流程,沉淀成一个工作台,帮助开发者聚焦在自身业务,而无需为开发过程牵扯多余精力。具体来讲,千帆AI原生应用开发工作台主要由应用组件、应用框架两层服务构成。
6.总结
市面上大模型有很多种类,但是有些不开源的,或者是小白不友好的,如果你是一个开发者的话,可能对于你来说,企业使用商业大模型的成本很高,十分不利于我们后期维护。无论使用开源大模型,还是商业版大模型,我感觉都需要千帆这样的一站式平台来进行降本提效。
目前,千帆平台已经累计服务超过40000企业用户,累计帮助企业用户精调近10000个大模型,月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的 400 多个业务场景。千帆大模型作为国内大模型的领头者,对一个开发者而言,它的每一次更新、升级都让我感到无比震撼,每次升级都在使这个产品不断地完善,使用更加高效,并不断降低成本,更能够提高使用者的满意度。总的来说,千帆大模型是解决国内大模型痛点的最佳实践方案,能够为各个行业带来数以万计的新商业方案,加速产业升级转型。
相关文章:
![](https://img-blog.csdnimg.cn/img_convert/fd371f73a6196be28fe415323ef2a44f.png)
解决国内大模型痛点的最佳实践方案
1.前言 自AI热潮掀起以来,国内互联网大厂躬身入局,各类机构奋起追赶,创业型企业纷至沓来。业内戏称,一场大模型的“百模大战”已经扩展到“千模大战”。 根据近期中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告…...
![](https://www.ngui.cc/images/no-images.jpg)
当文字成为雨滴:HTML、CSS、JS创作炫酷的“文字雨“动画!
简介 在本篇技术文章中,将介绍如何使用HTML、CSS和JavaScript创建一个独特而引人注目的"文字(字母&数字)"雨🌧️动画效果。通过该动画,展现出的是一系列随机字符将从云朵中下落像是将文字变成雨滴从天而降,营造出与…...
![](https://img-blog.csdnimg.cn/direct/d2a9adee2f594a53a7002fd15e8be8bf.png)
计算机网络简述
前言 计算机网路是一个很庞大的话题。在此我仅对其基础概述以及简单应用进行陈述。后续或有补充以形成完善的计算机网络知识体系。 一.计算机网络的定义 根据百度词条的描述,计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过…...
![](https://img-blog.csdnimg.cn/img_convert/7f6414bf8fc81253ac4e2b135df026cb.png)
Go 泛型之类型参数
Go 泛型之类型参数 文章目录 Go 泛型之类型参数一、Go 的泛型与其他主流编程语言的泛型差异二、返回切片中值最大的元素三、类型参数(type parameters)四、泛型函数3.1 泛型函数的结构3.2 调用泛型函数3.3 泛型函数实例化(instantiation&…...
![](https://www.ngui.cc/images/no-images.jpg)
KafkaLog4jAppender
Apache Log4j 中有一个 Appender 概念,它负责将日志信息输出到各种目的地,例如控制台、文件、数据库等。KafkaLog4jAppender 是 Log4j 的一个扩展,它可以将日志信息发送到 Apache Kafka。 下面是如何在 Log4j 中使用 KafkaLog4jAppender 的一…...
![](https://img-blog.csdnimg.cn/direct/ce2dbf0d1eaa47e99eb7f7d83f45ac30.png)
IntelliJ IDEA插件
插件安装目录:C:\Users\<username>\AppData\Roaming\JetBrains\IntelliJIdea2021.2\plugins aiXcoder Code Completer:代码补全 Bookmark-X:书签分类 使用方法:鼠标移动到某一行,按ALT SHIFT D...
![](https://img-blog.csdnimg.cn/direct/39bbb0ae055745858ca7d8946febe8ae.png)
鸿蒙开发中的坑(持续更新……)
最近在使用鸿蒙开发时,碰到了一些坑,特做记录,如:鸿蒙的preview不能预览,轮播图组件Swiper使用时的问题,console.log() 打印的内容 一、鸿蒙的preview不能预览 首先,只有 ets文件才能预览。 其…...
![](https://www.ngui.cc/images/no-images.jpg)
单体项目-动态上下文问题
在HTML中使用Thymeleaf解决动态上下文问题,你可以使用Thymeleaf的模板语法来生成动态的链接(例如CSS和JavaScript文件的链接)以适应不同的应用程序上下文。以下是一个示例: <!DOCTYPE html> <html xmlns:th"http:/…...
![](https://www.ngui.cc/images/no-images.jpg)
Qt/QML编程学习之心得:实现一个图片浏览器(十八)
QML中有个重要控件,经常使用就是image,通常可以用它来显示一张图片。如果想结合openfiledialog来让image显示图片,也就是做一个简易的图片浏览器,怎么弄呢? DefaultFileDialog.qml: import QtQuick 2.0 import QtQuick.Dialogs 1.0FileDialog {id: fileDialogtitle: &qu…...
![](https://www.ngui.cc/images/no-images.jpg)
kafka发送大消息
1 kafka消息压缩 kafka关于消息压缩的定义(来源于官网): 此为 Kafka 中端到端的块压缩功能。如果启用,数据将由 producer 压缩,以压缩格式写入服务器,并由 consumer 解压缩。压缩将提高 consumer 的吞吐量…...
![](https://www.ngui.cc/images/no-images.jpg)
React AntDesign form表单文件上传 nodejs formidable 接受参数并把文件放置后端项目相对目录指定文件夹下面
@umijs/max 请求方法 // 上传文件改成form表单 export async function uploadFile(data, options) {return request(CMMS_UI_HOST + /api/v1/uploadFile, {method: POST,data,requestType: form,...(options || {}),}); }前端调用方法 注意upload组件上传 onChange的如下方法,…...
![](https://www.ngui.cc/images/no-images.jpg)
设计模式之-6大设计原则简单易懂的理解以及它们的适用场景和代码示列
系列文章目录 设计模式之-6大设计原则简单易懂的理解以及它们的适用场景和代码示列 设计模式之-单列设计模式,5种单例设计模式使用场景以及它们的优缺点 设计模式之-3种常见的工厂模式简单工厂模式、工厂方法模式和抽象工厂模式,每一种模式的概念、使用…...
![](https://img-blog.csdnimg.cn/direct/8ae2389851784586935c810ac8ff9eb1.png)
css 实现满屏升空的气球动画
最终实现效果 demo放在最后了。。。。 问题一 怎么实现满屏气球?简单理解就是多个气球的合并,难道要写多个盒子吗?确实是这样子,但可以有更好的办法,其实就是通过原生操作多个盒子生成,所以只需要实现一个…...
![](https://img-blog.csdnimg.cn/direct/f0c5f6d90ebd4146814f81a93680507e.png)
批量归一化
目录 一、BN层介绍 1、深层神经网络存在的问题 2、批量归一化公式的数学推导 3、BN层的作用位置 4、 预测过程中的批量归一化 5、BN层加速模型训练的原因 6、总结 二、批量归一化从零实现 1、实现批量归一化操作 2、创建BN层 3、对LeNet加入批量归一化 4、开始训练…...
![](https://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8)
C语言:字符串字面量及其保存位置
相关阅读 C语言https://blog.csdn.net/weixin_45791458/category_12423166.html?spm1001.2014.3001.5482 虽然C语言中不存在字符串类型,但依然可以通过数组或指针的方式保存字符串,但字符串字面量却没有想象的这么简单,本文就将对此进行讨论…...
![](https://img-blog.csdnimg.cn/3a01dc60e62c415b812015851343f1c0.png#pic_center)
【开源】基于Vue+SpringBoot的新能源电池回收系统
目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 用户档案模块2.2 电池品类模块2.3 回收机构模块2.4 电池订单模块2.5 客服咨询模块 三、系统设计3.1 用例设计3.2 业务流程设计3.3 E-R 图设计 四、系统展示五、核心代码5.1 增改电池类型5.2 查询电池品类5.3 查询电池回…...
![](https://img-blog.csdnimg.cn/direct/7500df37142b43ff9fa7ac8a810977dc.png)
共享和独享的区别是什么?有必要用独享IP吗?
通俗地讲,共享IP就像乘坐公共汽车一样,您可以到达目的地,但将与其他乘客共享旅程,座位很可能是没有的。独享IP就像坐出租车一样,您可以更快到达目的地,由于车上只有您一个人,座位是您一个人专用…...
![](https://img-blog.csdnimg.cn/direct/e3fdd3c9d7c948b586c3bde03a4e640d.png)
leetcode——打家劫舍问题汇总
本章汇总一下leetcode中的打家劫舍问题,使用经典动态规划算法求解。 1、梦开始的地方——打家劫舍(★) 本题关键点就是不能在相邻房屋偷东西。 采用常规动态规划做法: 根据题意设定dp数组,dp[i]的含义为:…...
![](https://img-blog.csdnimg.cn/direct/54d431916e824d1a84d62b612ed6b1fb.png)
Java经典框架之Spring MVC
Spring MVC Java 是第一大编程语言和开发平台。它有助于企业降低成本、缩短开发周期、推动创新以及改善应用服务。如今全球有数百万开发人员运行着超过 51 亿个 Java 虚拟机,Java 仍是企业和开发人员的首选开发平台。 课程内容的介绍 1. Spring MVC 入门案例 2. 基…...
![](https://www.ngui.cc/images/no-images.jpg)
Golang make vs new
文章目录 1.简介2.区别3.new 可以初始化 slice,map 和 channel 吗?4.make 可以初始化其他类型吗?5.小结参考文献 1.简介 在 Go 语言中,make 和 new 是两个用于创建对象的内建函数,但它们有着不同的用途和适用范围。 …...
![](https://img-blog.csdnimg.cn/direct/8e352a689fd2432c836307e073ecfe47.png)
Arthas
概述 Arthas(阿尔萨斯) 能为你做什么? Arthas 是Alibaba开源的Java诊断工具,深受开发者喜爱。 当你遇到以下类似问题而束手无策时,Arthas可以帮助你解决: 这个类从哪个 jar 包加载的?为什么会…...
![](https://img-blog.csdnimg.cn/img_convert/d2c7307aa884d2c20604baf384ac904c.jpeg)
IP代理科普| 共享IP还是独享IP?两者的区别与优势
通俗地讲,共享IP就像乘坐公共汽车一样,您可以到达目的地,但将与其他乘客共享旅程,座位很可能是没有的。独享IP就像坐出租车一样,您可以更快到达目的地,由于车上只有您一个人,座位是您一个人专用…...
![](https://img-blog.csdnimg.cn/direct/00a4fbf655054db1a32ab9d54b893799.png)
龙芯loongarch64服务器编译安装tensorflow-io-gcs-filesystem
前言 安装TensorFlow的时候,会出现有些包找不到的情况,直接使用pip命令也无法安装,比如tensorflow-io-gcs-filesystem,安装的时候就会报错: 这个包需要自行编译,官方介绍有限,这里我讲解下 编译 准备 拉取源码:https://github.com/tensorflow/io.git 文章中…...
![](https://img-blog.csdnimg.cn/img_convert/2c695934cc65d368ce1548bad07c5cad.png)
开源持续测试平台Linux MeterSphere本地部署与远程访问
文章目录 前言1. 安装MeterSphere2. 本地访问MeterSphere3. 安装 cpolar内网穿透软件4. 配置MeterSphere公网访问地址5. 公网远程访问MeterSphere6. 固定MeterSphere公网地址 前言 MeterSphere 是一站式开源持续测试平台, 涵盖测试跟踪、接口测试、UI 测试和性能测试等功能&am…...
![](https://img-blog.csdnimg.cn/direct/5e8de6080ce046dfb22d970db19bfdac.png)
Kubernetes(K8S)快速入门
概述 在本门课程中,我们将会学习K8S一些非常重要和核心概念,已经操作这些核心概念对应组件的相关命令和方式。比如Deploy部署,Pod容器,调度器,Service服务,Node集群节点,Helm包管理器等等。 在…...
![](https://img-blog.csdnimg.cn/img_convert/d777c7979542571cbf0930ac79435780.png)
将遗留系统分解为微服务:第 2 部分
在当今不断发展的技术环境中,从整体架构向微服务的转变对于许多企业来说都是一项战略举措。这在报销计算系统领域尤其重要。正如我在上一篇文章第 1 部分应用 Strangler 模式将遗留系统分解为微服务-CSDN博客中提到的,让我们探讨如何有效管理这种转变。 …...
![](https://img-blog.csdnimg.cn/f5d9ea1eaf0b46b99818aa9471b2ee10.jpeg)
RK3588平台开发系列讲解(AI 篇)RKNN-Toolkit2 模型的加载转换
文章目录 一、Caffe 模型加载接口二、TensorFlow 模型加载接口三、TensorFlowLite 模型加载接口四、ONNX 模型加载五、DarkNet 模型加载接口六、PyTorch 模型加载接口沉淀、分享、成长,让自己和他人都能有所收获!😄 📢 RKNN-Toolkit2 目前支持 Caffe、TensorFlow、Tensor…...
![](https://img-blog.csdnimg.cn/direct/43d3773fd47b453589bbce8fa42ad199.png)
CNVD原创漏洞审核和处理流程
一、CNVD原创漏洞审核归档和发布主流程 (一)审核和归档流程 审核流程分为一级、二级、三级审核,其中一级审核主要对提交的漏洞信息完整性进行审核,漏洞符合可验证(通用型漏洞有验证代码信息或多个互联网实例、事件型…...
![](https://img-blog.csdnimg.cn/direct/bfcb9659f33a4363b2ffd22e13aaba6a.png)
【java爬虫】基于springboot+jdbcTemplate+sqlite+OkHttp获取个股的详细数据
注:本文所用技术栈为:springbootjdbcTemplatesqliteOkHttp 前面的文章我们获取过沪深300指数的成分股所属行业以及权重数据,本文我们来获取个股的详细数据。 我们的数据源是某狐财经,接口的详细信息在下面的文章中,本…...
![](https://img-blog.csdnimg.cn/direct/86716853fdda4d5990a1183b6468fd2b.png#pic_center)
智能优化算法应用:基于人工兔算法3D无线传感器网络(WSN)覆盖优化 - 附代码
智能优化算法应用:基于人工兔算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于人工兔算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.人工兔算法4.实验参数设定5.算法结果6.参考文…...
![](https://img-blog.csdnimg.cn/direct/23604469771d441daa83cd864e6d67c5.png)
【ubuntu 22.04】安装vscode并配置正常访问应用商店
注意:要去vscode官网下载deb安装包,在软件商店下载的版本不支持输入中文 在ubuntu下用火狐浏览器无法访问vscode官网,此时可以手动进行DNS解析,打开DNS在线查询工具,解析以下主机地址(复制最后一个IP地址&a…...
![](https://img-blog.csdnimg.cn/direct/c41dc121bf364201976731c5eba454cc.png#pic_center)
K8s出现问题时,如何排查解决!
K8s问题的排查 1. POD启动异常、部分节点无法启动pod2. 审视集群状态3. 追踪事件日志4. 聚焦Pod状态5. 检查网络连通性6. 审视存储配置7. 研究容器日志8. K8S集群网络通信9. 问题:Service 是否通过 DNS 工作?10. 总结1、POD启动异常、部分节点无法启动p…...
![](https://img-blog.csdnimg.cn/direct/784707abd9ae4607b144098f900a062a.png)
2015年第四届数学建模国际赛小美赛B题南极洲的平均温度解题全过程文档及程序
2015年第四届数学建模国际赛小美赛 B题 南极洲的平均温度 原题再现: 地表平均温度是反映气候变化和全球变暖的重要指标。然而,在以前的估计中,在如何界定土地平均数方面存在一些方法上的差异。为简单起见,我们只考虑南极洲。请建…...
![](https://www.ngui.cc/images/no-images.jpg)
npm常见错误
三个方面 1. npm ERR! code ELIFECYCLE npm ERR! errno 1 npm ERR! code ELIFECYCLE npm ERR! errno 1 npm ERR! phantomjs-prebuilt2.1.15 install: node install.js npm ERR! Exit status 1 npm ERR! npm ERR! Failed at the phantomjs-prebuilt2.1.15 install script. np…...
![](https://img-blog.csdnimg.cn/direct/53c15eb7db7842c7bf616aa736c43379.png#pic_center)
JVM入门到入土-Java虚拟机寄存器指令集与栈指令集
JVM入门到入土-Java虚拟机寄存器指令集与栈指令集 HotSpot虚拟机中的任何操作都需要入栈和出栈的步骤。 由于跨平台性的设计,Java的指令都是根据栈来设计的。不同平台CPU架构不同,所以不能设计为基于寄存器的。优点是跨平台,指令集小&#x…...
![](https://img-blog.csdnimg.cn/direct/5ddfef03ccf147feba6798121b4fa393.png)
MS2244模拟开关可Pin to Pin兼容NJM2244
MS2244 是一款集成的视频开关,实现三输入视频或音频信号的三选一。可Pin to Pin兼容NJM2244。 芯片集成了 75Ω驱动电路,可以直接驱动电视监控器。芯片工作电压 5V~12V,带宽 10MHz,抗串扰 70dB (4.43MHz)。另外芯片还集…...
![](https://img-blog.csdnimg.cn/img_convert/fdab4e1bd56277b20da73b63d9852072.png)
PostgreSQL 可观测性最佳实践
简介 软件简述 PostgreSQL 是一种开源的关系型数据库管理系统 (RDBMS),它提供了许多可观测性选项,以确保数据库的稳定性和可靠性。 可观测性 可观测性(Observability)是指对数据库状态和操作进行监控和记录,以便在…...
![](https://img-blog.csdnimg.cn/direct/5ec6a4cd2abb4684aae30ca1854b9186.png)
51单片机相关寄存器
前言 单片机复习的时候对应寄存器的记忆感觉很混乱,这里进行一下整理,后面的单词是我用来辅助记忆的,可能并不是表示原本的含义。 P3口的第二功能 0RXD 串行数据输入口 1TXD串行数据输出口2INT0外部中断0输入3INT1外部中断1输入4T0定时器0外部计数输入…...
![](https://img-blog.csdnimg.cn/direct/62219b9ff03e4ffd9277fbac3d72a871.png)
二叉树进阶题目(超详解)
文章目录 前言根据二叉树创建字符串题目分析写代码 二叉树的层序遍历题目分析 写代码二叉树的层序遍历II题目分析写代码 二叉树的最近公共祖先题目分析写代码时间复杂度 优化思路优化的代码 二叉搜索树与双向链表题目分析写代码 从前序与中序遍历序列构造二叉树题目分析写代码从…...
![](https://img-blog.csdnimg.cn/direct/3680e44888f74049819cb3f4d287855d.png)
W6100-EVB-Pico评估版介绍
文章目录 1 简介2 硬件资源2.1 硬件规格2.2 引脚定义2.3 工作条件 3 参考资料3.1 Datasheet3.2 原理图3.3 尺寸图(尺寸:mm)3.4 参考例程 4 硬件协议栈优势 1 简介 W6100-EVB-Pico是一款基于树莓派RP2040和全硬件TCP/IP协议栈以太网芯片W6100的…...
![](https://img-blog.csdnimg.cn/direct/42d54b3ce915411bb9a9155d685fb7f3.png)
嵌入式面试准备
题目都摘于网上 嵌入式系统中经常要用到无限循环,如何用C编写死循环 while(1){}或者for(;😉 内存分区 代码区,全局区(全局变量,静态变量,以及常量),栈区,堆区 const关键…...
![](https://img-blog.csdnimg.cn/9d40fce6b10e46c7a6778b5d59bc6fed.gif#pic_center)
在Linux Docker中部署RStudio Server,实现高效远程访问
🌈个人主页:聆风吟 🔥系列专栏:网络奇遇记、Cpolar杂谈 🔖少年有梦不应止于心动,更要付诸行动。 文章目录 📋前言一. 安装RStudio Server二. 本地访问三. Linux 安装cpolar四. 配置RStudio serv…...
![](https://img-blog.csdnimg.cn/img_convert/e4c515603af6aaf9aaa8843d7878e4c1.png)
EternalBlue【永恒之蓝】漏洞详解(复现、演示、远程、后门、入侵、防御)内容丰富-深入剖析漏洞原理-漏洞成因-以及报错解决方法-值得收藏!
漏洞背景: 1.何为永恒之蓝? 永恒之蓝(Eternal Blue)爆发于2017年4月14日晚,是一种利用Windows系统的SMB协议漏洞来获取系统的最高权限,以此来控制被入侵的计算机。甚至于2017年5月12日, 不法分子…...
![](https://img-blog.csdnimg.cn/direct/dec848b0e8a04fc6834ca64000cb81a7.png)
长链接与在线文件
什么是在线文件 常见的聊天工具,比如。。。微信,你可以发送一个文件给对端,即使对端不在线,这个文件也可以暂存在服务器上面,直到接收端上线消费或者超时,这个叫离线文件。与之对应的,在线文件要…...
![](https://www.ngui.cc/images/no-images.jpg)
Python内置数据类型等入门语(句)法
内置数据类型 数字(Number)关键字: int 、float、complex字符串(String)关键字:单引号,双引号 三引号都可以表示,8 种内置类型都可转为字符串类型列表(List) 关键符号 […...
![](https://img-blog.csdnimg.cn/direct/8a19fb5d280f4316bd151594efd9b419.png)
ElasticSearch之RestClient笔记
1. ElasticSearch 1.1 倒排索引 1.2 ElasticSearch和Mysql对比 1.3 RestClient操作 导入依赖 <dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.15.…...
![](https://img-blog.csdnimg.cn/direct/c5363dc9e15543b68babb169d73eb4b4.png)
饥荒Mod 开发(二二):显示物品信息
饥荒Mod 开发(二一):超大便携背包,超大物品栏,永久保鲜 饥荒Mod 开发(二三):显示物品栏详细信息 饥荒中的物品没有详细信息,基本上只有一个名字,所以很多物品的功能都不知道,比如浆果吃了也不知…...
![](https://www.ngui.cc/images/no-images.jpg)
Microsoft Edge使用方法和心得
Microsoft Edge使用方法和心得 大家好,我是豪哥,一名来自杭州的Java程序员,今天我想分享一下我对Microsoft Edge的使用方法和心得。作为一名热爱编程的程序员,我发现一个高效的浏览器对于我们的工作和学习至关重要。而Microsoft …...
![](https://www.ngui.cc/images/no-images.jpg)
Kafka操作指令笔记
查堆积用命令查: ./kafka-consumer-groups.sh --bootstrap-server {kafka集群地址} --describe --group {消费组名称}bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups #查看所有组别的积压情况可以通过grep、awk或其他文…...
![](https://img-blog.csdnimg.cn/direct/fbe9cbbdb1c34b1ab5d23b319f3845ec.png)
WAVE SUMMIT+ 2023倒计时2天,传文心一言将曝最新进展!
传文心一言将曝最新进展! 亮点一:趋势引领,“扛把子”文心一言将曝新进展亮点二:干货十足,硬核低门槛开发秘籍大放送亮点三:蓄势待发,大模型赋能产业正当时亮点四:群星闪耀ÿ…...