当前位置: 首页 > news >正文

Jenkins声明式Pipeline流水线语法示例

系列文章目录

docker搭建Jenkins2.346.3版本及常用工具集成配置(ldap、maven、ansible、npm等)
docker安装低版本的jenkins-2.346.3,在线安装对应版本插件失败的解决方法


文章目录

  • 系列文章目录
  • jenkins流水线基础
      • 1、pipeline
        • 1.1、什么是pipeline?
        • 1.2、为什么使用pipeline?
        • 1.3、pipeline定义
        • 1.4、jenkinsfile
        • 1.5、声明式pipeline示例
        • 1.6、参数解读
      • 2、声明式流水线语法
        • 2.1、pipeline语法-agent(代理)
        • 2.2、post
        • 2.3、stages(阶段)
        • 2.4、steps(步骤)
          • 2.4.1、script
        • 2.5、指令
          • 2.5.1、environment
          • 2.5.2、options
          • 2.5.3、参数
            • 参数构建化过程配置参数如下示例:
            • jenkinsfile中定义参数示例:
        • 2.6、触发器(trigger)
        • 2.7、tool
        • 2.8、input
        • 2.9、when
          • 内置条件
          • when使用示例
        • 2.10、parallel并行
  • 总结

jenkins流水线基础

首先,创建一个简单的流水线项目,体验并完成一条流水线项目的构建过程。如下图示
切记: 流水线的运行方式取决于定义的jenkinsfile

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1、pipeline

提前安装插件 Pipeline:Declarative
1.1、什么是pipeline?
1、pipeline是jenkins的核心功能,提供一组可扩展的工具
2、通过pipeline的DSL语法完成从简到难的交付流水线实现
3、jenkins的pipeline是通过jenkinsfile来实现的
4、这个文件可以定义jenkins的执行步骤,例如:代码拉取、代码检查等
1.2、为什么使用pipeline?
本质上,jenkins是一个自动化引擎,它支持许多自动模式。流水线向Jenkins添加了一组强大的工具,支持用例、简单的持续集成到全面的持续交付流水线。 
通过对一系列的发布任务建立标准的模板,用户可以利用更多流水线的特性,比如:代码化: 流水线是在代码中实现的,通常会存放到源代码控制,使团队具有编辑、审查和更新他们项目的交付流水线的能力。耐用性: 流水线可以从Jenkins的master节点重启后继续运行。可暂停的: 流水线可以由人功输入或批准继续执行流水线。解决复杂发布: 支持复杂的交付流程。例如循环、并行执行。可扩展性: 支持扩展DSL和其他插件集成

在这里插入图片描述

1.3、pipeline定义
一条流水线通过Jenkinsfile描述
安装声明式插件Pipeline: Declarative
Jenkinsfile组成指定node节点/workspace指定指定运行选项指定stages阶段指定构建后操作
1.4、jenkinsfile
Jenkinsfile使用两种语法进行编写,分别是声明式和脚本式。
声明式和脚本式的流水线从根本上是不同的。
声明式是jenkins流水线更友好的特性。
脚本式的流水线语法,提供更丰富的语法特性。
声明式流水线使编写和读取流水线代码更容易设计。
声明式Pipeline: 使用agent指定运行的slave节点可以是label。
pipeline{agent anystages{//    }
}
脚本式Pipleine: 使用node指定运行slave可以是label
node("slave"){stage("GetCode"){//}
}
1.5、声明式pipeline示例
String workspace = "/home/vagrant/workspace" //Pipeline 
pipeline {agent { node { label "master"   //指定运行节点的标签或者名称customWorkspace "${workspace}" //指定运行工作目录(可选)}}options { timestamps()    //日志会有时间skipDefaultCheckout()  //删除隐式checkout scm 语句disableConcurrentBuilds()  //静止并行timeout(time: 1, unit: 'HOURS')  //流水线超时设置1h}stages { //下载代码stage("GetCode"){   //阶段名称steps{   //名称timeout(time:5, unit:"MINUTES"){   //步骤超时时间script{   //填写运行代码println('获取代码') } } } }//构建stage("Build"){ steps{timeout(time:20, unit:"MINUTES"){ script{ println('应用打包')}} }}//代码扫描stage("CodeScan"){steps{ timeout(time:30, unit:"MINUTES"){ script{ print('代码扫描')} }}}} //构建后操作post {always { script{ println("always") } } success {script{currentBuild.description += "\n 构建成功!" } }failure {script{ currentBuild.description += "\n 构建失败!" } }aborted { script{ currentBuild.description += "\n 构建取消!" } } } 
}
1.6、参数解读

Agent-Options

  • 指定node节点/workspace
  • 指定运行选项
  • 声明式Pipeline: 使用agent指定运行的slave节点可以是label
pipeline{agent { node { label "master"   //指定运行节点的标签或者名称customWorkspace "${workspace}" //指定运行工作目录(可选)}}options { timestamps()    //日志会有时间skipDefaultCheckout()  //删除隐式checkout scm 语句disableConcurrentBuilds()  //静止并行timeout(time: 1, unit: 'HOURS')  //流水线超时设置1h}}

脚本式Pipleine: 使用node指定运行slave可以是label

node("slave"){options { timestamps()    //日志会有时间skipDefaultCheckout()  //删除隐式checkout scm 语句disableConcurrentBuilds()  //静止并行timeout(time: 1, unit: 'HOURS')  //流水线超时设置1h}
}

Stages

  • stage定义了在整个流水线的执行任务的概念性的不同的阶段。例如: GetCodeBuildTestDeployCodeScan每个阶段。

  • 解释:上述示例添加了三个阶段

    • GetCode
    • Build
    • CodeScan
  • 声明式pipeline: 定义stages->stage

pipeline{agent anystages{stage("GetCode"){//steps  }stage("build"){//step}}
}
  • 脚本式Pipeline: 直接使用stage
node("slave"){stage("GetCode"){//}stage("build"){//}
}

step(步骤)

  • step是每个阶段中要执行的每个步骤。
  • 例如: 在执行GetCode的时候需要判断用户提供的参数srcType的值是Git还是svn
pipeline{
agent any
stages{stage("GetCode"){steps{ sh "ls "    //step} }    }
}
  • 脚本式Pipeline: 不需要step关键字。
node("slave"){
stage("GetCode"){//stepif("${srcType}" == "Git"){//用git方式代码检出} else if ("${srcType}" == "SVN"){//用svn方式代码检出} else {error "srcType is not in [Git|SVN]"}
}
}

Post

  • 指定构建后操作
  • 解释:
    • always{}:总是执行脚本片段
    • success{}:成功后执行
    • failure{}:失败后执行
    • aborted{}:取消后执行
  • currendBuild是jenkins内部的全局变量
    • description:构建描述

2、声明式流水线语法

2.1、pipeline语法-agent(代理)
agent指定了流水线的执行节点
参数:any  在任何可以节点上执行pipelinenone  没有指定agent的时候默认label 在指定标签的节点上执行pipelinenode  允许额外的选项
语法示例一:agent {node {label 'labelname'}}
语法示例二:agent {label 'labelname'}
2.2、post
	定义一个或多个steps,这些阶段根据流水线或阶段的完成情况而运行(取决于流水线中post部分的位置),post支持以下post-condition块其中之一:always、changed、failure、success、unstable、aborted,这些条件块允许在post部分的步骤的执行取决于流水线阶段的完成状态。always: 无论流水线或者阶段的完成状态。
changed: 只有当流水线或者阶段完成状态与之前不同时。
failure: 只有当流水线或者阶段状态为”failure”运行。
success: 只有当流水线或者阶段状态为”success”运行。
unstable: 只有当流水线或者阶段状态为”unstable”运行。例如:测试失败。
aborted: 只有当流水线或者阶段状态为”aborted “运行。例如:手动取消。
如下示例
pipeline {
agent any
stages {stage('Example') {steps {echo 'Hello World'}}
}
post { always { echo 'I will always say Hello again!'}
}
}
2.3、stages(阶段)
	包含一系列一个或多个stage指令,建议stages至少包含一个stage指令用于连续交付过程的每个离散部分,比如:构建、测试、部署等
pipeline {agent anystages { stage('Example') {steps {echo 'Hello World'}}}
}
2.4、steps(步骤)
每个阶段要执行的步骤pipeline {agent anystages {stage('Example') {steps { echo 'Hello World'}}}
}
2.4.1、script
	script 步骤需要 [scripted-pipeline]块并在声明式流水线中执行。对于大多数用例来说,应该声明式流水线中的“脚本”步骤是不必要的,但是它可以提供一个有用的”逃生出口”。非平凡的规模和/或复杂性的script块应该被转移到 共享库 。
pipeline {agent anystages {stage('Example') {steps {echo 'Hello World'script {def browsers = ['chrome', 'firefox']for (int i = 0; i < browsers.size(); ++i) {echo "Testing the ${browsers[i]} browser"}}}}}
}
2.5、指令
2.5.1、environment
	environment 指令指定一个键值对序列,也称为环境变量,该序列将被定义为所有步骤的环境变量,或者是特定于阶段的步骤,这取决于 environment 指令在流水线内的位置。该指令支持一个特殊的方法 credentials() ,该方法可用于在Jenkins环境中通过标识符访问预定义的凭证。对于类型为 “Secret Text”的凭证, credentials() 将确保指定的环境变量包含秘密文本内容。对于类型为 “SStandard username and password”的凭证, 指定的环境变量指定为 username:password ,并且两个额外的环境变量将被自动定义 :分别为 MYVARNAME_USR 和 MYVARNAME_PSW 。
pipeline {agent anyenvironment { CC = 'clang'}stages {stage('Example') {environment { AN_ACCESS_KEY = credentials('my-prefined-secret-text') }steps {sh 'printenv'}}}
}
2.5.2、options
	options 指令允许从流水线内部配置特定于流水线的选项。 流水线提供了许多这样的选项, 比如buildDiscarder,但也可以由插件提供, 比如 timestamps。buildDiscarder: 为最近的流水线运行的特定数量保存组件和控制台输出。disableConcurrentBuilds: 不允许同时执行流水线。 可被用来防止同时访问共享资源等。overrideIndexTriggers: 允许覆盖分支索引触发器的默认处理。skipDefaultCheckout: 在agent 指令中,跳过从源代码控制中检出代码的默认情况。skipStagesAfterUnstable: 一旦构建状态变得UNSTABLE,跳过该阶段。checkoutToSubdirectory: 在工作空间的子目录中自动地执行源代码控制检出。timeout: 设置流水线运行的超时时间, 在此之后,Jenkins将中止流水线。retry: 在失败时, 重新尝试整个流水线的指定次数。timestamps: 预测所有由流水线生成的控制台输出,与该流水线发出的时间一致。
//指定一个小时的全局执行超时, 在此之后,Jenkins将中止流水线运行。
pipeline {
agent any
options {timeout(time: 1, unit: 'HOURS') 
}
stages {stage('Example') {steps {echo 'Hello World'}}
}
}
2.5.3、参数

在这里插入图片描述

如上图所示,再上述位置配置的参数其实都可以再Jenkinsfile中定义实现
为流水线运行时设置项目相关的参数,参数定义的两种方法1、参数可以在这个参数化构建过程中定义,然后再Jenkinsfile中调用2、参数也可以再jenkinsfile中定义并使用参数
参数构建化过程配置参数如下示例:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

jenkinsfile中定义参数示例:

在这里插入图片描述

在这里插入图片描述

值得注意的是,当保存后再构建页面中是看不到新添加的参数,只有执行一次构建过程后,该页面才会有新添加的参数,如下所示

在这里插入图片描述

2.6、触发器(trigger)
定时去做某件事情时可以考虑使用,如下示例
  • cron 计划任务定期执行构建。

    triggers { cron('H */4 * * 1-5') }
    
  • pollSCM 与cron定义类似,但是由jenkins定期检测源码变化。

    triggers { pollSCM('H */4 * * 1-5') }
    
  • upstream 接受逗号分隔的工作字符串和阈值。 当字符串中的任何作业以最小阈值结束时,流水线被重新触发。

    triggers { upstream(upstreamProjects: 'job1,job2', threshold: hudson.model.Result.SUCCESS) }
    
pipeline {
agent any
triggers {cron('H */4 * * 1-5')
}
2.7、tool
	获取通过自动安装或手动放置工具的环境变量。支持maven/jdk/gradle。工具的名称必须在系统设置->全局工具配置中定义。使用示例如下: 在jenkinsfile中使用全局工具maven

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.8、input
input用户在执行各个阶段的时候,由人工确认是否继续进行。比较常用message 呈现给用户的提示信息。id 可选,默认为stage名称。ok 默认表单上的ok文本。submitter 可选的,以逗号分隔的用户列表或允许提交的外部组名。默认允许任何用户。submitterParameter 环境变量的可选名称。如果存在,用submitter 名称设置。parameters 提示提交者提供的一个可选的参数列表。
如下示例:1、使用流水线语法生成一个示例input2、将生成的input粘贴至pipeline3、执行构建,查看是否有提示

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.9、when
	when 指令允许流水线根据给定的条件决定是否应该执行阶段。 when 指令必须包含至少一个条件。 如果when 指令包含多个条件, 所有的子条件必须返回True,阶段才能执行。 这与子条件在 allOf 条件下嵌套的情况相同。
内置条件
  • branch: 当正在构建的分支与模式给定的分支匹配时,执行这个阶段,这只适用于多分支流水线例如:

    when { branch 'master' }
    
  • environment: 当指定的环境变量是给定的值时,执行这个步骤,例如:

    when { environment name: 'DEPLOY_TO', value: 'production' }
    
  • expression 当指定的Groovy表达式评估为true时,执行这个阶段, 例如:

    when { expression { return params.DEBUG_BUILD } }
    
  • not 当嵌套条件是错误时,执行这个阶段,必须包含一个条件,例如:

    when { not { branch 'master' } }
    
  • allOf 当所有的嵌套条件都正确时,执行这个阶段,必须包含至少一个条件,例如:

    when { allOf { branch 'master'; environment name: 'DEPLOY_TO', value: 'production' } }
    
  • anyOf 当至少有一个嵌套条件为真时,执行这个阶段,必须包含至少一个条件,例如:

    when { anyOf { branch 'master'; branch 'staging' } }
    
when使用示例
当参数test的值是123456时执行下载代码操作,即GetCode动作

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.10、parallel并行
	声明式流水线的阶段可以在他们内部声明多个嵌套阶段, 它们将并行执行。 注意,一个阶段必须只有一个 steps 或 parallel的阶段。 嵌套阶段本身不能包含 进一步的 parallel 阶段, 但是其他的阶段的行为与任何其他 stageparallel的阶段不能包含 agent 或 tools阶段, 因为他们没有相关 steps。另外, 通过添加 failFast true 到包含parallel的 stage中, 当其中一个进程失败时,你可以强制所有的 parallel 阶段都被终止如下示例:因为打包和扫描时间较长,将这两个操作添加到并行操作

在这里插入图片描述

总结

本篇文章主要针对常用的声明式Jenkinsfile流水线脚本的参数和框架做出了一个示例及简单的解释,因为平常接触和编写最多的就是声明式的流水线脚本。加油,开始练习写声明式流水线脚本吧,光看不练假把式~~~

相关文章:

Jenkins声明式Pipeline流水线语法示例

系列文章目录 docker搭建Jenkins2.346.3版本及常用工具集成配置(ldap、maven、ansible、npm等) docker安装低版本的jenkins-2.346.3,在线安装对应版本插件失败的解决方法 文章目录 系列文章目录jenkins流水线基础1、pipeline1.1、什么是pipeline&#xff1f;1.2、为什么使用pi…...

互联网技术净土?原生鸿蒙开启全新技术征程

鸿蒙生态与开发者的崭新机会 HarmonyOS NEXT承载着华为对未来操作系统的深刻理解&#xff0c;如今已发展为坚实的数字底座。它不仅在技术层面取得了全面突破&#xff0c;还在中国操作系统市场中站稳了脚跟。 当前&#xff0c;HarmonyOS NEXT的代码行数已超过1.1亿&#xff0c…...

关于Django 模型字段 `choices`自定义数据类型的枚举——补充

文章目录 1. 处理 datetime 类型的 choices2. 处理 time 类型的 choices3. 处理 Decimal 类型的 choices4. 处理 UUID 类型的 choices5. 处理 float 类型的 choices 在 Choices 类的基础上扩展&#xff0c;可以将 choices 与特定数据类型&#xff08;如 date 或 datetime&a…...

CAP理论的延申--BASE理论

上一篇文章我简单介绍了一下什么是CAP理论&#xff0c;本篇文章讲解一下随着技术的演变&#xff0c;CAP理论是如何发展为BASE理论的。 CAP理论回顾 首先我们回顾一下CAP理论&#xff0c;CAP理论指得是分布式系统发生网络等故障时&#xff0c;不同节点之间无法同步数据&#xf…...

【傻呱呱】phpMyAdmin怎样给特定用户授权特定数据库权限?

前期准备 phpMyAdmin数据库&#xff08;MySQL&#xff09; END...

『VUE』21. 组件注册(详细图文注释)

目录 组件注册局部注册全局注册全局注册示例总结 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 组件注册 组件注册有两种方式&#xff1a;全局注册和局部注册。全局注册只需要注册依次,其他组件可以直接调用无需再次像局部注册一…...

如何产看SQL 查询的执行时间

要查看 SQL 查询的执行时间&#xff0c;尤其是毫秒级别&#xff0c;可以使用以下几种方法&#xff1a; 方法 1&#xff1a;使用 SET STATISTICS TIME 查看执行时间 SET STATISTICS TIME 会显示执行时间的详细信息&#xff0c;包括 CPU 时间和总耗时。启用后&#xff0c;SQL S…...

计算机网络——路由器构成

算路由表是分布式去算——你算你的&#xff0c;我算我的 输出队列非先来先传 调度发生在哪里 缓存队列一般是应对——来数据方向的速度过快问题...

架构师之路-学渣到学霸历程-48

实现域名跳转的实验 今天继续还是分享域名跳转的实验&#xff1b;继续整&#xff0c;看看效果 意思就是你本来访问www.liangjiawei.net的网站然后跳转到blog.liangjiawei.net的网站 1、基础的环境部署 安装好nginx&#xff08;这里最好的就是干净的环境&#xff09;创建两个…...

HappyChart——一款简单好用的专业绘图软件

HappyChart是一款新出的专业绘图软件&#xff0c;灵感来自于类PS软件&#xff0c;它是以图层的方式进行绘图。相比与Excel图表或其他专业绘图软件&#xff0c;HappyChart界面简洁明了&#xff0c;操作简单&#xff0c;没有复杂的选项&#xff0c;它只调整绘图相关参数即可实时展…...

【Linux】进程信号全攻略(二)

&#x1f308; 个人主页&#xff1a;Zfox_ &#x1f525; 系列专栏&#xff1a;Linux 目录 一&#xff1a;&#x1f525; 再谈信号的捕捉 &#x1f98b; 关于信号捕捉的细节部分&#xff08;sigaction函数&#xff09; 二&#xff1a;&#x1f525; 穿插话题 - 操作系统是怎么运…...

redis用法(二)

文章目录 02-redis数据类型篇生产环境下的redis实况图 1.全局命令redis数据存储格式set设置k-v查看当前redis的key的数量危险命令&#xff0c;新手请在于超老师陪同下执行为什么危险&#xff1f;如何正确搜索redis的key 查看库下有多少个key查询redis库信息切换redis库查看key是…...

Python-利用os,tkinter库编写一个伪恶意程序文件(Pro版)

前言&#xff1a;上一期我们简单学习了如何编写一个多次弹窗警告用户的exe伪恶意文件。我们知道了把Python初始文件编译为exe文件后&#xff0c;程序在没有Python环境的情况下也能正常运行。我们上次编写的程序仅仅只是伪造系统正在执行关机命令前的倒计时的假象&#xff0c;实…...

Oracle视频基础1.4.4练习

1.4.4 [dbs] 删干净上次创建的bbk ll rm -f *dbf ll rm -f spfilebbk.ora clear ll创建bbk的pfile&#xff0c;准备对应的目录 ll strings spfilewilson.ora | more strings spfilewilson.ora > initbbk.ora :%s/wilson/bbk :%s/*\.//g :wq ll vi initbbk.ora####### 创…...

GOF的C++软件设计模式的分类和模式名称

“GOF” 指的是 “Gang of Four”&#xff0c;即“四人帮”&#xff0c;他们是指 Erich Gamma、Richard Helm、Ralph Johnson 和 John Vlissides。这四位作者在其著作《Design Patterns: Elements of Reusable Object-Oriented Software》中定义了23种设计模式&#xff0c;这些…...

有向图的完全可达性(有向图搜索全路径的问题) C#DFs

在考察输入输出方面我觉得是道难题了 第一次遇见邻接表的数据结构该怎么声明 卡码网105 在力扣没找见完全相同的题 感觉需要多练习多复习这种类型的题 105. 有向图的完全可达性 题目描述 给定一个有向图&#xff0c;包含 N 个节点&#xff0c;节点编号分别为 1&…...

前端开发实现自定义勾选/自定义样式,可复选,可取消勾选

基于后端返回数组实现多选、复选 以下代码基于vue2&#xff0c;如果有需要React/Vue3或者其他框架代码的&#xff0c;可以通过国内直连GPT4o进行代码转换&#xff0c;转换正确率99% 前端代码如下(直接拷贝到你的vue代码即可)&#xff1a; <!-- CustomCheckboxList.vue --&g…...

鸿蒙-promptAction.showToast基于PC屏幕底部提示

PC端app缩小&#xff0c;右击出菜单后&#xff0c;点菜单项 菜单关闭&#xff0c;并弹promptAction.showToast提示&#xff0c;但提示是基于PC底部弹提示的&#xff0c;需要的是基于app底部弹提示 原因是UIContext是右击菜单的UIContext&#xff0c;需要拿到菜单下面UI的UICont…...

Vert.x,应用监控 - 全链路跟踪,基于Zipkin

关于Zipkin Zipkin是一款开源的分布式实时数据追踪系统(Distributed Tracking System)&#xff0c;能够收集服务间调用的时序数据&#xff0c;提供调用链路的追踪。Zipkin每一个调用链路通过一个trace id来串联起来&#xff0c;通过trace id&#xff0c;就能够直接定位到这次调…...

Rust常用数据结构教程 序列

文章目录 一、Vec1.Vec与堆栈2.什么时候需要Vec3.get()方法4.与枚举的结合 二、VecDeque1.什么情况适合VecDeque2.VecDeque的方法 三、LinkedList1.什么时候用LinkedList 参考 一、Vec 可变数组(vector)数组存储在heap上,在运行时(runtime)可以增加或减少数组 长度 有人把Ve…...

智慧城市路面垃圾识别系统产品介绍方案

方案介绍 智慧城市中的路面垃圾识别算法通常基于深度学习框架&#xff0c;这些算法因其在速度和精度上的优势而被广泛采用。这些模型能够通过训练识别多种类型的垃圾&#xff0c;包括塑料袋、纸屑、玻璃瓶等。系统通过训练深度学习模型&#xff0c;使其能够识别并定位多种类型…...

网络安全:构建坚固的数字堡垒

网络安全&#xff1a;构建坚固的数字堡垒 在当今数字化时代&#xff0c;网络安全已经成为企业和个人不可忽视的重要议题。随着互联网的普及和信息技术的快速发展&#xff0c;网络攻击、数据泄露和隐私侵犯等问题日益严重&#xff0c;给企业和个人带来了巨大的风险和损失。本文…...

LeetCode题练习与总结:打乱数组--384

一、题目描述 给你一个整数数组 nums &#xff0c;设计算法来打乱一个没有重复元素的数组。打乱后&#xff0c;数组的所有排列应该是 等可能 的。 实现 Solution class: Solution(int[] nums) 使用整数数组 nums 初始化对象int[] reset() 重设数组到它的初始状态并返回int[]…...

科技改变生活:最新智能开关、调光器及插座产品亮相

根据QYResearch调研团队的最新力作《欧洲开关、调光器和插座市场报告2023-2029》显示&#xff0c;预计到2029年&#xff0c;欧洲开关、调光器和插座市场的规模将攀升至57.8亿美元&#xff0c;并且在接下来的几年里&#xff0c;将以4.2%的复合年增长率&#xff08;CAGR&#xff…...

传统RAG流程;密集检索器,稀疏检索器:中文的M3E

目录 传统RAG流程 相似性搜索中:神经网络的密集检索器,稀疏检索器 密集检索器 BGE系列模型 text-embedding-ada-002模型 M3E模型 稀疏检索器 示例一:基于TF-IDF的稀疏检索器 示例二:基于BM25的稀疏检索器 稀疏检索器的特点与优势 传统RAG流程 相似性搜索中:神经…...

基于统计方法的语言模型

基于统计方法的语言模型 基于统计方法的语言模型主要是指利用统计学原理和方法来构建的语言模型&#xff0c;这类模型通过分析和学习大量语料库中的语言数据&#xff0c;来预测词、短语或句子出现的概率。 N-gram模型&#xff1a;这是最基础的统计语言模型之一&#xff0c;它基…...

Flux comfyui 部署笔记,整合包下载

目录 comfyui启动: 1、下载 Flux 模型 2、Flux 库位置 工作流示例: Flux学习资料免费分享 comfyui启动: # 配置下载模型走镜像站 export HF_ENDPOINT="https://hf-mirror.com" python3 main.py --listen 0.0.0.0 --port 8188 vscode 点击 port 映射到本地,…...

高性能分布式缓存Redis-数据管理与性能提升之道

一、持久化原理 Redis是内存数据库&#xff0c;数据都是存储在内存中&#xff0c;为了避免进程退出导致数据的永久丢失&#xff0c;需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘&#xff1b;当下次Redis重启时&#xff0c;利用持久化文件实现数据恢复。除此…...

BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测

BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测 目录 BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测效果一览基本介绍模型搭建程序设计参考资料 效果一览 …...

DataWind将字符串数组拆出多行的方法

摘要&#xff1a; 可视化建模中先将字符串split为array再用explode(array)即可 可视化建模 进入“可视化建模”页面 1.1 新建任务 如果团队内没有可视化建模任务。请点击“新建任务”&#xff0c;输入名称并确定。 1.2 建立数据连接 在左边栏中选择“数据连接”&#xff0c…...