当前位置: 首页 > news >正文

观成科技:证券行业加密业务安全风险监测与防御技术研究

摘要:解决证券⾏业加密流量威胁问题、加密流量中的应⽤⻛险问题,对若⼲证券⾏业的实际流量内容进⾏调研分析, 分析了证券⾏业加密流量⾯临的合规性⻛险和加密协议及证书本⾝存在的⻛险、以及可能存在的外部加密流量威 胁,并提出防御策略和措施。

关键字:证券加密业务、加密应用、加密流量、商用密码安全评估、加密风险、加密威胁、监测防御

一、概述

数据爆发式增长的DT(Data technology)时代,加密技术是数据传输的重要保护手段。随着互联网和企业内部流量场景的加密化趋势快速增长,证券行业也面临着更加迫切的加密需求。证券行业涉及的加密业务种类繁多,因此如何实现有效的安全运维、风险监控和威胁检测成为亟待解决的问题。

据谷歌透明报告统计,94%的⾕歌浏览器流量为加密流量。据观成科技评估,企业内部加密流量占比也达到80%。证券行业性质特殊,涉及国家金融安全、客户个人隐私和财产安全,加密需求相比其他业务场景更突出、更急迫,因此证券行业流量加密化的趋势更加明显和普遍。证券行业业务繁杂,包涵用户鉴权业务、交易结算业务和资产管理业务等,涉及的加密应用众多,这些加密应用产生大量不同加密协议、不同加密算法的加密流量。

从政策和法规层面考察,为保障国家商业机密安全和数据安全,国家制定和颁布了一系列政策法规,包括《网络安全法》、《密码法》等。具体到金融行业,2022年11月25日,中国人民银行正式发布《金融行业信息系统商用密码应用》系列金融行业标准,包括《金融行业信息系统商用密码应用 基本要求》(JR/T 0255—2022)、《金融行业信息系统商用密码应用 测评要求》(JR/T 0256—2022)和《金融行业信息系统商用密码应用 测评过程指南》(JR/T 0257—2022)三项金融行业标准。上述法律、行业标准针对证券行业加密应用的密码使用、加密传输等进行了详细规范,并对网络安全等级保护、商用密码安全评估提出了落实和监管要求。

考虑到⽹络安全的对抗特性,安全⻛险管理与防御技术必将与相应的攻击技术交替攀升。因此除等保、密评等固化要求外,证券⾏业必须考虑⾃⾝业务中存在的其他加密⻛险,避免因此类额外⻛险带来的系统和业务完整性、机密性、 可⽤性、可控性及不可否认性破坏,做到防患于未然。除此之外,伴随证券业务加密化增多的趋势,各种使⽤加密流量进⾏攻击、窃密和远程控制的恶意威胁也逐年递增。根据知名 零信任⼚商Zscaler历年统计,截⾄2022年,超过85%的⽹络攻击⾏为采⽤的是加密⽅式,同⽐2021年增⻓20%。常⻅境 外APT组织攻击绝⼤多数已经转向加密⽅式传递信息,攻防演练场景中常⽤的扫描暴破、漏洞利⽤、远程控制和代理转 发等⼯具也⼤量使⽤各种加密协议进⾏加密。除传统明⽂检测能⼒外,针对加密流量构建加密威胁检测能⼒,也成为证券⾏业亟待解决的问题之⼀。

在本⽂中,我们建议对证券⾏业的加密业务进⾏梳理,明确各类加密协议、加密算法、加密数据格式以及业务特点。在此基础上,评估其合规加密⻛险和其他加密⻛险,并开展⻛险监控与缓解⼯作。同时,针对恶意加密威胁,需要分析恶意 加密流量的特点,并根据证券⾏业业务特点构建对应加密威 胁检测防线,以确保证券业务的安全、稳定运⾏。后续章节将 深⼊探讨上述问题,并提供进⼀步的研究建议。

二、证券行业加密业务调研

为调研掌握证券⾏业现有加密流量概况,观成科技联合 华泰证券、海通证券,以部分业务流量作为分析样本,数据分 析情况如下:

1.整体概况

数据采集时间为2023年6⽉12⽇,共采集5000万帧。其中IP帧49999774帧,⾮IP帧226帧,⾮IP帧包含ARP(23帧)、 LLC(130帧)、LLDP(42帧)和SLOW(31帧)等链路协议。IP帧中 约 9 7 . 3 6 % 为 T C P 协 议 ,U D P占 2 .5 7 % ,另 外 有 I CM P、O S P F、V R R P等协议,占⽐极⼩。以数据量统计,TCP协议占⽐为98.82%,UDP占⽐为1.17%。IP帧数、字节数情况表如下所⽰:

表1 IP协议分布情况

值得注意的是,有297帧,共415916字节不明数据,需要进一步研究其数据性质。

2.协议分布调研

  1. TCP协议分布

样本流量中TCP协议承载公开标准协议65个,约占TCP协 议总帧数的52.14%,总数据量的33.55%。占⽐较⾼的15项协议分类为远程登录协议、数据库协议、数据传输协议、设备 管理协议和加密传输协议。头部15个协议仅有两个⾮加密协 议,其他均为加密或部分加密。这也印证了上⽂中关于加密 流量占⽐较⼤的描述。TCP协议占⽐详表如下所⽰:

表2 TCP协议分布情况

以HTTP协议为例,经过统计发现,正常承载⽂字、图像和媒体业务的HTTP协议流量只占HTTP总流量的48%,有2.33%的HTTP载荷⽆法识别格式,可能是HTTP隧道利⽤。剩余约50%的HTTP流量,实际上是作为隧道承载其他

协议,常⻅协议有SSL、POP、HTTP等,其中绝⼤部分是SSL加密流量。

表3 HTTP协议应⽤分布情况

除公开标准协议外,在样本流量的TCP通信中,占据最⼤⽐重的是私有协议流量,约占总数据量的66.45%,总帧数的47.86%。考虑到样本流量中绝⼤多数是TCP流量,这也意味着约三分之⼆的流量是各种业务、应⽤所产⽣的私有协议数据,这些数据是哪些应⽤产⽣的,数据如何加密、是否有加密⻛险和安全⻛险,都有待梳理研究。

  1. UDP协议分布

样本流量中UDP占⽐较少,仅占总数据量的2.57%。UDP流量中公开标准协议有15个,按分类统计头部协议包含通信控制协议、数据库协议、数据传输协议、设备管理协议、域名解析协议和其他功能性协议,其他协议占⽐均不超过UDP协议总数据量的1%。除公开标准协议外,69.70%的UDP流量⽆法识别上层协议,应为各类证券业务所产⽣的私有协议数据,其中部分数据可能加密。UDP协议占⽐详表如下所⽰:

表4 UDP协议分布情况

综合上述针对TCP、UDP两⼤传输层协议的分析可知,样本流量具有如下两个显著特点:

•在公开标准协议中,加密协议数据量占⽐超过70%;

•近三分之⼆的流量为私有协议数据,其中包括私有加密流量。按照50%的私有协议数据被加密估算,业务流量中加密流量占总数据量约60%。

3、TLS协议加密流量调研

  1. 应⽤分析

样本流量中TLS协议数据约为540M字节,共27824次加密会话,涉及Server Name Indicator共61个,其中⼤多数为公开⽹⻚。因此判断样本流量中的TLS协议数据为互联⽹浏览或操作系统、软件升级流量。在TLS协议数据中,我们识别了⼀系列加密资产,如企业邮箱服务、云计算平台、云开发平台和统⼀数平台等,同时也发现了⼀系列与证券⾏业相关的应⽤信息,如各类证券分析应⽤、证券交易应⽤、证券信息平台等。

  1. ⻛险分析

本次调研针对TLS流量⻛险也进⾏了初步评估,评估重点主要放在TLS证书和TLS协议规范⽅⾯,针对⼊联和出联两种情况进⾏评估。

综合⼊联与出联TLS协议两类流量分析,⽬前业务流量中TLS协议数据存在的主要⻛险包括:

•使⽤⾃签名证书:⽆法验证⾝份,可能⾯临中间⼈攻击;

•证书链校验失败:⽆法验证⾝份,浏览器告警;

•证书过期:⽆法验证⾝份,浏览器告警;

•证书即将过期:如果不及时更新则证书将会失效;

•证书SAN与客⼾端SNI不匹配:证书颁发或服务器配置 错误;

•客⼾端⽀持弱密码套件:使⽤较⽼SSL库,需要更新;

•服务端选择弱密码套件:数据加密强度弱,可被快速破译;

•客⼾端SNI泄露服务端IP:信息泄露⻛险;

•加密套件与证书不匹配:TLS协议实现或服务器配置错误。

从数据量上看,⼊联流量中,涉及⾃⾝资产的⻛险流量占⽐较⼤,约为47%,外联流量异常较少,约为7%。这种分布差异与企业内部⽹络服务器配置不规范、证书不规范等因素相关。通过⻛险评估,我们也初步识别了内部⽹络中存在的各 类加密⻛险,为下⼀步规避⻛险⼯作打下良好基础。

4.调研小结

本次调研针对两家证券公司部分业务流量进⾏分析,初步厘清了内⽹加密与⾮加密流量协议类型、占⽐情况,并针对TLS协议加密流量应⽤和⻛险情况进⾏了初步分析。经过调研,我们有如下认识:

证券⾏业业务流量加密化趋势明显。在所调研的流量中,存在⼤量标准加密协议数据和私有协议加密数据。梳理清楚其中不明或未知加密流量格式、性质和业务归属,对于实现加密流量安全运维管控⾄关重要。

证券⾏业业务流量中存在⼀定加密⻛险。这些⻛险可能是因为内部应⽤研发实现失误、加密服务配置错误以及加密基础设施更新不及时等因素引起,如不及时排查解决,将会造成数据泄露、被破译等严重后果,需要引起⾜够重视。

三、证券行业加密业务面临的安全风险及应对策略

1.合规加密风险

在证券⾏业中,加密应⽤和加密服务的安全合规性评估⾄关重要。随着密码“⼀法三规⼀条例”(《密码法》、《国务院办公厅关于印发国家政务信息化项⽬建设管理办法的通知》、《贯彻落实⽹络安全等级保护制度和关键信息基础设施安全保护制度的指导意⻅》、《关键信息基础设施安全保护条例(征求意⻅稿)》、《商⽤密码管理条例》)以及国标GB/T39786-2021《信息安全技术信息系统密码应⽤基本要求》的出台,促进了密码产业及技术的发展,商⽤密码技术不断推陈出新,其普及、推⼴与应⽤也随之增⻓。密码使⽤的合规性、正确性、有效性成为了国家及企业关注的重点。《密码法》第⼆⼗七条规定法律、⾏政法规和国家有关规定要求使⽤商⽤密码进⾏保护的关键信息基础设施,其运营者应当使⽤商 ⽤密码进⾏保护,⾃⾏或者委托商⽤密码检测机构开展商⽤ 密码应⽤安全性评估。商⽤密码应⽤安全性评估(密评)是指在采⽤商⽤密码技术、产品和服务集成建设的⽹络和信息系统中,对其密码应⽤的合规性、正确性和有效性进⾏评估。

加密应⽤⽅⾯,商⽤密码评估主要涉及客⼾隐私加密、交易数据加密、财务数据加密等⽅⾯的评估,确保核⼼业务加密合规。加密服务⽅⾯,商⽤密码评估主要涉及以下⼏点:

•通信协议评估:需要规范使⽤符合密码评估要求的安全通信协议,以保证业务通信过程中的安全性。

•加密算法评估:需要选择⾜够强的加密算法对数据进 ⾏加密。如是否按照相关法规和规范使⽤国密算法等。

•访问控制和审安全审计评估:需要建⽴完善的访问控制机制,对员⼯和客⼾的访问进⾏严格控制,并记录访问⽇志和操作记录,以便对安全事件进⾏审计和追溯。商⽤密码评估需要对访问控制和审计机制的可靠性和安全性进⾏评估,确保访问控制和审计的有效性和完整性。

根据相关标准逐条映射,可归纳出密码评估需求对应加密资产的评估点和评估⽅法,部分评估项如下图所⽰:

图1 密码安全评估⽅法

如果商⽤密码评估结果表明存在不符合项,证券公司需要及时采取措施进⾏修复,以保证客⼾和公司的数据安全。此外,商⽤密码评估结果也可以帮助证券公司选择更加安全和可靠的加密技术和服务,有效保障业务正常运转。

2.其他加密风险

如前所述,除等保、密评等固化要求外,证券行业必须考虑自身业务中存在的其他加密风险,避免因此类额外风险带来的系统和业务完整性、机密性、可用性、可控性及不可否认性破坏,做到防患于未然。这类额外加密风险主要来自如下3个方面。

  1. 加密证书安全风险

加密证书是PKI体系最重要的一环,用于保护数据安全和隐私。证书通常由数字证书机构颁发,用于验证证书持有者的身份并授权他们访问受保护的资源。加密证书的安全风险主要包括以下几个方面:

有效性风险:是指服务端或客户端证书有效性异常,包括证书已经过期、尚未生效、即将过期和有效期过长等风险。

信任链风险:是指证书颁发过程中的异常,包括证书链校验失败、证书自签名、叶子证书可颁发等风险。

机密性风险:是指用于身份验证的公钥算法或签名算法存在异常,包括使用RSA、DSA或ECC算法的密钥过短、使用MD5、SHA1等已被证明存在弱点的摘要算法等。在需要使用国密证书的场景下,如果证书未采用国密算法,也将产生异常。此外,各类加密算法参数必须正确,如RSA公钥模数必须是大质数乘积等,否则将产生异常。

完整性风险:是指用于验证的身份信息和证书扩展等信息完整。如证书使用者通用名、国家、州、城市、部门等信息如果为空,则表示证书信息不完整。必要的证书扩展如密钥用法(Key Usage)扩展也不能缺失。

一致性风险:是指证书信息与使用场景存在不一致的异常。如某些协议场景下,要求证书具备数字签名功能,但是在对应的证书密钥用法列表中,并不包含数字签名(Digital Signature)用法,此时将产生异常。

  1. 加密协议安全风险

TLS、SSH、RDP以及网络层的IPSec等加密协议,大致分为密钥协商和加密会话两大阶段。加密协议安全风险主要考察密钥协商阶段客户端与服务端协商行为,针对其中的异常点进行监控,识别加密协议安全风险。以TLS协议举例,主要包括如下几个方面:

机密性风险:主要包括客户端支持或服务端选择无加密套件、无认证套件和已知存在弱点的弱加密、弱摘要套件。在一些安全性要求较高的场合,还可以检测是否使用支持前向加密的加密套件。除加密套件外,TLS随机数在协议运行中发挥关键作用,如果多次会话中客户端或服务端出现随机数重用、主对方随机数相同和主对方短暂私钥重用等情况,也说明协议运行出现异常。在使用国密的场景下,需要对加密套件是否是国密算法进行检查。

一致性风险:主要包括根据协议规范不应该出现的协商交互。如在RSA密钥交换中出现Server Key Exchange消息,或者在ECDHE交换中未出现Server Key Exchange消息,就表明协商过程出现异常,有可能是服务端配置错误或TLS协议遭到篡改。另外,各类TLS扩展的协商中,如客户端提供ALPN扩展,但服务端并未在客户端支持的应用层协议中选取,也表明协商过程出现异常。

可用性风险:主要包括使用已知存在风险的协议版本等。如使用过低的TLS版本,使用未定义的协议版本,或者在协商过程中支持或使用已被证明存在缺陷的压缩等。

  1. 加密通联安全风险

加密通联风险是指加密业务通联行为可能存在的安全风险。加密通联风险与业务强相关,主要包含如下几个方面:

时间风险:时间风险是指与业务相关的加密通联发生的时间异常。如非交易时段产生加密的交易业务通联,证明交易系统存在异常等。

协议风险:协议风险是指与业务相关的加密通联出现不应出现的协议。如本应密传的业务出现明文协议,表明加密业务遭到破坏或篡改等。

目标风险:目标风险是指与业务相关的访问者或被访问者出现异常。如不应主动外联境外的加密资产发生境外访问,或本地服务被境外地址访问登录等。

流量风险:流量风险是指正常加密业务数据量出现极大变化。如加密服务下载量激增,如果是外部访问,则表明可能存在信息泄露风险,如果是内部访问,可能是内部安全风险等。

3、加密业务安全风险监测防御策略

加密业务安全风险危害严重,为了防范这类风险,关键是做到未雨绸缪,防患于未然。应从如下4个方面着手进行监测与防御:

尽快厘清自有加密资产、加密业务,包含标准加密协议和私有加密协议数据,做到对自己的加密流量了如指掌,才可能做到全面的风险识别。

根据自身加密资产和加密业务特点进行风险梳理,合规加密风险方面,根据国家相应法律、规定进行排查,其他加密风险方面,从加密证书、加密协议和加密通联三方面进行综合考察。针对业务中的私有加密协议,应对加密数据、加密算法等进行分析,识别其中的风险点。

根据第二步梳理的各类风险点,制定缓解措施并有效执行。

综合利用规则、基线、人工智能等技术,持续监控流量中可能新出现的加密业务安全风险。

四、证券行业加密业务面临的加密威胁及应对策略

1.加密攻击概述

证券行业企业面临的加密攻击威胁在网络攻击的多个阶段都有体现,攻击者在初始信息搜集、初始打点、横向移动、命中靶标等各个阶段,均会使用不同的加密通信手段隐藏攻击行为。

信息搜集阶段,攻击者通过互联网搜索引擎对域名和资产进行调查外,还会通过主动探测来收集开放在互联网上的系统服务和API接口信息,对于企业边界产生入联流量,例如针对HTTPS服务进行探测的加密流量。

初始打点阶段,攻击者可能通过对员工的社工钓鱼,以及对暴露资产的暴力破解、漏洞利用等方式攻陷某一台主机。这一阶段,站在企业视角会面临多种入联加密流量威胁,例如针对资产的SSH、RDP暴力破解和针对HTTPS站点的漏洞利用都会产生加密流量。

横向移动阶段,在建立初始据点后,大多数的情况初始据点权限不够或只是作为内网跳板,此时攻击者会进行横向移动持续获取权限。这个过程产生的加密流量可能包括:首先,横向移动技术本身涉及的信息搜集、渗透突破过程,会涉及SSH、RDP扫描暴破、漏洞利用等加密流量;其次,在横向移动的过程中,攻击者不可避免的要维持一条或多条内外连接通道,这类通道可能通过加密反弹木马、部署Webshell提供,也可以通过加密反弹Shell、加密代理转发等实现。

窃密控制阶段,攻击者拿下目标机器权限并成功窃取数据进行回传,会通过TLS木马回连、代理转发、隐蔽隧道等加密流量进行命令与控制、窃密回传等恶意行为。

2.入联加密攻击及防御策略

在渗透和后渗透阶段可能遇到不同的入联加密攻击:

在渗透过程中,加密流量多来自对暴露在互联网上资产的扫描探测与暴力破解,例如HTTPS扫描、漏洞攻击、SSH和RDP用户口令暴力破解等。

在后渗透阶段,获取shell后,会进行一系列持久化预置的动作,例如上传Webshell、正向代理等后门。

这些问题的本质都是对Web服务等业务主机不合常规的访问,所涉及的加密协议以HTTPS为主。针对入联加密攻击行为,通常有两种防御策略:一种是通过串联解密设备将访问Web服务的入联HTTPS流量解密后,还原载荷中的HTTP流量,再经过WAF、IDS等传统明文检测设备进行规则检测;另一种是不解密,直接经过旁路部署的加密流量检测设备,结合人工智能、指纹、流行为等技术,识别隐藏在加密流量中的恶意攻击行为。

入联加密攻击在渗透阶段和后渗透阶段会有不同形式的体现。

在渗透过程中,加密流量多来自对暴露在互联网上资产的扫描探测与暴力破解,例如HTTPS扫描、漏洞攻击、SSH和RDP用户口令暴力破解等。在渗透阶段获取shell后,会进行一系列持久化预置的动作,例如上传Webshell、正向代理等后门。这些问题的本质都是对Web服务等业务主机不合常规的访问,所涉及的加密协议以HTTPS为主。
    针对HTTPS服务的扫描探测、漏洞攻击、Webshell连接等攻击行为,通常有两种防御策略:一种是通过串联解密设备将访问Web服务的入联HTTPS流量解密后,还原载荷中的HTTP流量,再经过WAF、IDS等传统明文检测设备进行规则检测;另一种是不解密,直接经过旁路部署的加密流量检测设备识别隐藏在加密流量中的恶意流行为。
    在不具备解密条件时,可以通过对每一组IP对加密载荷在一个时间区间内时间与空间分布的特性,结合特定数学模型进行验证,初步判断这些流量在行为特征上是否可能存在漏洞扫描、暴力破解等攻击行为。进一步对目标为Web服务的多条TLS流中存在的多次会话进行切割比对,从流量的时空特征的角度入手来对会话做区分,分出哪些是以传输、响应指令为主的流量,哪些是正常的访问浏览。最后,把认为不正常的这类流量再在现有的知识库中做对比以识别出真正的Webshell、正向代理类流量及其相关信息,如:事先搜集、研究、整理得到的工具静态特征、协议指纹进行二次判断,确定此次是否为攻击与攻击使用工具的具体的家族信息。

3.横向移动加密攻击及防御策略

横向移动阶段,主要为已经进入内网后针对内网资产加密服务的扫描探测,与入联阶段大部分相同,防御策略类似,但是由于内网渗透使用的工具与外网渗透有所不同,并且内网中的网络环境更为复杂,很可能有许多行为与扫描暴破类似的正常业务流量,所以要在防御筛查时更加严格,避免产生大量误报。

4.出联威胁加密攻击及防御策略

出联威胁主要涉及到两大类攻击者常用的命令与控制、窃密回传通道:远控木马加密通信和隐蔽隧道通信。

远控木马会使用HTTPS协议加密外联,将恶意流量混在出网的大量正常HTTPS流量中,从而逃避检测,还会利用代理转发、CDN、域前置等技术进一步隐藏其控制端基础设施。

另一大类是加密隐蔽隧道外联,指的是依托于不以加密通信为设计目的的常见标准协议之上,并自行设计加密方式通信的技术。如:利用DNS、ICMP、HTTP和一些特殊端口的TCP/UDP等会被防火墙放行的内对外流量中建立隐蔽隧道出网。

对出联加密通信木马的防御与检测通常可以借助人工智能技术以及限定域指纹、多流行为模型、加密威胁情报等辅助方法有机结合进行出联加密流量检测和预警。对于TCP、UDP、HTTP这类隐蔽隧道,可以通过针对自行设计的加密隧道流量载荷中,必定存在自定义结构的弱点,来设计一类一法对其做出检测和发现。

五、结论

证券行业的业务性质特殊,加密业务相较其他行业更加复杂和多变,因此证券行业对于加密业务的安全风险和威胁检测需求比其他行业更加迫切。在保护这些关键数据安全传输的过程中,证券行业必须应对加密风险监控和加密威胁检测的挑战。
    为了应对这些挑战,有必要对资产和流量中不同类型的加密业务进行梳理,了解其各自的特点与应用场景。在此基础上,实现对合规加密类和其他加密风险的有效识别与防护。面对可能涉及证券行业加密业务的各类攻击场景,如攻防演练场景、APT对抗场景等,证券行业需建立一个覆盖入联、横向、出联全阶段的加密流量综合检测体系。
    综上所述,我们需要针对证券行业的加密业务进行识别、监控和检测予以充分重视。通过全面梳理加密业务、建立完整的风险监控与威胁检测体系,以防范各类安全风险和安全威胁,有力提高数字化时代下的证券行业网络安全防护能力。

参考

1.Zscaler加密攻击报告(2022年)ThreatLabz State of  Encrypted Attacks 2022 Report https://www.zscaler. com /bl o g s / s e c u ri t y - r e s ea r c h / 2 0 2 2 - e n c r yp ted - attacks-report

2.⾕歌透明度报告 Google Transparency Report  https://transparencyreport.google.com

文章转载自证券信息技术研究发展中心,网络安全专刊(第1期)

作者:北京观成科技有限公司、海通证券股份有限公司、华泰证券股份有限公司

相关文章:

观成科技:证券行业加密业务安全风险监测与防御技术研究

摘要:解决证券⾏业加密流量威胁问题、加密流量中的应⽤⻛险问题,对若⼲证券⾏业的实际流量内容进⾏调研分析, 分析了证券⾏业加密流量⾯临的合规性⻛险和加密协议及证书本⾝存在的⻛险、以及可能存在的外部加密流量威 胁,并提出防…...

使用Swoole开发高性能的Web爬虫

使用swoole开发高性能的web爬虫 Web爬虫是一种自动化获取网络数据的工具,它可以在互联网上收集数据,并且可以被应用于各种不同的领域,如搜索引擎、数据分析、竞争对手分析等。随着互联网规模和数据量的快速增长,如何开发一个高性…...

【Elasticsearch】Elasticsearch索引创建与管理详解

文章目录 📑引言一、Elasticsearch 索引的基础概念二、创建索引2.1 使用默认设置创建索引2.2 自定义设置创建索引2.3 创建索引并设置映射 三、索引模板3.1 创建索引模板3.2 使用索引模板创建索引 四、管理索引4.1 查看索引4.2 更新索引设置4.3 删除索引 五、索引别名…...

[数据集][目标检测]棉花检测数据集VOC+YOLO格式389张1类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):389 标注数量(xml文件个数):389 标注数量(txt文件个数):389 标注类别…...

使用Java实现实时数据处理系统

使用Java实现实时数据处理系统 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 引言 在当今信息爆炸的时代,实时数据处理系统变得越来越重要。无论…...

整合web-socket的常见bug

整合文章连接 此文是记录我上网查找整合方案时候踩的坑,特别是注册失败的问题,比如还有什么去掉Compoent就可以,但是这样这个端点就失效了 特别是报错: at org.springframework.web.socket.server.standard.ServerEndpointExporter.registerEndpoint(ServerEndpointExporter.…...

Python 中字符串的常用操作都有哪些?

在 Python 中字符串的表达方式有四种 一对单引号 一对双引号 一对三个单引号 一对三个双引号 a ‘abc’ b “abc” c ‘’‘abc’’’ d “”“abc”"" print(type(a)) # <class ‘str’> print(type(b)) # <class ‘str’> print(type©) # <…...

FFmpeg 硬件编码加速文档介绍

介绍 硬件访问:许多平台提供了对专用硬件的访问,这些硬件可以用于执行解码、编码或过滤等视频相关操作。 性能与资源使用:使用硬件可以加快某些操作的速度或减少其他资源(特别是CPU)的使用,但可能会产生不同的结果或质量较低,或带来在使用纯软件时不存在的额外限制。 硬…...

【Matlab函数分析】imread从图形文件读取图像

&#x1f517; 运行环境&#xff1a;Matlab &#x1f6a9; 撰写作者&#xff1a;左手の明天 &#x1f947; 精选专栏&#xff1a;《python》 &#x1f525; 推荐专栏&#xff1a;《算法研究》 #### 防伪水印——左手の明天 #### &#x1f497; 大家好&#x1f917;&#x1f91…...

零基础光速入门AI绘画,SD保姆攻略

前言 大家好&#xff0c;我是AI绘画咪酱。一名AIGC狂热爱好者&#xff0c;目前正在AI绘画领域进行深入的探索。 我花了一个月时间把SD研究了一遍&#xff0c;秉持着用有趣、易懂的文字让小白也可以零基础光速使用SD&#xff08;stable diffusion&#xff09;入门AI绘画&#…...

详细配置SQL Server的链接服务器(图文操作Mysql数据库)

目录 前言1. MySQL ODBC 驱动2. 配置 SQL Server 链接服务器3. 彩蛋前言 此处配置以及安装没有什么理论知识 所以直奔主题,跟着以下步骤配置安装即可 需求:准备在10.197.0.110中链接外部的10.197.0.96的mysql数据源 已默认在10.197.0.96中安装了MySQL数据库并且知道其连接信…...

DDD学习笔记五

模型引力场&#xff1a;聚合 强作用力体现&#xff1a; 某个领域模型是另一些模型存在的前提&#xff0c;没有前者&#xff0c;后者就失去了生存的意义。 一组领域模型之间存在关联的领域逻辑&#xff0c;任何时候都不能违反。 一组领域模型必须以一个完整的、一致的状态呈现给…...

CAN报文的发送类型-OnChange、OnWrite、IfActive、Repetition

CAN报文的发送类型分为基本发送类型和混合发送类型两大类 CAN基本发送类型包括Cyclic周期发送、OnChange变化时发送、OnWrite写入时发送和IfActive有效时发送。基本发送类型中的Cyclic称为周期型,而其他3个类型称为事件型(Event)。发送次数是通过定义Repetition重复次数来实…...

神经网络在机器学习中的应用:手写数字识别

机器学习是人工智能的一个分支&#xff0c;它使计算机能够从数据中学习并做出决策或预测。神经网络作为机器学习的核心算法之一&#xff0c;因其强大的非线性拟合能力而广泛应用于各种领域&#xff0c;包括图像识别、自然语言处理和游戏等。本文将介绍如何使用神经网络对MNIST数…...

QT拖放事件之四:自定义拖放操作-利用QDrag来拖动完成数据的传输-案例demo

1、核心代码 #include "Widget.h" #include "ui_Widget.h" #include "MyButton.h"Widget::Widget(QWidget *parent): QWidget...

Spring Boot应用的部署与扩展

Spring Boot应用的部署与扩展 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 引言 Spring Boot作为现代化Java应用的首选框架之一&#xff0c;以其简化的配置…...

Spring底层原理之bean的加载方式八 BeanDefinitionRegistryPostProcessor注解

BeanDefinitionRegistryPostProcessor注解 这种方式和第七种比较像 要实现两个方法 第一个方法是实现工厂 第二个方法叫后处理bean注册 package com.bigdata1421.bean;import org.springframework.beans.BeansException; import org.springframework.beans.factory.config.…...

大数据面试题之Spark(5)

Spark SQL与DataFrame的使用? Sparksql自定义函数?怎么创建DataFrame? HashPartitioner和RangePartitioner的实现 Spark的水塘抽样 DAGScheduler、TaskScheduler、SchedulerBackend实现原理 介绍下Sparkclient提交application后&#xff0c;接下来的流程? Spark的几种…...

springboot笔记示例六:fastjson2集成

springboot笔记示例六&#xff1a;fastjson2集成 本文md下载 https://download.csdn.net/download/a254939392/89491102本文md文档下载地址 #springboot json官方说明 https://docs.spring.io/spring-boot/docs/2.1.6.RELEASE/reference/html/boot-features-json.htmlsprin…...

VLOOKUP函数在表格的简单运用-两个表匹配

1.什么是VLOOKUP&#xff1f; VLOOKUP是Excel中的一个内置函数&#xff0c;主要用于在区域或表格的首列查找指定的值&#xff0c;并返回该行中其他列的值。它特别适用于跨表格数据匹配 2.函数运用 2.1.这边两个表取名a表和b表&#xff0c;做为我们的实例表。 表格a包含&…...

http.cookiejar.LoadError: Cookies file must be Netscape formatted,not JSON.解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…...

逻辑操作符

目录 && --- 逻辑与操作符 || --- 逻辑或操作符 && --- 逻辑与操作符 逻辑与操作符有并且的意思&#xff0c;一般用于判断语句中 逻辑与操作符运行规则是都要为真&#xff0c;才会继续执行或计算 360笔试题&#xff1a; 有关前置(--)&#xff0c;后置(-…...

Java调用第三方接口的秘籍:技巧、案例与最佳实践

Java调用第三方接口的秘籍&#xff1a;技巧、案例与最佳实践 在Java开发中&#xff0c;调用第三方接口是一项常见的任务。无论是与外部系统交互、集成其他服务&#xff0c;还是调用远程API获取数据&#xff0c;掌握有效的第三方接口调用技巧都是至关重要的。本文将深入剖析Jav…...

【机器学习】机器学习重要方法——深度学习:理论、算法与实践

文章目录 引言第一章 深度学习的基本概念1.1 什么是深度学习1.2 深度学习的历史发展1.3 深度学习的关键组成部分 第二章 深度学习的核心算法2.1 反向传播算法2.2 卷积神经网络&#xff08;CNN&#xff09;2.3 循环神经网络&#xff08;RNN&#xff09; 第三章 深度学习的应用实…...

计网之IP

IP IP基本认识 不使用NAT时&#xff0c;源IP地址和目的IP地址不变&#xff0c;只要源MAC和目的MAC地址在变化 IP地址 D类是组播地址&#xff0c;E类是保留地址 无分类地址CIDR 解决直接分类的B类65536太多&#xff0c;C类256太少a.b.c.d/x的前x位属于网路号&#xff0c;剩…...

mybatis延迟加载

mybatis延迟加载 1、延迟加载概述 应用场景 ​ 如果查询订单并且关联查询用户信息。如果先查询订单信息即可满足要求&#xff0c;当我们需要查询用户信息时再查询用户信息。把对用户信息的按需去查询就是延迟加载。 延迟加载的好处 ​ 先从单表查询、需要时再从关联表去关联查…...

危险!属性拷贝工具的坑!

1. 背景​ 之前在专栏中讲过“不推荐使用属性拷贝工具”&#xff0c;推荐直接定义转换类和方法使用 IDEA 插件自动填充 get / set 函数。 不推荐的主要理由是&#xff1a; 有些属性拷贝工具性能有点差有些属性拷贝工具有“BUG”使用属性拷贝工具容易存在一些隐患&#xff08…...

qt实现打开pdf(阅读器)功能用什么库比较合适

关于这个问题&#xff0c;网上搜一下&#xff0c;可以看到非常多的相关博客和例子&#xff0c;可以先看看这个总结性的博客&#xff08;https://zhuanlan.zhihu.com/p/480973072&#xff09; 该博客讲得比较清楚了&#xff0c;这里我再补充一下吧&#xff08;qt官方也给出了一些…...

在node.js环境中使用web服务器http-server运行html静态文件

http-server http-server是一个超轻量级web服务器&#xff0c;它可以将任何一个文件夹当作服务器的目录供自己使用。 当我们想要在服务器运行一些代码&#xff0c;但是又不会配置服务器的时候&#xff0c;就可以使用http-server就可以搞定了。 使用方法 因为http-server需要…...

前端学习篇一(HTML)

Introduction ##文章内容&#xff1a;使用HBuilder制作一个简单的HTML5网页以此达到学习HTML5 的目的 ##编写内容&#xff1a;1.HTML实现平台 2.HTML简介 3.HTML语言解析 ##编写人&#xff1a;贾雯爽 ##最后更新时间&#xff1a;2024/07/01 Overview Details 一、HTML简介…...

VUE笔记

框架&#xff1a; 框架结构&#xff0c;把很多基础功能已经实现&#xff08;封装了&#xff09;。 框架&#xff1a;在基础语言之上&#xff0c;对各种基础功能进行封装&#xff0c;方便开发者&#xff0c;提高开发效率。 举例&#xff1a;操作页面 现在&#xff1a;点击按…...

Datawhale机器学习day-1

赛题 在当今科技日新月异的时代&#xff0c;人工智能&#xff08;AI&#xff09;技术正以前所未有的深度和广度渗透到科研领域&#xff0c;特别是在化学及药物研发中展现出了巨大潜力。精准预测分子性质有助于高效筛选出具有优异性能的候选药物。以PROTACs为例&#xff0c;它是…...

业务模型扩展字段存储

构建业务模型时&#xff0c;通常模型会设置扩展信息&#xff0c;存储上一般使用JSON格式存储到db中。JSON虽然有较好的扩展性&#xff0c;但并没有结构化存储的类型和非空等约束&#xff0c;且强依赖代码中写入/读取时进行序列化/反序列化操作&#xff0c; 当扩展信息结构简单且…...

50+k8s常用命令,助你成为k8s大牛!

Kubernetes是一个强大的容器编排平台&#xff0c;不管是运维、开发还是测试或多或少都会接触到&#xff0c;熟练的掌握k8s可大大提高工作效率和强化自身技能。 集群管理 1. 查看集群节点状态: kubectl get nodes2. 查看集群资源使用情况: kubectl top nodes3. 查看集群信息…...

002-基于Sklearn的机器学习入门:回归分析(上)

本节及后续章节将介绍机器学习中的几种经典回归算法&#xff0c;所选方法都在Sklearn库中聚类模块有具体实现。本节为上篇&#xff0c;将介绍基础的线性回归方法&#xff0c;包括线性回归、逻辑回归、多项式回归和岭回归等。 2.1 回归分析概述 回归&#xff08;Regression&…...

python实现网页自动化(自动登录需要验证的网页)

引言: python作为实现网页自动化的一个重要工具,其强大的各种封装的库使得程序运行更加简洁,只需要下载相应的库,然后调用库中的函数就可以简便的实现我们想要的网页相关操作。 正文: 我的前几篇文章写了关于初学爬虫中比较容易上手的功能,例如爬取静态网页的数据、动…...

ctfshow-web入门-命令执行(web71-web74)

目录 1、web71 2、web72 3、web73 4、web74 1、web71 像上一题那样扫描但是输出全是问号 查看提示&#xff1a;我们可以结合 exit() 函数执行php代码让后面的匹配缓冲区不执行直接退出。 payload&#xff1a; cvar_export(scandir(/));exit(); 同理读取 flag.txt cinclud…...

一体化导航的优点及应用领域

一体化导航&#xff0c;作为现代导航技术的重要发展方向&#xff0c;正日益展现出其独特的魅力和广泛的应用前景。这种导航方式将多种导航技术、信息系统以及数据处理方法集成于一个统一的平台上&#xff0c;为用户提供高效、准确、便捷的导航服务。 一体化导航的核心在于其高度…...

“吃饭大学”!中国大学食堂排行TOP10(含西电)

同学们们&#xff0c;考研择校考虑的因素除了学术&#xff0c;地理位置等方面&#xff0c;你们还会考虑哪些因素呢&#xff1f;小研作为一个吃货&#xff0c;必定会考虑的一个因素当然是大学的食堂美食啊~ 那中国超级好吃的大学食堂在哪&#xff1f;一起来看看有没有你的目标院…...

使用 Mybatis 时,调用 DAO接口时是怎么调用到 SQL 的?

Mybatis 是一个流行的 Java 持久层框架&#xff0c;它提供了一种半自动的 SQL 映射方式&#xff0c;允许开发者在 Java 代码中以一种更加直观和灵活的方式来操作数据库。当你使用 Mybatis 调用 DAO 接口时&#xff0c;背后的工作流程大致如下&#xff1a; 接口定义&#xff1a;…...

微信小程序毕业设计-微信食堂线上订餐系统项目开发实战(附源码+论文)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;微信小程序毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计…...

昂首资本实例使用价格行为策略,交易翻倍一点都不难

交易翻倍难吗&#xff1f;当Anzo Capital昂首资本使用价格行为策略进行交易时&#xff0c;发现一点都不难&#xff0c;以下是使用价格行为策略的实例分享&#xff1a; 1. 在初次交易信号出现时&#xff0c;推荐在1.00429价位入场&#xff0c;将止损设于1.04399&#xff0c;止盈…...

20240701 每日AI必读资讯

&#x1f3eb;AI真炼丹&#xff1a;整整14天&#xff0c;无需人类参与 - 英矽智能推出全球首个AI参与决策的生物学实验室&#xff0c;实现了14天内完成靶点发现和验证的全自动化闭环实验。 - 该实验室由PandaOmics平台驱动&#xff0c;集成多种预测模型和海量数据&#xff0…...

GPT-5 一年半后发布,对此你有何期待?

IT之家6月22日消息&#xff0c;在美国达特茅斯工程学院周四公布的采访中&#xff0c;OpenAI首席技术官米拉穆拉蒂被问及GPT-5是否会在明年发布&#xff0c;给出了肯定答案并表示将在一年半后发布。此外&#xff0c;穆拉蒂在采访中还把GPT-4到GPT-5的飞跃描述为高中生到博士生的…...

Redis学习——Redisson 分布式锁集成及其简单使用

文章目录 引言1. Redisson概述1.1 Redisson的基本概念1.2 Redisson的主要功能1.3 Redisson的优点 2. 开发环境3. Redisson的安装与配置3.1 添加依赖3.2 配置Redisson 4. 使用Redisson4.1 可重入锁4.1.1 可重入锁的概念4.1.2 可重入锁的实现原理4.1.3 简单使用锁的获取和释放 4.…...

08 - matlab m_map地学绘图工具基础函数 - 绘制线、图例、添加文字注释等函数

08 - matlab m_map地学绘图工具基础函数 - 绘制线、图例、添加文字注释等函数 0. 引言1. 关于m_line2. 关于m_quiver3. 关于m_text4. 关于m_plot5. 结语 0. 引言 本篇介绍下m_map中添加绘制基础线&#xff08;m_line、m_plot&#xff09;、绘制箭头&#xff08;m_quiver&#x…...

Luminar Neo 1.20.0 (macOS Universal) - 创新 AI 图像编辑器

Luminar Neo 1.20.0 (macOS Universal) - 创新 AI 图像编辑器 利用尖端的人工智能生成技术&#xff0c;轻松增强照片效果 请访问原文链接&#xff1a;https://sysin.org/blog/luminar-neo/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1…...

谈谈Flink消费kafka的偏移量

offset配置: flinkKafkaConsumer.setStartFromEarliest():从topic的最早offset位置开始处理数据&#xff0c;如果kafka中保存有消费者组的消费位置将被忽略。 flinkKafkaConsumer.setStartFromLatest():从topic的最新offset位置开始处理数据&#xff0c;如果kafka中保存有消费…...

MySQL 高级SQL高级语句(二)

一.CREATE VIEW 视图 可以被当作是虚拟表或存储查询。 视图跟表格的不同是&#xff0c;表格中有实际储存数据记录&#xff0c;而视图是建立在表格之上的一个架构&#xff0c;它本身并不实际储存数据记录。 临时表在用户退出或同数据库的连接断开后就自动消失了&#xff0c;而…...

MySQL之高可用性(四)

高可用性 故障转移和故障恢复 冗余是很好的技术&#xff0c;但实际上只有在遇到故障需要恢复时才会用到。(见鬼&#xff0c;这可以用备份来实现)。冗余一点儿也不会增加可用性或减少宕机。在故障转移的过程中&#xff0c;高可用性是建立在冗余的基础上。当有一个组件失效&…...

python中容易错误的知识点,仅仅针对于自己

dtype 参数在创建 NumPy ndarray 对象时用于指定数组元素的数据类型。 在 NumPy 中&#xff0c;直接使用 Python 列表即可创建 ndarray 对象&#xff0c;无需使用 list() 函数。 dtype 属性正确地表示了数组中元素的数据类型&#xff0c;所以描述没有错误。实际上&#xff0c…...

Mysql-SQL基础-通用语法与分类

SQL通用语法 SQL语句可以一行或多行书写&#xff0c;以分号作为结尾。 SQL语句可以使用空格、缩进来提高句子的可读性。 SQL语句不区分大小写&#xff0c;对于关键字建议使用大写。 单行注释&#xff1a; --或用#进行注释。 多行注释&#xff1a; /* 注释内容 */ SQL分类…...

基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务4:安装并配置JDK

任务描述 Hadoop 2.8需要JDK 1.6及以上版本的JDK&#xff0c;建议安装JDK 1.8&#xff0c;如果Cent OS是最小化安装&#xff0c;可能没有Open JDK&#xff0c;即使已经安装过Open JDK也可以使用JDK 1.8替换系统自带的Open JDK。 任务的内容为检查各个节点的JDK的安装情况&…...

【C++】map和set

目录 关联式容器 树形结构的关联式容器 set set的使用 map map的使用 multiset和multimap multiset multimap 关联式容器 在以前我们学到的vector/list/deque等容器&#xff0c;它们只是单纯存储数据&#xff0c;存储的数据和数据之间没什么关联&#xff0c;它们都属…...

【C++】相机标定源码笔记- RGB 相机与 ToF 深度传感器校准类

类的设计目标是为了实现 RGB 相机与 ToF 深度传感器之间的高精度校准&#xff0c;从而使两种类型的数据能够在同一个坐标框架内被整合使用。这在很多场景下都是非常有用的&#xff0c;比如在3D重建、增强现实、机器人导航等应用中&#xff0c;能够提供更丰富的场景信息。 -----…...

开启IT世界的第一步:高考新生的暑期学习指南

目录 前言 了解IT领域 学习编程语言 实践项目 学习资源 阅读专业书籍 培养良好的学习习惯 结语 最后 - 投票 前言 七月的钟声敲响&#xff0c;各省的高考分数已揭晓&#xff0c;意味着一段紧张而又充满奋斗的旅程画上了句号。然而&#xff0c;高考的结束并不意味…...

竞争问界M7?东风奕派eπ008将于6月上市

作为东风奕派品牌旗下的第二款量产车型,东风奕派eπ008定位中大型SUV,已在2024北京车展期间开启预售,预售价格为20万-25万元。而日前笔者从相关渠道获悉,东风奕派eπ008将于今年6月完成上市。结合实车图来看,东风奕派eπ008拥有宽大饱满的车头造型,同时前包围两侧集成熏黑…...

滔搏与FanaticsChina宣布开启合作进程,发力大中华区体育IP市

记者从总部位于上海的中国最大运动零售运营商滔搏获悉,其与全球领先的授权体育用品数字化平台Fanatics开启合作,共同拓展Fanatics旗下特许体育IP在大中华区的商业化运营。Fanatics除了与众多风靡全球的体育IP有着深度的合作伙伴关系外,也拥有知名的运动品牌与零售品牌,其业…...

新车凯美瑞买什么配置性价比最高,全新第九代:B级车市场新标杆

全新凯美瑞买什么配置性价比最高**广汽丰田第九代凯美瑞:B级车市场的璀璨明星**3月30日,广汽丰田第九代凯美瑞震撼上市,以其卓越的智能电混技术、智能座舱、智驾安全及无与伦比的驾乘质感,重新定义了中高级轿车市场的标杆。这款车型不仅价格亲民,介于17.18万元至20.68万元之…...

C# 数组/集合排序

一&#xff1a;基础类型集合排序 /// <summary> /// 排序 /// </summary> /// <param name"isReverse">顺序是否取反</param> public static void Sort<T>(this IList<T> array, bool isReverse false)where T : IComparable …...

赎金信-力扣

这道题想到的解法是使用一个哈希表来存储magazine里每个字符出现的次数&#xff0c;然后遍历ransomNote&#xff0c;出现对应的字母则哈希表中对应的值减一&#xff0c;当查找不到某个字符&#xff0c;或者某个字符的值小于0时&#xff0c;则返回false。代码如下&#xff1a; …...

[Leetcode LCR 106.判断二分图]

LCR 106. 判断二分图 - 力扣&#xff08;LeetCode&#xff09; 超时代码&#xff1a; class Solution {public:int work1[110] {0};int work2[110] {0};bool divide(vector<vector<int>>& graph, int n){bool judge false;if(n > graph.size()){for(in…...