当前位置: 首页 > news >正文

内蒙古网站建设流程/seo排名优化教学

内蒙古网站建设流程,seo排名优化教学,做外贸可以在哪些网站注册,闵行区做网站公司什么是直方图算法? 直方图算法是一种优化决策树分裂点搜索效率的算法,被广泛应用于像 LightGBM 和 XGBoost 这样的梯度提升决策树框架中。其核心思想是通过将连续特征的取值范围离散化为有限的区间(称为 bins),在这些…

什么是直方图算法?

直方图算法是一种优化决策树分裂点搜索效率的算法,被广泛应用于像 LightGBMXGBoost 这样的梯度提升决策树框架中。其核心思想是通过将连续特征的取值范围离散化为有限的区间(称为 bins),在这些区间上计算统计量以确定最佳分裂点。


直方图算法的核心流程

  1. 特征值离散化(分桶化):

    • 连续特征被分为固定数量的区间(bins),每个区间表示一段范围内的值。
    • 例如,将一个特征值的范围 [ 0 , 100 ] [0, 100] [0,100] 划分为 10 个区间,每个区间的大小是 10,那么特征值 x = 15 x=15 x=15 将被映射到区间 [ 10 , 20 ] [10, 20] [10,20] 对应的 bin。
  2. 构建直方图:

    • 在每轮训练中,遍历样本数据,为每个 bin 累计对应的梯度和统计量(如样本权重、样本数量等)。
    • 例如:
      • Bin 1:梯度和 G 1 G_1 G1,样本数量 N 1 N_1 N1
      • Bin 2:梯度和 G 2 G_2 G2,样本数量 N 2 N_2 N2
  3. 计算分裂增益:

    • 遍历直方图中的每个分裂点,基于直方图统计量(如梯度和、样本权重)计算分裂增益。
    • 常用公式(以均方误差为例):
      Gain = G left 2 H left + G right 2 H right − G total 2 H total \text{Gain} = \frac{G_\text{left}^2}{H_\text{left}} + \frac{G_\text{right}^2}{H_\text{right}} - \frac{G_\text{total}^2}{H_\text{total}} Gain=HleftGleft2+HrightGright2HtotalGtotal2
      其中:
      • G left G_\text{left} Gleft G right G_\text{right} Gright:左、右子节点的梯度和;
      • H left H_\text{left} Hleft H right H_\text{right} Hright:左、右子节点的二阶导数和(Hessian)。
  4. 选择最佳分裂点:

    • 根据分裂增益选择直方图中使增益最大的分裂点。

为什么使用直方图算法?

直方图算法的目标是加速分裂点搜索过程,特别是在大规模数据和高维特征场景下。以下是使用直方图算法的原因:

  1. 时间复杂度降低:

    • 传统分裂点搜索:对每个特征值进行排序,并在排序后的值之间计算增益,时间复杂度为 O ( n log ⁡ n ) O(n \log n) O(nlogn)
    • 直方图算法:通过分桶,每个特征的分裂点搜索复杂度仅为 O ( k ) O(k) O(k),其中 k k k 是 bin 的数量,通常远小于样本数 n n n
  2. 内存效率提高:

    • 连续特征被映射为离散的整数(bin 索引),内存占用显著降低。
    • 离散化后的统计量只需在固定数量的 bin 上累加,而不是存储每个样本的原始值。
  3. 支持稀疏特征:

    • 对于稀疏特征(如文本特征的TF-IDF矩阵),直方图算法可以高效处理零值分布。
  4. 易于并行化:

    • 直方图算法天然适合并行化。多个特征的直方图可以独立构建,特征的分裂点选择也可以并行化完成。

直方图算法的特点

  1. 快速性:

    • 特征值离散化后,分裂点搜索在离散的 bin 空间进行,计算复杂度大幅降低。
  2. 精度折衷:

    • 离散化会导致信息损失(如分裂点的精度降低),但通常通过增加 bin 的数量可以减轻这一问题。
    • 默认 bin 数量通常为 256,兼顾了效率与性能。
  3. 增量更新机制:

    • 在树的增量构建过程中,直方图可以高效地从父节点继承统计量,并根据样本分配情况快速更新,避免重复计算。

直方图算法的改进(以LightGBM为例)

  1. 单树共享直方图:

    • 在同一棵树的构建过程中,叶子节点之间共享直方图,减少重复构建带来的额外开销。
  2. 区间剪枝:

    • 在特征分裂时,LightGBM会通过前序剪枝技术限制分裂搜索的区间,进一步提高效率。
  3. 稀疏直方图优化:

    • 对于稀疏数据,LightGBM只对非零值部分的 bin 进行统计,加速计算。

直方图算法的数学直观

假设某特征的连续取值范围为 [ 0 , 100 ] [0, 100] [0,100],包含 1,000,000 个样本。传统算法需要对这 1,000,000 个样本排序,计算分裂点。而直方图算法将其划分为 256 个 bins,每个 bin 的范围是 [ i × 0.39 , ( i + 1 ) × 0.39 ] [i \times 0.39, (i+1) \times 0.39] [i×0.39,(i+1)×0.39](0.39 是 100 / 256 100/256 100/256)。

  • 传统方法:

    • 遍历每个样本点可能的分裂点,计算增益。
    • 时间复杂度为 O ( n log ⁡ n ) O(n \log n) O(nlogn)
  • 直方图方法:

    • 每个样本点被映射到对应的 bin 索引。
    • 在 256 个 bins 中搜索最佳分裂点,时间复杂度为 O ( k ) O(k) O(k)

最终,直方图算法实现了计算时间与内存使用的显著优化,同时保持了模型性能。

相关文章:

什么是直方图算法

什么是直方图算法? 直方图算法是一种优化决策树分裂点搜索效率的算法,被广泛应用于像 LightGBM 和 XGBoost 这样的梯度提升决策树框架中。其核心思想是通过将连续特征的取值范围离散化为有限的区间(称为 bins),在这些…...

pg_dump -Fc 导出的自定义格式数据库文件 相关操作

实例 将 test.dmp 文件转换为普通SQL内容, 并打印到屏幕 pg_restore -U postgres -Fc -f - test.dump将 test.dmp 文件转换为普通SQL内容, 并输出到 test.sql 文件中 pg_restore -U postgres -Fc -f test.sql -v test.dump备份得到自定义格式的数据库文件(dmp) pg_dump -U…...

Oh My Posh安装

nullSet up your terminalhttps://ohmyposh.dev/docs/installation/windows Git ee oh-my-posh: Windows上的oh-my-zsh,源地址 https://github.com/JanDeDobbeleer/oh-my-posh.git (gitee.com)https://gitee.com/efluent/oh-my-posh...

Node.js——fs模块-文件夹操作

1、借助Node.js的能力,我们可以对文件夹进行创建、读取、删除等操作 2、方法 方法 说明 mkdir/mkdirSync 创建文件夹 readdir/readdirSync 读取文件夹 rmdir/rmdirSync 删除文件夹 3、语法 其余的方法语法类似 本文的分享到此结束,欢迎大家评论区…...

15分钟学 Go 实战项目三 : 实时聊天室(学习WebSocket并发处理)

实时聊天室:学习WebSocket并发处理 目标概述 在本项目中,我们将创建一个实时聊天室,使用Go语言和WebSocket来处理并发消息交流。这将帮助你深入理解WebSocket协议的工作原理以及如何在Go中实现并发处理。 1. 项目需求 功能需求 用户可以…...

架构评估的方法

三种评估方法※ 第一是基于问卷(检查表)的方式,通过问卷调查对系统比较熟悉的相关人员,这种方式主观性很强。 专家问卷评估、用户问卷评估、内部团队问卷评估 第二是基于度量的方式,对系统指标完全量化,基于量化指标评价系统,这种方式需要评估者对系统非常熟悉。 软件质…...

羲和数据集收集器1.0

为了提升问答对的提取能力并完善GUI,我们从以下几个方面进行改进: 增强文本清理和解析能力:确保能够更准确地识别问答对。 支持更多文件格式:除了现有的 .txt, .docx, 和 .pdf,可以考虑支持其他常见格式如 .xlsx 等。 优化GUI设计:提供更友好的用户界面,包括进度条、日…...

ENSP OSPF和BGP引入

路由协议分为:内部网关协议和外部网关协议。内部网关协议用于自治系统内部的路由,包括:RIP和OSPF。外部网关协议用于自治系统之间的路由,包括BGP。内部网关协议和外部网关协议配合来共同完成网络的路由。 BGP:边界网关路由协议(b…...

软件工程 软考

开发大型软件系统适用螺旋模型或者RUP模型 螺旋模型强调了风险分析,特别适用于庞大而复杂的、高风险的管理信息系统的开发。喷泉模型是一种以用户需求为动力,以对象为为驱动的模型,主要用于描述面向对象的软件开发过程。该模型的各个阶段没有…...

证书学习(六)TSA 时间戳服务器原理 + 7 个免费时间戳服务器地址

目录 一、简介1.1 什么是时间戳服务器1.2 名词扩展1.3 用时间戳标记顺序1.4 7 个免费TSA时间戳服务器地址(亲测可用)1.5 RFC 3161 标准二、时间戳原理2.1 时间戳服务工作流程2.2 验证工作流程2.3 举个例子2.4 时间戳原理总结三、代码实现3.1 curl 命令请求时间戳3.2 java 代码…...

NVR设备ONVIF接入平台EasyCVR私有化部署视频平台如何安装欧拉OpenEuler 20.3 MySQL

在当今数字化时代,安防视频监控系统已成为保障公共安全和个人财产安全的重要工具。NVR设备ONVIF接入平台EasyCVR作为一款功能强大的智能视频监控管理平台,它不仅提供了视频远程监控、录像、存储与回放等基础功能,还涵盖了视频转码、视频快照、…...

c中柔性数组

c99中,结构中最后一个元素允许是未知大小的数组,这就叫柔性数组成员。 柔性数组的特点 1.结构中柔性数组前必须至少有一个其他成员 2.sizeof返回的这种结构大小不包括柔性数组的内存 3.包含柔性数组成员的结构用malloc函数进行动态分配,并…...

图像信号处理器(ISP,Image Signal Processor)详解

简介:个人学习分享,如有错误,欢迎批评指正。 图像信号处理器(ISP,Image Signal Processor) 是专门用于处理图像信号的硬件或处理单元,广泛应用于图像传感器(如 CMOS 或 CCD 传感器&a…...

越权访问漏洞

V2Board Admin.php 越权访问漏洞 ## 漏洞描述 V2board面板 Admin.php 存在越权访问漏洞,由于部分鉴权代码于v1.6.1版本进行了修改,鉴权方式变为从Redis中获取缓存判定是否存在可以调用… V2Board Admin.php 越权访问漏洞 漏洞描述 V2board面板 Admin.ph…...

【Ant.designpro】上传图片

文章目录 一、前端二、后端 一、前端 fieldProps:可以监听并且获取到组件输入的内容 action{“/api/upload_image”} 直接调用后端接口 <ProFormUploadButtonlabel{"上传手续图片"}name{"imgs"}action{"/api/upload_image"}max{5} fieldPro…...

为何选择Spring AI Alibaba开发智能客服平台?

0 前言 本文来看如何使用Spring AI Alibaba构建Agent应用。 1 需求 智能客服平台&#xff0c;可帮助用户完成机票预定、问题解答、机票改签、取消等动作&#xff0c;具体要求&#xff1a; 基于 AI 大模型与用户对话&#xff0c;理解用户自然语言表达的需求支持多轮连续对话…...

HiveSQL 中判断字段是否包含某个值的方法

HiveSQL 中判断字段是否包含某个值的方法 在 HiveSQL 中&#xff0c;有时我们需要判断一个字段是否包含某个特定的值。下面将介绍几种常用的方法来实现这个功能。 一、创建示例表并插入数据 首先&#xff0c;我们创建一个名为employee的表&#xff0c;并插入一些示例数据&am…...

Nginx简易配置将内网网站ssh转发到外网

声明&#xff1a;本内容仅供交流学习使用&#xff0c;部署网站上线还需要根据有关规定申请域名以及备案。 背景 在内网的服务器有一个运行的网页&#xff0c;现使用ssh反向代理&#xff0c;将它转发到外网的服务器。 但是外网的访问ip会被ssh反向代理拦截 所以使用Nginx进行…...

【go从零单排】error错误处理及封装

&#x1f308;Don’t worry , just coding! 内耗与overthinking只会削弱你的精力&#xff0c;虚度你的光阴&#xff0c;每天迈出一小步&#xff0c;回头时发现已经走了很远。 &#x1f4d7;概念 在 Go 语言中&#xff0c;error 是一个内置的接口类型&#xff0c;用于表示错误情…...

全平台设置jetbrains mono字体

相信大家都用过IDEA&#xff0c;推荐使用开发字体&#xff1a;jetbrains mono 本地下载的位置&#xff08;记一下&#xff09;后续需要打开安装 本地下载的&#xff1a;E:\download\font\jetbrainsmono\JetBrainsMono-2.304\fonts\ttf 官网上下载&#xff1a;https://www.jetbr…...

高校体育场管理系统+ssm

摘 要 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;高校体育场管理系统被用户普遍使用&#xff0c;为方便用户…...

Python学习从0到1 day27 第三阶段 Spark ② 数据计算Ⅰ

人总是会执着于失去的&#xff0c;而又不珍惜现在所拥有的 —— 24.11.9 一、map方法 PySpark的数据计算&#xff0c;都是基于RDD对象来进行的&#xff0c;采用依赖进行&#xff0c;RDD对象内置丰富的成员方法&#xff08;算子&#xff09; map算子 功能&#xff1a;map算子…...

Python学习从0到1 day27 第三阶段 Spark ③ 数据计算 Ⅱ

目录 一、Filter方法 功能 语法 代码 总结 filter算子 二、distinct方法 功能 语法 代码 总结 distinct算子 三、SortBy方法 功能 语法 代码 总结 sortBy算子 四、数据计算练习 需求&#xff1a; 解答 总结 去重函数&#xff1a; 过滤函数&#xff1a; 转换函数&#xff1a; 排…...

腾讯混元3D模型Hunyuan3D-1.0部署与推理优化指南

腾讯混元3D模型Hunyuan3D-1.0部署与推理优化指南 摘要&#xff1a; 本文将详细介绍如何部署腾讯混元3D模型Hunyuan3D-1.0&#xff0c;并针对不同硬件配置提供优化的推理方案。我们将探讨如何在有限的GPU内存下&#xff0c;通过调整配置来优化模型的推理性能。 1. 项目概览 腾…...

基于 PyTorch 从零手搓一个GPT Transformer 对话大模型

一、从零手实现 GPT Transformer 模型架构 近年来&#xff0c;大模型的发展势头迅猛&#xff0c;成为了人工智能领域的研究热点。大模型以其强大的语言理解和生成能力&#xff0c;在自然语言处理、机器翻译、文本生成等多个领域取得了显著的成果。但这些都离不开其背后的核心架…...

IDEA构建JavaWeb项目,并通过Tomcat成功运行

目录 一、Tomcat简介 二、Tomcat安装步骤 1.选择分支下载 2.点击下载zip安装包 3.解压到没有中文、空格和特殊字符的目录下 4.双击bin目录下的startup.bat脚本启动Tomcat 5.浏览器访问Tomcat 6.关闭Tomcat服务器 三、Tomcat目录介绍 四、WEB项目的标准结构 五、WEB…...

Mac解决 zsh: command not found: ll

Mac解决 zsh: command not found: ll 文章目录 Mac解决 zsh: command not found: ll解决方法 解决方法 1.打开bash_profile 配置文件vim ~/.bash_profile2.在文件中添加配置&#xff1a;alias llls -alF键盘按下 I 键进入编辑模式3. alias llls -alF添加完配置后&#xff0c;按…...

库打包工具 rollup

库打包工具 rollup 摘要 **概念&#xff1a;**rollup是一个模块化的打包工具 注&#xff1a;实际应用中&#xff0c;rollup更多是一个库打包工具 与Webpack的区别&#xff1a; 文件处理&#xff1a; rollup 更多专注于 JS 代码&#xff0c;并针对 ES Module 进行打包webpa…...

unplugin-vue-components 库作用

一、基本概念与用途 1. 自动导入 Vue 组件 unplugin - vue - components是一个用于 Vue 项目的插件&#xff0c;主要功能是自动导入组件&#xff0c;从而减少在 Vue 组件中手动导入其他组件的繁琐过程。 在大型 Vue 项目中&#xff0c;往往会有许多自定义组件或者第三方组件…...

LinkedList和单双链表。

java中提供了双向链表的动态数据结构 --- LinkedList&#xff0c;它同时也实现了List接口&#xff0c;可以当作普通的列表来使用。也可以自定义实现链表。 单向链表&#xff1a;一个节点本节点数据下个节点地址 给定两个有序链表的头指针head1和head2&#xff0c;打印两个链表…...