当前位置： 首页 > news >正文

特征工程——一门提高机器学习性能的艺术

news 文章来源：https://blog.csdn.net/qinghuawenkang/article/details/142653458 2024/11/17 3:41:11

当前围绕人工智能(AI)和机器学习(ML)展开的许多讨论以模型为中心，聚焦于 ML和深度学习(DL)的最新进展。这种模型优先的方法往往对用于训练这些模型的数据关注不足，甚至完全忽视。类似MLOps的领域正迅速发展，通过系统性地训练和利用ML模型，尽量减少人为干预，以“释放”工程师的时间。

许多知名的 AI专家正在敦促数据科学家更关注以数据为中心的机器学习视角，而不是过于关注模型选择和超参数调整过程。这种视角更侧重于提高我们所摄取并用于训练模型的数据质量。

Andrew Ng曾公开表示:“机器学习基本上就是特征工程”，我们需要更加倾向于以数据为中心的方法。我们应该将注意力集中在机器学习流程中最需要细致和谨慎考虑的部分:特征工程。

通过“特征工程”技术，可优化训练数据，提升机器学习流程的输出效果！“特征工程”基于现有数据设计相关的输入变量，由此简化训练过程，增强模型性能。调整超参数或模型的效果都不如特征工程；特征工程通过改变数据流程，大幅提升了性能。 

《特征工程训练营》将列举6个实践项目，引导你利用特征工程优化训练数据。每章探讨一个代码驱动的新案例，涉及金融、医疗等行业。你将学会清洗和转换数据，减轻偏见。本书呈现各种性能提升技巧，涵盖从自然语言处理到时间序列分析等所有主要机器学习子领域。

本书主要内容 ：

● 识别和实现特征转换
● 用非结构化数据构建ML(机器学习)流程
● 量化并尽量避免ML流程中的偏见
● 使用特征存储构建实时ML流程
● 通过操纵输入数据来增强现有ML流程

相关文章：

特征工程——一门提高机器学习性能的艺术

当前围绕人工智能(AI)和机器学习(ML)展开的许多讨论以模型为中心，聚焦于 ML和深度学习(DL)的最新进展。这种模型优先的方法往往对用于训练这些模型的数据关注不足，甚至完全忽视。类似MLOps的领域正迅速发展，通过系统性地训练和利用ML模型&…...

编程日记 2024/10/1 20:01:40

Paper解读：工作场所人机协作的团队形成：促进组织变革的目标编程模型

人工智能（AI）具有降低运营成本、提高效率和改善客户体验的潜力。 因此，在组织中组建项目团队至关重要，这样他们就会在决策过程中欢迎人工智能。 当前的技术革命要求公司快速变革，并增加了对团队在促进创新采用方面的作…...

编程日记 2024/10/1 19:55:33

图文深入理解Oracle Network配置管理（一）

List item 本篇图文深入介绍Oracle Network配置管理。 Oracle Network概述 Oracle Net 服务 Oracle Net 监听程序 <oracle_home>/network/admin/listener.ora <oracle_home>/network/admin/sqlnet.ora建立网络连接 要建立客户机或中间层连接&#xff0c;Oracle…...

编程日记 2024/10/1 19:54:31

leetcode-链表篇3

leetcode-61 给你一个链表的头节点 head &#xff0c;旋转链表&#xff0c;将链表每个节点向右移动 k 个位置。 示例 1&#xff1a; 输入&#xff1a;head [1,2,3,4,5], k 2 输出&#xff1a;[4,5,1,2,3]示例 2&#xff1a; 输入&#xff1a;head [0,1,2], k 4 输出&#x…...

编程日记 2024/10/1 19:49:25

RAG（Retrieval Augmented Generation）及衍生框架：CRAG、Self-RAG与HyDe的深入探讨

近年来&#xff0c;随着大型语言模型&#xff08;LLMs&#xff09;的迅猛发展&#xff0c;我们在寻求更精确、更可靠的语言生成能力上取得了显著进展。其中&#xff0c;检索增强生成&#xff08;Retrieval-Augmented Generation&#xff09;作为一种创新方法&#xff0c;极大地…...

编程日记 2024/10/1 19:43:20

C语言介绍

什么是C语言 C programing language 能干什么 Hello world&#xff1f; 如何学C语言 no reading no learning...

编程日记 2024/10/1 19:42:19

损失函数篇 | YOLOv10 更换损失函数之 MPDIoU | 《2023 一种用于高效准确的边界框回归的损失函数》

论文地址：https://arxiv.org/pdf/2307.07662v1.pdf 边界框回归（Bounding Box Regression，BBR）在目标检测和实例分割中得到了广泛应用，是目标定位的重要步骤。然而，对于边界框回归的大多数现有损失函数来说，当预测的边界框与真值边界框具有相同的长宽比，但宽度和高度的…...

编程日记 2024/10/1 19:40:17

WMware安装WMware Tools（Linux~Ubuntu）

1、这里终端里面输入sudo apt upgrade用于更新最新的包 sudo apt upgrade 2、安装 open-vm-tools-desktop 包&#xff0c; Ps&#xff1a;这里是以为我已经安装好了。 udo apt install open-vm-tools-desktop -y3、最后重启就大功告成了 reboot 4、测试是否成功&#xff1a…...

编程日记 2024/10/1 19:38:15

SLAM ORB-SLAM2（30）关键帧跟踪

SLAM ORB-SLAM2（30）关键帧跟踪 1. 关键帧跟踪2. TrackReferenceKeyFrame2.1. 将当前普通帧的描述子转化为BoW向量2.2. 通过词袋BoW加速当前帧与参考帧之间的特征点匹配2.3. 将上一帧的位姿态作为当前帧位姿的初始值2.4. 通过优化3D-2D的重投影误差来获得位姿2.5. 剔除优化后的…...

编程日记 2024/10/1 19:37:14

k8s 部署 prometheus

创建namespace prometheus-namespace.yaml apiVersion: v1 kind: Namespace metadata:name: ns-prometheus拉取镜像 docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/quay.io/prometheus/prometheus:v2.54.0prometheus配置文件configmap prometheus-configmap.yaml …...

编程日记 2024/10/1 19:36:13

使用VBA快速生成Excel工作表非连续列图片快照

Excel中示例数据如下图所示。 现在需要拷贝A2:A15,D2:D15,J2:J15,L2:L15,R2:R15为图片&#xff0c;然后粘贴到A18单元格&#xff0c;如下图所示。 大家都知道VBA中Range对象有CopyPicture方法可以拷贝为图片&#xff0c;但是如果Range对象为非连续区域&#xff0c;那么将产生10…...

编程日记 2024/10/1 19:35:12

解决GitHub下载速度慢

解决GitHub下载速度慢 方法一&#xff1a;使用git clone 地址 --depth 1来下载 depth 1 表示只科隆最新的一次提交&#xff0c;也就是默认主分支&#xff0c;而不是完整地克隆整个代码仓库&#xff0c;这样可以减少下载地数据&#xff0c;加快克隆操作 可以用git clone 地址 …...

编程日记 2024/10/1 19:34:11

【机器学习(五)】分类和回归任务-AdaBoost算法

文章目录 一、算法概念一、算法原理&#xff08;一&#xff09;分类算法基本思路1、训练集和权重初始化2、弱分类器的加权误差3、弱分类器的权重4、Adaboost 分类损失函数5、样本权重更新6、AdaBoost 的强分类器 &#xff08;二&#xff09;回归算法基本思路1、最大误差的计算2…...

编程日记 2024/10/1 19:32:09

【设计模式-模板】

定义 模板方法模式是一种行为设计模式&#xff0c;它在一个方法中定义了一个算法的骨架&#xff0c;并将一些步骤延迟到子类中实现。通过这种方式&#xff0c;模板方法允许子类在不改变算法结构的情况下重新定义算法中的某些特定步骤。 UML图 组成角色 AbstractClass&#x…...

编程日记 2024/10/1 19:30:08

小程序原生-列表渲染

1. 列表渲染的基础用法 <!--渲染数组列表--> <view wx:for"{{numList}}" wx:key"*this" > 序号&#xff1a;{{index}} - 元素&#xff1a;{{item}}</view> <!--渲染对象属性--> <view wx:for"{{userInfo}}" wx:key&q…...

编程日记 2024/10/1 19:29:07

JAVA认识异常

目录 1. 异常的概念与体系结构 1.1 异常的概念 1. 算术异常 2. 数组越界异常 3. 空指针异常 1.2 异常的分类 1. 编译时异常 2. 运行时异常 2.1 异常的处理 防御式编程 2.2 异常的捕获 2.3.1 异常声明throws 2.3.2 try-catch捕获并处理 2.3.3 finally 总结 1. 异常…...

编程日记 2024/10/1 19:28:06

2024年10月计划（工作为主，Ue5独立游戏为辅，）

我发现一点&#xff0c;就是工作很忙&#xff0c;比如中秋也在远程加班&#xff0c;周末有时也远程加班&#xff0c;国庆节甚至也差点去甲方工作。甚至有可能驻场。可见&#xff0c;小公司确实不能去。 好在&#xff0c;9月份时&#xff0c;通过渲染 除了上班时间外&#xff0…...

编程日记 2024/10/1 19:27:01

并发、并行和异步设计

译者个人领悟,一家之言: 并发和并行确实可以明确区分出来,因为cpu的速度非常快,在执行一个任务时经常要等其他组件,比如网络,磁盘等,如果一直串行等待这样就会造成很大的浪费. (就类似于烧水的同时,可以切菜,不用等烧水完成了才去切菜,我可以烧一会水,火生起来了水壶放上了,随…...

编程日记 2024/10/1 19:26:00

求职Leetcode题目（12）

1.只出现一次的数字 异或运算满足交换律 a⊕bb⊕a &#xff0c;即以上运算结果与 nums 的元素顺序无关。代码如下&#xff1a; class Solution {public int singleNumber(int[] nums) {int ans 0;for(int num:nums){ans^num;}return ans;} } 2.只出现一次的数字II 这是今天滴…...

编程日记 2024/10/1 19:23:57

【YashanDB知识库】如何配置jdbc驱动使getDatabaseProductName()返回Oracle

本文转自YashanDB官网&#xff0c;具体内容请见https://www.yashandb.com/newsinfo/7352676.html?templateId1718516 问题现象 某些三方件&#xff0c;例如 工作流引擎activiti&#xff0c;暂未适配yashandb&#xff0c;使用中会出现如下异常&#xff1a; 问题的风险及影响 …...

编程日记 2024/10/1 19:22:55

Hadoop三大组件之MapReduce（一）

Hadoop之MapReduce 1. MapReduce是什么 MapReduce是一个分布式运算程序的编程框架&#xff0c;旨在帮助用户开发基于Hadoop的数据分析应用。它的核心功能是将用户编写的业务逻辑代码与自带的默认组件整合&#xff0c;形成一个完整的分布式运算程序&#xff0c;并并发运行在一…...

编程日记 2024/10/1 19:21:53

SQL Server 分页查询的学习文章

SQL Server 分页查询的学习文章 一、SQL Server 分页查询1. 什么是分页查询&#xff1f;2. SQL Server 的分页查询方法2.1 使用 OFFSET 和 FETCH NEXT语法&#xff1a;示例&#xff1a; 2.2 使用 ROW_NUMBER() 方法语法&#xff1a;示例&#xff1a; 2.3 性能考虑3. 总结 一、S…...

编程日记 2024/10/1 19:20:52

告别PDF大文件困扰！4款PDF在线压缩工具助你轻松优化！

嘿&#xff0c;档案员小伙伴们&#xff0c;今天咱们来聊聊那些让咱们在档案堆里游刃有余的神器。这些工具啊&#xff0c;简直就是咱们档案员的得力助手&#xff0c;特别是在PDF压缩这块儿&#xff0c;简直就是神器中的神器&#xff01; 1、福昕转换大师 网址&#xff1a;http…...

编程日记 2024/10/1 19:19:51

Find My汽车钥匙|苹果Find My技术与钥匙结合，智能防丢，全球定位

随着科技的发展&#xff0c;传统汽车钥匙向智能车钥匙发展&#xff0c;智能车钥匙是一种采用先进技术打造的汽车钥匙&#xff0c;它通过无线控制技术来实现对车门、后备箱和油箱盖等部件的远程控制。智能车钥匙的出现&#xff0c;不仅提升了汽车的安全性能&#xff0c;同时也让…...

编程日记 2024/10/1 19:18:50

mysql学习教程，从入门到精通，SQL UNION 运算符（27）

1、SQL UNION 运算符 UNION 运算符在 SQL 中用于合并两个或多个 SELECT 语句的结果集&#xff0c;并默认去除重复的行。如果你想要包含所有重复行&#xff0c;可以使用 UNION ALL。下面是一个使用 UNION 运算符的示例&#xff0c;假设我们有两个表&#xff1a;employees_2020 …...

编程日记 2024/10/1 19:15:47

PKCE3-PKCE实现(SpringBoot3.0)

在 Spring Boot 3.0 JDK 17 的环境下&#xff0c;实现 PKCE 认证的核心步骤包括&#xff1a; 1&#xff09;引入依赖&#xff1a;使用 Spring Security OAuth 2.0 客户端进行授权码流程。 2&#xff09;配置 OAuth 2.0 客户端&#xff1a;在 Spring Boot 中配置 OAuth 2.0 客…...

编程日记 2024/10/1 19:14:46

C++详解vector

目录 构造和拷贝构造 赋值运算符重载&#xff1a; vector的编辑函数&#xff1a; assign函数&#xff1a; push_back和pop_back函数&#xff1a; insert函数&#xff1a; erase函数&#xff1a; swap函数&#xff1a; clear函数&#xff1a; begin函数&#xff1a; e…...

编程日记 2024/10/1 19:10:44

Redis实战--Redis的数据持久化与搭建Redis主从复制模式和搭建Redis的哨兵模式

Redis作为一个高性能的key-value数据库&#xff0c;广泛应用于缓存、消息队列、排行榜等场景。然而&#xff0c;Redis是基于内存的数据库&#xff0c;这意味着一旦服务器宕机&#xff0c;内存中的数据就会丢失。为了解决这个问题&#xff0c;Redis提供了数据持久化的机制&#…...

编程日记 2024/10/1 19:08:41

World of Warcraft [CLASSIC] Engineering 421-440

工程学421-440 World of Warcraft [CLASSIC] Engineering 335-420_魔兽世界宗师级工程学需要多少点-CSDN博客 【萨隆邪铁锭】421-425 学习新技能&#xff0c;其他都不划算&#xff0c;只能做太阳瞄准镜 【太阳瞄准镜】426、427、428、429 【随身邮箱】430 这个基本要做的&am…...

编程日记 2024/10/1 19:07:41

VUE3.5版本解读

官网&#xff1a;Announcing Vue 3.5 | The Vue Point 2024年9月1日&#xff0c;宣布 Vue 3.5“天元突破&#xff1a;红莲螺岩”发布&#xff01; 反应系统优化 在 3.5 中&#xff0c;Vue 的反应系统经历了另一次重大重构&#xff0c;在行为没有变化的情况下实现了更好的性能…...

编程日记 2024/10/1 19:06:39

wordpress什么是分页/网络营销渠道名词解释

apt-get remove wineapt-get remove wine-binrm -rf /root/.wine/ 转载于:https://www.cnblogs.com/dzxs/p/dzxsly.html...

编程日记 2024/11/16 23:38:33

做网站 分工/全网推广平台推荐

1.基于贫血模型的传统开发模式 // BO&#xff0c;不包含业务逻辑 // 虚拟钱包 public class VirtualWalletBo {// 省略 getter/setter/constructor 方法 private Long id; private Long createTime; private BigDecimal balance; }// Service public class VirtualWalletSer…...

编程日记 2024/11/16 23:10:23

商业网站服务/搜狗seo排名软件

/* 在BC31下编译 */ /* compile under Borland C 3.1 *//* 对四则混合运算所提取的形式化表达式(生成式) <exp> -> <term> { <addop> <term> } <addop> -> | - <term> -> <factor> { <mulop> <factor> } <…...

编程日记 2024/11/16 18:30:18

怎么在网站做推广/网站加速器

Redis有自己的内存分配器&#xff0c;当key-value对象被移除时&#xff0c;Redis不会马上向操作系统释放其占用内存。redis之所以这样的设计有两个原因。 OS可能会将释放内存交换到虚拟内存&#xff0c;但OS的虚拟内存又是物理文件&#xff0c;其IO读写效率较低&#xff0c;从而…...

编程日记 2024/11/16 15:59:01

网站dns解析失败/代推广app下载

文章目录 本课题的研究内容：探地雷达原理探地雷达图像预处理图像倾斜矫正均值法去背景原理与实现图像分割技术阈值分割技术的实现腐蚀与膨胀技术探地雷达杂波抑制研究与实现探地雷达合成孔径成像探地雷达目标识别总结本文为论文解读，为2008年发布的基于传统图像处理与识别论文…...

编程日记 2024/11/16 14:17:45

浙江做网站多少钱/大众网潍坊疫情

来源&#xff1a;https://s.yam.com/w6mfR一、注解(annotations)列表SpringBootApplication&#xff1a; 包含了ComponentScan、Configuration和EnableAutoConfiguration注解。其中ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。Configuration 等同…...

编程日记 2024/11/16 6:58:07