【机器学习】数据清洗之处理缺失点
🎈个人主页:甜美的江
🎉欢迎 👍点赞✍评论⭐收藏
🤗收录专栏:机器学习
🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共同学习、交流进步!
数据清洗之处理缺失点
- 一 删除缺失值:
- 1.1 删除行:
- 1.2 删除列:
- 1.3 阈值删除:
- 1.4条件删除:
- 1.5 特定列删除:
- 二 插值法
- 2.1 线性插值:
- 2.2 多项式插值:
- 2.3 样条插值:
- 2.4 Kriging插值:
- 2.5 基于机器学习的方法:
- 三 填充法
- 3.1 均值(Mean)填充:
- 3.2 中位数(Median)填充:
- 3.3 众数(Mode)填充:
- 3.4 最近邻填充(Nearest Neighbor Imputation):
- 3.5 回归模型填充:
- 3.6 随机抽样填充:
- 3.7 插值法填充:
- 3.8 利用业务规则填充:
- 四 三种方法的优缺点及适用场景
- 4.1 删除法:
- 4.2 插值法:
- 4.3 填充法:
- 五 总结:
引言:
在机器学习领域,数据被广泛认为是驱动模型性能的关键。然而,在真实世界的数据中,缺失值是一个不可避免的问题,可能来自于测量错误、系统故障或其他未知因素。正确而有效地处理这些缺失值对于确保数据质量和模型的准确性至关重要。
本文将深入探讨数据清洗中一项关键任务:处理缺失点。我们将介绍不同的方法,涵盖从删除缺失值到插值法和填充法的多个层面,以帮助您更好地理解在不同场景下如何处理缺失值。
一 删除缺失值:
在数据清洗过程中,处理缺失值的方法之一是删除缺失值。这种方法适用于缺失值数量较少或者缺失值对于分析任务的影响较小的情况。以下是详细介绍删除缺失值的方法:
1.1 删除行:
最简单的方法是直接删除包含缺失值的行。这种方法适用于数据集中缺失值较少,删除缺失值后仍然保留足够的数据用于分析的情况。
示例代码:
import pandas as pd# 创建一个示例DataFrame
data = pd.DataFrame({'A': [1, 2, None, 4],'B': [None, 5, 6, 7]})# 删除包含缺失值的行
cleaned_data = data.dropna()
print(cleaned_data)
1.2 删除列:
如果某一列缺失值过多或者对分析任务没有贡献,可以选择删除该列。
示例代码:
# 删除包含缺失值的列
cleaned_data = data.dropna(axis=1)
print(cleaned_data)
1.3 阈值删除:
设置阈值,如果某一行或者列中的缺失值数量超过阈值,则删除该行或者列。
示例代码:
# 设置阈值,删除超过阈值的行或者列
threshold = 2 # 设置阈值为2
cleaned_data = data.dropna(thresh=threshold)
print(cleaned_data)
1.4条件删除:
根据特定条件,删除包含缺失值的行或者列。
示例代码:
# 根据条件删除缺失值
cleaned_data = data.dropna(subset=['A'])
# 删除'A'列中的缺失值所在的行
print(cleaned_data)
1.5 特定列删除:
如果只对特定列感兴趣,可以仅删除这些列中包含缺失值的行。
示例代码:
# 对特定列删除缺失值
cleaned_data = data.dropna(subset=['B'])
# 删除'B'列中的缺失值所在的行
print(cleaned_data)
在实际应用中,选择何种方法取决于数据集的特征、分析任务以及缺失值的分布情况。
需要谨慎考虑删除缺失值可能带来的信息损失,并根据具体情况选择合适的方法。
二 插值法
在数据清洗中,处理缺失值的一种常见方法是使用插值法。插值是通过已知数据点的信息来估计未知点的值。这种方法对于连续型数据的缺失值填充尤其有用。以下是一些常见的插值方法:
2.1 线性插值:
概念:
线性插值假设变量之间的关系是线性的。
对于缺失值,可以通过已知的相邻数据点之间的线性关系来进行估计。
实现:
常见的线性插值方法包括一次线性插值和二次线性插值。
在一次线性插值中,缺失值被估算为其相邻两个已知值的平均值。在二次线性插值中,利用相邻三个已知值构建二次方程,从而进行估算。
2.2 多项式插值:
概念:
多项式插值通过使用更高阶的多项式来适应已知数据点。
这可以更准确地拟合数据,但也容易引入过拟合。
实现:
常见的多项式插值方法包括拉格朗日插值和牛顿插值。
这些方法使用已知数据点构建多项式,然后通过多项式来估计缺失值。
2.3 样条插值:
概念:
样条插值使用分段函数(通常是三次样条)来逼近已知数据。
这种方法更平滑,避免了多项式插值的过拟合问题。
实现:
三次样条插值是一种常见的方法,将整个数据集拟合成一组三次多项式,并保证在连接点处平滑过渡。
2.4 Kriging插值:
概念:
Kriging是一种基于地理空间的插值方法,广泛用于地理信息系统(GIS)。
它考虑了空间相关性,并通过对数据之间的空间相关性建模来估计未知位置的值。
实现:
Kriging通常需要对数据进行协方差分析,以确定空间相关性的参数。
2.5 基于机器学习的方法:
概念:
使用机器学习模型来预测缺失值,例如回归模型、决策树、随机森林等。
这种方法可以通过考虑多个特征之间的复杂关系来提高预测准确性。
实现:
训练机器学习模型来预测含有缺失值的特征,然后用模型的预测值填充缺失值。
总的来说,在选择插值方法时,需要根据数据的性质和问题的背景来权衡方法的优劣。
每种插值方法都有其适用的场景和局限性,因此在实际应用中需要谨慎选择。
同时,为了减少不确定性,可以结合多个插值方法进行比较和验证。
三 填充法
处理缺失值时,除了插值法外,还可以使用填充法来填补缺失值。填充法主要通过一些规则或统计量来估算缺失值。以下是一些常见的填充法方法:
3.1 均值(Mean)填充:
概念:
使用变量的均值来填充缺失值。适用于连续型数据,简单且不引入额外的复杂性。
实现:
计算变量的均值,然后将缺失值替换为均值。
3.2 中位数(Median)填充:
概念:
使用变量的中位数来填充缺失值。对于存在异常值的情况,中位数可能比均值更稳健。
实现:
计算变量的中位数,将缺失值替换为中位数。
3.3 众数(Mode)填充:
概念:
使用变量的众数来填充缺失值。适用于分类变量。
实现:
计算变量的众数,将缺失值替换为众数。
3.4 最近邻填充(Nearest Neighbor Imputation):
概念:
根据其他样本的数值来填充缺失值,选择与缺失值最相似的样本进行填充。
实现:
计算样本之间的相似度,选择最近邻的样本来填充缺失值。
3.5 回归模型填充:
概念:
使用回归模型来预测缺失值,将其他特征作为预测变量。
实现:
对于含有缺失值的特征,将其看作目标变量,使用其他特征建立回归模型,预测缺失值。
3.6 随机抽样填充:
概念:
从变量的已知值中随机抽样来填充缺失值。
实现:
从非缺失值中随机选择一个值,用于填充缺失值。
3.7 插值法填充:
概念:
利用插值方法(如线性插值、多项式插值)来估算缺失值。
实现:
使用插值法对缺失值进行估算,如在相邻数据点之间进行线性插值。
3.8 利用业务规则填充:
概念:
基于领域知识或业务规则来填充缺失值。
实现:
根据特定业务场景的规则,为缺失值设定合适的数值。
总的来说,在选择填充方法时,需要考虑数据的性质、缺失值的分布以及问题的要求。
不同的填充方法可能对数据产生不同的影响,因此在应用填充方法之前,最好先对数据进行探索性分析,了解缺失值的分布情况和数据的特性。
同时,可以尝试不同的填充方法,并评估它们对最终分析结果的影响。
四 三种方法的优缺点及适用场景
4.1 删除法:
优点:
简单直接,不引入额外的复杂性。
对于确保数据分析的准确性和可靠性很重要的情况,如建模分析等,可以选择删除缺失值,确保结果的准确性。
缺点:
可能导致信息丢失,减少样本量。
可能引入样本选择偏差,使得分析结果不够全面。
适用场景:
当缺失值占比较小,对整体数据集影响不大时,或者在确保删除不会引入偏差的情况下使用。
4.2 插值法:
优点:
考虑了数据的连续性,填充的值更加平滑。
适用于时间序列等具有一定规律性的数据。
缺点:
对于非线性的关系,插值法可能不够准确。
对异常值比较敏感,可能受到极端值的影响。
适用场景:
适用于连续型数据,特别是时间序列数据,且缺失值的分布具有一定的规律性。
4.3 填充法:
优点:
通过估计缺失值,保留了样本量,不会引入样本选择偏差。
可以利用其他变量的信息进行填充,提高填充的准确性。
缺点
需要根据具体情况选择合适的填充方法,不同方法的效果可能有差异。
对于高维数据集,处理复杂的关系可能会比较困难。
适用场景:
适用于各种数据类型,尤其是当数据集中的变量之间存在一定关联性时。
五 总结:
数据清洗中处理缺失值是机器学习流程中不可或缺的一环。
通过本文的介绍,我们深入了解了删除缺失值、插值法和填充法这三种主要的处理缺失值的方法。
每种方法都有其独特的优势和限制,选择合适的方法需要考虑数据的特性、缺失值的分布情况以及分析的目标。
在实践中,综合运用这些方法,结合具体情况,将有助于提高数据质量,为机器学习模型的建设奠定坚实的基础。
这篇文章到这里就结束了
谢谢大家的阅读!
如果觉得这篇博客对你有用的话,别忘记三连哦。
我是甜美的江,让我们我们下次再见
相关文章:
【机器学习】数据清洗之处理缺失点
🎈个人主页:甜美的江 🎉欢迎 👍点赞✍评论⭐收藏 🤗收录专栏:机器学习 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共同学习、交流进步…...
Linux 命令行的世界 :2.文件系统中跳转
我们需要学习的第一件事(除了打字之外)是如何在 Linux 文件系统中跳转。在这一章节中,我们将介绍以下命令:pwd 打印出当前工作目录名 cd 更改目录 ls 列出目录内容 Linux以分层目录结构来组织所有文件。这就意味着所有文件…...
R语言:箱线图绘制(添加平均值趋势线)
箱线图绘制 1. 写在前面2.箱线图绘制2.1 相关R包导入2.2 数据导入及格式转换2.3 ggplot绘图 1. 写在前面 今天有时间把之前使用过的一些代码和大家分享,其中箱线图绘制我认为是非常有用的一个部分。之前我是比较喜欢使用origin进行绘图,但是绘制的图不太…...
Open3D 模型切片
目录 一、算法原理1、算法过程2、主要函数二、代码实现三、结果展示1、原始数据2、切片结果本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫与GPT。 一、算法原理...
KtConnect 本地连接连接K8S工具
KT Connect简介 Kt Connect (Kubernetes Developer Tool)是一个阿里开源、轻量级的面向 Kubernetes 用户的开发测试环境治理辅助工具。其核心是通过建立本地到集群以及集群到本地的双向通道。 1.阿里开源,轻量级, 2. 安装快捷简单…...
【Java万花筒】数据的安全钥匙:Java的加密与保护方法
编码的盾牌:Java开发人员的安全性武器库 前言 在当今数字化时代,保护用户数据和信息的安全已成为开发人员的首要任务。无论是在Web应用程序开发还是安全测试中,加密和安全性都是至关重要的。本文将介绍六个Java库和工具,它们为开…...
【Java多线程案例】实现阻塞队列
1. 阻塞队列简介 1.1 阻塞队列概念 阻塞队列:是一种特殊的队列,具有队列"先进先出"的特性,同时相较于普通队列,阻塞队列是线程安全的,并且带有阻塞功能,表现形式如下: 当队列满时&…...
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏3(附项目源码)
最终效果 文章目录 最终效果系列目录前言随着地面法线旋转在地形上随机生成动物不同部位颜色不同最终效果源码完结系列目录 前言 欢迎来到【制作100个Unity游戏】系列!本系列将引导您一步步学习如何使用Unity开发各种类型的游戏。在这第24篇中,我们将探索如何用unity制作一…...
home work day5
第四章 堆与拷贝构造函数 一 、程序阅读题 1、给出下面程序输出结果。 #include <iostream.h> class example {int a; public: example(int b5){ab;} void print(){aa1;cout <<a<<"";} void print()const {cout<<a<<endl;} …...
c#安全-nativeAOT
文章目录 前记AOT测试反序列化Emit 前记 JIT\AOT JIT编译器(Just-in-Time Complier),AOT编译器(Ahead-of-Time Complier)。 AOT测试 首先编译一段普通代码 using System; using System.Runtime.InteropServices; namespace co…...
【Java】案例:检测MySQL是否存在某数据库,没有则创建
1.代码 package hello; import java.sql.*;public class CeShi {//定义基本数据static final String JDBC_DRIVER "com.mysql.cj.jdbc.Driver";static final String DB_URL "jdbc:mysql://localhost/";static final String USER "your_username&q…...
内网渗透靶场02----Weblogic反序列化+域渗透
网络拓扑: 攻击机: Kali: 192.168.111.129 Win10: 192.168.111.128 靶场基本配置:web服务器双网卡机器: 192.168.111.80(模拟外网)10.10.10.80(模拟内网)域成员机器 WIN7PC192.168.…...
[嵌入式系统-9]:C语言程序调用汇编语言程序的三种方式
目录 1. 使用函数声明和函数调用: 2. 使用汇编内联(Inline Assembly): 3. 使用汇编代码文件和链接器: C语言程序可以调用汇编程序的方式有多种,下面列举了几种常见的方式: 1. 使用函数声明和…...
备战蓝桥杯---搜索(完结篇)
再看一道不完全是搜索的题: 解法1:贪心并查集: 把冲突事件从大到小排,判断是否两个在同一集合,在的话就返回,不在的话就合并。 下面是AC代码: #include<bits/stdc.h> using namespace …...
深入浅出:Golang的Crypto/SHA256库实战指南
深入浅出:Golang的Crypto/SHA256库实战指南 介绍crypto/sha256库概览主要功能应用场景库结构和接口实例 基础使用教程字符串哈希化文件哈希化处理大型数据 进阶使用方法增量哈希计算使用Salt增强安全性多线程哈希计算 实际案例分析案例一:安全用户认证系…...
Unity_ShaderGraph节点问题
Unity_ShaderGraph节点问题 Unity版本:Unity2023.1.19 为什么在Unity2023.1.19的Shader Graph中找不见PBR Master节点? 以下这个PBR Maste从何而来?...
Java集合 Collection接口
这里写目录标题 集合Collection接口创建一个性表增加元素删除元素修改元素判断元素遍历集合实例判断元素是否存在 集合 Java中的Collection接口是集合类的一个顶级接口,它定义了一些基本的操作,如添加、删除、查找等。Collection接口主要有以下几个常用…...
C# Task的使用
C#中的Task类是.NET框架中用于实现异步编程的核心组件之一,它在.NET Framework 4及更高版本以及.NET Core中广泛使用。Task对象代表一个异步操作,并提供了跟踪异步操作状态、获取结果和处理完成通知的方法。 Task 类提供了对异步操作的封装,…...
尚硅谷Ajax笔记
一天拿下 介绍二级目录三级目录 b站链接 介绍 ajax优缺点 http node.js下载配置好环境 express框架 切换到项目文件夹,执行下面两条命令 有报错,退出用管理员身份打开 或者再命令提示符用管理员身份打开 npm init --yes npm i express请求 <script>//引…...
【MATLAB源码-第138期】基于matlab的D2D蜂窝通信仿真,对比启发式算法,最优化算法和随机算法的性能。
操作环境: MATLAB 2022a 1、算法描述 D2D蜂窝通信介绍 D2D蜂窝通信允许在同一蜂窝网络覆盖区域内的终端设备直接相互通信,而无需数据经过基站或网络核心部分转发。这种通信模式具有几个显著优点:首先,它可以显著降低通信延迟&…...
AcWing 第 142 场周赛 B.最有价值字符串(AcWing 5468) (Java)
AcWing 第 142 场周赛 B.最有价值字符串(AcWing 5468) (Java) 比赛链接:AcWing 第 142 场周赛 x题传送门:B.最有价值字符串 题目:不展示 分析: 题目不难,不过有坑😭。 我们可以定义一个数组记录每个字…...
滑块识别验证
滑块识别 1. 获取图片 测试网站:https://www.geetest.com/adaptive-captcha-demo 2. 点击滑块拼图并开始验证 # 1.打开首页 driver.get(https://www.geetest.com/adaptive-captcha-demo)# 2.点击【滑动拼图验证】 tag WebDriverWait(driver, 30, 0.5).until(la…...
每日五道java面试题之java基础篇(四)
第一题. 访问修饰符 public、private、protected、以及不写(默认)时的区别? Java 中,可以使⽤访问控制符来保护对类、变量、⽅法和构造⽅法的访问。Java ⽀持 4 种不同的访问权限。 default (即默认,什么也不写&…...
我的docker随笔43:问答平台answer部署
本文介绍开源问答社区平台Answer的容器化部署。 起因 笔者一直想搭建一个类似stack overflower这样的平台,自使用了Typora,就正式全面用MarkdownTyporagit来积累自己的个人知识库,但没有做到web化,现在也还在探索更好的方法。 无…...
17、ELK
17、ELK helm 安装 elkfk(kafka 集群外可访问) ES/Kibana <— Logstash <— Kafka <— Filebeat 部署顺序: 1、elasticsearch 2、kibana 3、kafka 4、logstash 5、filebeat kubectl create ns elkhelm3部署elkfk 1、elast…...
React+Antd+tree实现树多选功能(选中项受控+支持模糊检索)
1、先上效果 树型控件,选中项形成一棵新的树,若父选中,子自动选中,子取消,父不取消,子选中,所有的父节点自动取消。同时支持模糊检索,会检索出所有包含该内容的关联节点。 2、环境准…...
鸿蒙 WiFi 扫描流程(2)
接着上篇没有记录完的,我们继续梳理,需要上一篇做基础的请看:鸿蒙 WiFi 扫描流程(1) 上一篇我们讲到 scan_service.cpp 里面的 SingleScan 方法,继续这个方法往下看: // foundation/communicat…...
微信小程序(四十)API的封装与调用
注释很详细,直接上代码 上一篇 新增内容: 1.在单独的js文件中写js接口 2.以注册为全局wx的方式调用接口 源码: utils/testAPI.js const testAPI{/*** * param {*} title */simpleToast(title提示){//可传参,默认为‘提示’wx.sho…...
WebSocket+Http实现功能加成
WebSocketHttp实现功能加成 前言 首先,WebSocket和HTTP是两种不同的协议,它们在设计和用途上有一些显著的区别。以下是它们的主要特点和区别: HTTP (HyperText Transfer Protocol): 请求-响应模型: HTTP 是基于请求-响应模型的协…...
go语言实现LRU缓存
go语言实现LRU Cache 题目描述详细代码 题目描述 设计和构建一个“最近最少使用”缓存,该缓存会删除最近最少使用的项目。缓存应该从键映射到值(允许你插入和检索特定键对应的值),并在初始化时指定最大容量。当缓存被填满时,它应该删除最近最…...
git的奇特知识点
展示帮助信息 git help -gThe common Git guides are:attributes Defining attributes per pathcli Git command-line interface and conventionscore-tutorial A Git core tutorial for developerscvs-migration Git for CVS usersdiff…...
按键扫描16Hz-单片机通用模板
按键扫描16Hz-单片机通用模板 一、按键扫描的原理1、直接检测高低电平类型2、矩阵扫描类型3、ADC检测类型二、key.c的实现1、void keyScan(void) 按键扫描函数①void FHiKey(void) 按键按下功能②void FSameKey(void) 按键长按功能③void FLowKey(void) 按键释放功能三、key.h的…...
在容器镜像中为了安全为什么要删除 setuid 和 setgid?
在容器镜像中删除 setuid(set user ID)和 setgid(set group ID)权限通常是出于安全考虑。这两个权限位允许进程在执行时以文件所有者或文件所属组的身份运行,而不是以调用进程的用户身份运行。 删除 setuid 和 setgid…...
Flink 动态表 (Dynamic Table) 解读
博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,…...
【原创 附源码】Flutter海外登录--Google登录最详细流程
最近接触了几个海外登录的平台,踩了很多坑,也总结了很多东西,决定记录下来给路过的兄弟坐个参考,也留着以后留着回顾。更新时间为2024年2月8日,后续集成方式可能会有变动,所以目前的集成流程仅供参考&#…...
第70讲axios后端请求工具类封装
axios工具类封装: // 引入axios import axios from axios;// 创建axios实例 const httpService axios.create({// url前缀-http:xxx.xxx// baseURL: process.env.BASE_API, // 需自定义baseURL:http://localhost:80/,// 请求超时时间timeout: 3000 // 需自定义 })…...
【数学建模】【2024年】【第40届】【MCM/ICM】【F题 减少非法野生动物贸易】【解题思路】
一、题目 (一) 赛题原文 2024 ICM Problem F: Reducing Illegal Wildlife Trade Illegal wildlife trade negatively impacts our environment and threatens global biodiversity. It is estimated to involve up to 26.5 billion US dollars per y…...
第3节、电机定速转动【51单片机+L298N步进电机系列教程】
↑↑↑点击上方【目录】,查看本系列全部文章 摘要:本节介绍用定时器定时的方式,精准控制脉冲时间,从而控制步进电机速度。 一、计算过程 电机每一步的角速度等于走这一步所花费的时间,走一步角度等于步距角ÿ…...
【51单片机】LCD1602(可视化液晶屏)调试工具的使用
前言 大家好吖,欢迎来到 YY 滴 单片机系列 ,热烈欢迎! 本章主要内容面向接触过单片机的老铁 主要内容含: 欢迎订阅 YY滴C专栏!更多干货持续更新!以下是传送门! YY的《C》专栏YY的《C11》专栏YY…...
Netty应用(四) 之 Reactor模型 零拷贝
目录 6.Reactor模型 6.1 单线程Reactor 6.2 主从多线程Reactor (主--->Boss | 从--->Worker | 一主多从机制) 7.扩展与补充 8.Reactor模型的实现 8.1 多线程Reactor模型的实现(一个Boss线程,一个Worker线程) 8.2 多线程Reactor模…...
Huggingface上传模型
Huggingface上传自己的模型 参考 https://juejin.cn/post/7081452948550746148https://huggingface.co/blog/password-git-deprecationAdding your model to the Hugging Face Hub, huggingface.co/docs/hub/ad…Welcome,huggingface.co/welcome三句指…...
kyuubi 接入starrocks | doris
kyuubi 接入starrocks 一、环境 Hadoop集群 组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.X kyuubi 版本 1.7.1 starrocks 2.X 已将kyuubi部署到yarn上,并且接入了spark3引擎,并通过Ambari进行kyuubi组件的管理,下面步骤为新增对sta…...
notepad++成功安装后默认显示英文怎么设置中文界面?
前几天使用电脑华为管家清理电脑后,发现一直使用的notepad软件变回了英文界面,跟刚成功安装的时候一样,那么应该怎么设置为中文界面呢?具体操作如下: 1、打开notepad软件,点击菜单栏“Settings – Prefere…...
HiveSQL——连续增长问题
注:参考文章: SQL连续增长问题--HQL面试题35_sql判断一个列是否连续增长-CSDN博客文章浏览阅读2.6k次,点赞6次,收藏30次。目录0 需求分析1 数据准备3 小结0 需求分析假设我们有一张订单表shop_order shop_id,order_id,order_time…...
使用cocos2d-console初始化一个项目
先下载好cocos2d-x的源码包 地址 https://www.cocos.com/cocos2dx-download 这里使用的版本是 自己的电脑要先装好python27 用python安装cocos2d-console 看到项目中有个setup.py的一个文件 python setup.py 用上面的命令执行一下。 如果执行正常的话回出现上面的图 然后…...
VitePress-13- 配置-title的作用详解
作用描述 1、title 是当前站点的标题;2、默认值是 :VitePress;3、当使用默认主题时,会直接展示在 页面的【导航条】中;4、一个特殊的作用 : 会作为单个页面的默认标题后缀!除非又指定了【title…...
Rust-AI todo list 开发体验
之前用AI协助开发了一个Vue模块,感觉意犹未尽,所以决定再让AI 来协助我做一个todo list。 todo list对我来说真是一个刚需,从我决定做一件事情,到这件事情做完,我的todo list不但不会减少,反而会增加。 回…...
2024-02-07(Sqoop,Flume)
1.Sqoop的增量导入 实际工作中,数据的导入很多时候只需要导入增量的数据,并不需要将表中的数据每次都全部导入到hive或者hdfs中,因为这样会造成数据重复问题。 增量导入就是仅导入新添加到表中的行的技术。 sqoop支持两种模式的增量导入&a…...
LDAR管理系统解决方案
1、密封点数量不准确 工业企业LDAR项目多委托第三方进行检测,由于前几年由于检测费较高,为减少开支,很多企业只安排检测公司检测了部分密封点,造成密封点遗漏。也有少数企业为了从中谋私利,虚增密封点。 2、密封点台账…...
[vscode]ssh报错: Resolver error: Error: XHR failedscode错误
场景问题:通过vscode ssh连接远程服务器失败,报错:Resolver error: Error: XHR failedscode: 问题原因:~/.vscode-server/bin/一串数字下的vscode-server-linux-x64.tar.gz由于某种原因无法正常下载 解决方式&#x…...