当前位置: 首页 > news >正文

机器学习:逻辑回归实现下采样和过采样

1、概述

        逻辑回归本身是一种分类算法,它并不涉及下采样或过采样操作。然而,在处理不平衡数据集时,这些技术经常被用来改善模型的性能。下采样和过采样是两种常用的处理不平衡数据集的方法。

2、下采样

        1、概念

        下采样是通过减少数量较多的类别(多数类)的样本数量,使其与数量较少的类别(少数类)的样本数量相匹配或接近。这样可以使模型在训练时不会偏向于多数类。

        2、原理

        随机选择一些多数类的样本并从数据集中移除,只保留与少数类样本数量相等的样本。可以导致数据集的信息丢失,特别是当多数类样本被大量移除时。

3、案例

        

        从0中找到和1的数目相同的数据

        代码

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
data=pd.read_csv("creditcard.csv")
#StandardScaler用于数据标准化
from sklearn.preprocessing import StandardScaler
scaler=StandardScaler()
# 对"Amount"列进行标准化处理
data["Amount"]=scaler.fit_transform(data[["Amount"]])
data=data.drop(["Time"],axis=1)#从完整数据集中找到和n_eg数目相同的p_eg进行lianj
p_eg=data[data["Class"]==0]
n_eg=data[data["Class"]==1]
np.random.seed(seed=4)
p_eg=p_eg.sample(len(n_eg))
data_c=pd.concat([p_eg,n_eg])from sklearn.model_selection import train_test_split
x=data.drop("Class",axis=1)
y=data["Class"]
# 随机分割训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=0)
#小数据集的训练集特征与标签,测试集特征与标签
m=data_c.drop("Class",axis=1)
n=data_c["Class"]
m_train,m_test,n_train,n_test=train_test_split(m,n,test_size=0.2,random_state=0)#交叉验证小数据集
from sklearn.model_selection import cross_val_score
scores=[]
c_param_range=[0.01,0.1,1,10,100]
for i in c_param_range:lr=LogisticRegression(C=i,penalty='l2',solver='lbfgs',max_iter=1000)score=cross_val_score(lr,m_train,n_train,cv=8,scoring='recall')score_mean=sum(score)/len(score)scores.append(score_mean)
#选择最合适的C重新训练
best_c=c_param_range[np.argmax(scores)]
lr=LogisticRegression(C=best_c,penalty='l2',max_iter=1000)
lr.fit(m_train,n_train)from sklearn import metrics
#小数据集的训练集
train_predicted=lr.predict(m_train)
print(metrics.classification_report(n_train,train_predicted))
#小数据集的测试集
test_predicted=lr.predict(m_test)
print(metrics.classification_report(n_test,test_predicted))#完整数据集的训练集
data_x_train_predicted=lr.predict(x_train)
print(metrics.classification_report(y_train,data_x_train_predicted))
#完整数据集的测试集
data_x_test_predicted=lr.predict(x_test)
print(metrics.classification_report(y_test,data_x_test_predicted))thresh=[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]
recalls=[]
for i in thresh:y_predict_proba=lr.predict_proba(x_test)y_predict_proba=pd.DataFrame(y_predict_proba).drop([0],axis=1)y_predict_proba[y_predict_proba[[1]]>i]=1y_predict_proba[y_predict_proba[[1]]<=i]=0recall=metrics.recall_score(y_test,y_predict_proba[1])recalls.append(recall)print(i,recall)

4、过采样

        1、概念

        过采样是通过增加数量较少的类别(少数类)的样本数量,使其与数量较多的类别(多数类)的样本数量相匹配或超过。这可以通过复制现有样本或生成新的合成样本来实现。

        2、原理

        复制:简单地复制少数类的样本,直到其数量与多数类相等。

        合成样本:使用算法如SMOTE(Synthetic Minority Over-sampling Technique)生成新的合成样本,而不是简单地复制现有样本。SMOTE通过在特征空间中插值来创建新的少数类样本。

5、案例

        将原数据分成训练集和测试集,训练集进行过采样获得两倍大小的新的训练集

        代码

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
data=pd.read_csv("creditcard.csv")#StandardScaler用于数据标准化
from sklearn.preprocessing import StandardScaler
scaler=StandardScaler()
# 对"Amount"列进行标准化处理
data["Amount"]=scaler.fit_transform(data[["Amount"]])
data=data.drop(["Time"],axis=1)#随机抽取
# 准备数据集,分割特征和标签
from sklearn.model_selection import train_test_split
x=data.drop("Class",axis=1)
y=data["Class"]
# 随机分割训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=0)#对训练集进行过采样
from imblearn.over_sampling import SMOTE
oversamples=SMOTE(random_state=0)
os_x_train,os_y_train=oversamples.fit_resample(x_train,y_train)
# 随机分割训练集和测试集
os_x_train_w,os_x_test_w,os_y_train_w,os_y_test_w=train_test_split(os_x_train,os_y_train,test_size=0.3,random_state=0)#交叉验证
from sklearn.model_selection import cross_val_score
scores=[]
c_param_range=[0.01,0.1,1,10,100]
for i in c_param_range:lr=LogisticRegression(C=i,penalty='l2',solver='lbfgs',max_iter=1000)score=cross_val_score(lr,os_x_train_w,os_y_train_w,cv=8,scoring='recall')score_mean=sum(score)/len(score)scores.append(score_mean)
# 选择平均召回率最高的C值
best_c=c_param_range[np.argmax(scores)]
lr=LogisticRegression(C=best_c,penalty='l2',max_iter=1000)
lr.fit(os_x_train_w,os_y_train_w)
from sklearn import metrics# 打印分类报告
os_train_predicted=lr.predict(os_x_train_w)
print(metrics.classification_report(os_y_train_w,os_train_predicted))os_test_predicted=lr.predict(os_x_test_w)
print(metrics.classification_report(os_y_test_w,os_test_predicted))train_predicted=lr.predict(x_train)
print(metrics.classification_report(y_train,train_predicted))test_predicted=lr.predict(x_test)
print(metrics.classification_report(y_test,test_predicted))thresh=[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]
recalls=[]
for i in thresh:y_predict_proba=lr.predict_proba(x_test)y_predict_proba=pd.DataFrame(y_predict_proba).drop([0],axis=1)y_predict_proba[y_predict_proba[[1]]>i]=1y_predict_proba[y_predict_proba[[1]]<=i]=0recall=metrics.recall_score(y_test,y_predict_proba[1])recalls.append(recall)print(i,recall)

相关文章:

机器学习:逻辑回归实现下采样和过采样

1、概述 逻辑回归本身是一种分类算法&#xff0c;它并不涉及下采样或过采样操作。然而&#xff0c;在处理不平衡数据集时&#xff0c;这些技术经常被用来改善模型的性能。下采样和过采样是两种常用的处理不平衡数据集的方法。 2、下采样 1、概念 下采样是通过减少数量较多的类…...

React原理之Fiber双缓冲

前置文章&#xff1a; React原理之 React 整体架构解读React原理之整体渲染流程React原理之Fiber详解 -----读懂这一篇需要对 React 整体架构和渲染流程有大致的概念 &#x1f60a;----- 在前面的文章中&#xff0c;简单介绍了 Fiber 架构&#xff0c;也了解了 Fiber 节点的…...

机器学习笔记三-检测异常值

检测异常值是数据预处理中非常重要的一步&#xff0c;因为异常值可能会影响模型的训练效果&#xff0c;甚至导致错误的结论。以下是几种常见的检测异常值的方法&#xff1a; 1. 箱线图&#xff08;Box Plot&#xff09;&#xff1a; 箱线图是一种简单的统计图形&#xff0c;可…...

如何评估Redis的性能

导语 Redis是一款高性能的内存数据库&#xff0c;被广泛用于缓存、持久化、消息队列等各种场景。为了确保Redis的高性能运行&#xff0c;评估Redis的性能是非常重要的。本文将介绍如何评估Redis的性能&#xff0c;并从问题解决的角度探讨如何优化Redis的性能。 1. 性能评估指…...

RabbitMQ发布订阅模式Publish/Subscribe详解

订阅模式Publish/Subscribe 基于API的方式1.使用AmqpAdmin定制消息发送组件2.消息发送者发送消息3.消息消费者接收消息 基于配置类的方式基于注解的方式总结 SpringBoot整合RabbitMQ中间件实现消息服务&#xff0c;主要围绕3个部分的工作进行展开&#xff1a;定制中间件、消息发…...

Android8.1源码下对APK进行系统签名

在Android8.1上面对APK进行Android系统源码环境下的签名,发现签名时出现如下错误: Exception in thread "main" java.lang.ExceptionInInitializerError at org.conscrypt.OpenSSLBIOInputStream.(OpenSSLBIOInputStream. at org.conscrypt.OpenSSLX509Certificat…...

2024年城市客运安全员考试题库及答案

一、单选题 376.根据《机动车运行安全技术条件》&#xff08;GB7258---2017&#xff09;&#xff0c;每个应急出口应在其附近设有"应急出口"字样&#xff0c;字体高度应大于或等于&#xff08;&#xff09;mm。 A.20 B.30 C.40 D.50 答案&#xff1a;C 377.根…...

全网最全面的Nginx内容(理论与实践相结合)

一、Web服​​务 1.1 web服务访问流程 1.2 Web服务 1.2.1 Web服务器分类 Web服务分为Apache和Nginx 1.2.2 Apache经典的Web服务器 1.2.2.1 Apache介绍 Apache HTTP Server&#xff08;简称Apache&#xff09;是Apache软件基金会的一个开放源码的网页服务器&#xff0c;可以…...

(七)Flink Watermark

Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题,尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下,即使某些数据出现了延迟到达的情况,也不会导致整个处理流程的中断。此外,Watermark 还能防止过期的数据…...

springboot 上传文件失败:The temporary upload location

Caused by: java.io.IOException: The temporary upload location [/tmp/tomcat.379776875189163783.8081/work/Tomcat/localhost/jcys-core] is not valid 原因&#xff1a; Linux下会自动清除tmp目录下10天没有使用过的文件&#xff0c;SpringBoot启动的时候会在/tmp目录下生…...

UNiapp之微信小程序导出Excel

效果如下 参考小程序&#xff1a;日常记一记 ---账单页面 主要功能是根据筛选条件导出账单明细列表&#xff0c;实现该功能主要借助一个工具(excel.js)&#xff0c;可在文章顶部下载或者一下网盘下载 https://pan.baidu.com/s/1RLisuG4_7FGD0Cnwewyabg?pwdpd2a 提取码: pd2a…...

fsadsadsad

adsadsafsada...

高效录制新选择:2024年Windows录屏软件

录屏能帮助我们捕捉屏幕上的精彩瞬间&#xff0c;作为老师可以用来录制课程&#xff0c;作为会议记录员可以用来录制远程会议。那么有什么软件是适合windows录屏的呢&#xff1f;这次我们一起来探讨一下吧。 1.福昕录屏大师 链接&#xff1a;www.foxitsoftware.cn/REC/ 这款软…...

Java技术面试(一面)

1、相面对象 1、面相对象语言/Java三大特性是什么? 引出 封装、‌继承和多态。 2、多态有哪些形式?多态使用过吗? 重载、重写,接口和抽象类的多个实现。考察工作经验、代码重构经验、习惯。 3、Java接口和抽象类有什么区别?你是如何选择使用的? 考察OOP的理解和工作…...

docker修改数据目录

新建docker数据目录 mkdir /data/docker-data停止docker服务 systemctl stop docker把docker数据迁移到新目录 cp -r /var/lib/docker/* /data/docker-data/修改docker配置 vi /etc/docker/daemon.json #添加data-root参数 {"data-root":"/data/docker-dat...

Appium学习

一、基础配置 import unittest from appium import webdriver from appium.options.android import UiAutomator2Options from appium.webdriver.common.appiumby import AppiumBy from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support …...

回顾 | 瑞云科技亮相ICIC2024,虚拟仿真实训云平台引关注

2024年8月7日&#xff0c;天津市虚拟仿真学会主办的第二十届智能计算国际会议&#xff08;ICIC2024&#xff09;——虚拟仿真技术交流平行会议暨天津市虚拟仿真学会2024年暑期技术交流会在天津盛大召开。本次大会汇聚来自全国的顶尖专家、学者和行业领袖&#xff0c;共同探讨虚…...

libLZMA库iOS18平台编译

1.下载xz源码: 使用autogen.sh生成configure文件 2.生成makefile rm -rf ./build/iOS && mkdir -p ./build/iOS && cd ./build/iOS && ../../configure --host=arm-apple-darwin64 --prefix=`pwd`/Frameworks/lzma CC="xcrun -sdk iphoneos cl…...

《AI办公类工具PPT系列之二——iSlide AI》

一.简介 官网:iSlide- 让PPT设计简单起来 | PPT模板下载平台 iSlide AI是一款基于人工智能技术的PPT制作工具,它可以帮助用户快速高效地创建演示文稿 二.功能介绍 1. AI一键生成PPT 文档导入与解析:用户可以直接上传本地文档(如Word、Markdown、思维导图等),iSlide A…...

C语言基础(六)

一维数组&#xff1a; C语言中的数组是一种基本的数据结构&#xff0c;用于在计算机内存中连续存储相同类型的数据。 数组中的每个元素可以通过索引&#xff08;或下标&#xff09;来访问&#xff0c;索引通常是从0开始的。 数组的大小在声明时确定&#xff0c;并且之后不能改…...

变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析

一、变量声明设计&#xff1a;let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性&#xff0c;这种设计体现了语言的核心哲学。以下是深度解析&#xff1a; 1.1 设计理念剖析 安全优先原则&#xff1a;默认不可变强制开发者明确声明意图 let x 5; …...

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中&#xff0c;我们已经大致实现了rpc服务端的各项功能代…...

从深圳崛起的“机器之眼”:赴港乐动机器人的万亿赛道赶考路

进入2025年以来&#xff0c;尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断&#xff0c;但全球市场热度依然高涨&#xff0c;入局者持续增加。 以国内市场为例&#xff0c;天眼查专业版数据显示&#xff0c;截至5月底&#xff0c;我国现存在业、存续状态的机器人相关企…...

系统设计 --- MongoDB亿级数据查询优化策略

系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log&#xff0c;共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题&#xff0c;不能使用ELK只能使用…...

Rust 异步编程

Rust 异步编程 引言 Rust 是一种系统编程语言,以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天,异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...

【RockeMQ】第2节|RocketMQ快速实战以及核⼼概念详解(二)

升级Dledger高可用集群 一、主从架构的不足与Dledger的定位 主从架构缺陷 数据备份依赖Slave节点&#xff0c;但无自动故障转移能力&#xff0c;Master宕机后需人工切换&#xff0c;期间消息可能无法读取。Slave仅存储数据&#xff0c;无法主动升级为Master响应请求&#xff…...

selenium学习实战【Python爬虫】

selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具&#xff0c;可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板&#xff0c;允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板&#xff0c;并通…...

Reasoning over Uncertain Text by Generative Large Language Models

https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829 1. 概述 文本中的不确定性在许多语境中传达,从日常对话到特定领域的文档(例如医学文档)(Heritage 2013;Landmark、Gulbrandsen 和 Svenevei…...