当前位置: 首页 > news >正文

详解python中的pandas.read_csv()函数

在这里插入图片描述

😎 作者介绍:我是程序员洲洲,一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主。
🤓 同时欢迎大家关注其他专栏,我将分享Web前后端开发、人工智能、机器学习、深度学习从0到1系列文章。
🌼 同时洲洲已经建立了程序员技术交流群,如果您感兴趣,可以私信我加入社群,可以直接vx联系(文末有名片)v:bdizztt
🖥 随时欢迎您跟我沟通,一起交流,一起成长、进步!点此也可获得联系方式~

本文目录

  • 前言
  • 一、Pandas库简介
  • 二、CSV文件
    • 2.1 常用参数
    • 2.2 全部参数
  • 三、实战代码
    • 3.1 自定义分隔符
    • 3.2 指定列名和数据类型
    • 3.3 处理缺失的数据
    • 3.4 读取大文件
  • 四、注意事项
  • 总结

前言

在Python的数据科学和分析领域,Pandas库是处理和分析数据的强大工具。

pandas.read_csv()函数是Pandas库中用于读取CSV(逗号分隔值)文件的函数之一。

本文中洲洲将进行详细介绍pandas.read_csv()函数的使用方法。

一、Pandas库简介

pandas是一个Python包,并且它提供快速,灵活和富有表现力的数据结构。

这样当我们处理"关系"或"标记"的数据(一维和二维数据结构)时既容易又直观。

pandas是我们运用Python进行实际、真实数据分析的基础,同时它是建立在NumPy之上的。

总的来说Pandas是一个开源的数据分析和操作库,用于Python编程语言。它提供了高性能、易用的数据结构和数据分析工具,是数据科学、数据分析、机器学习等众多领域中不可或缺的工具之一。

其主要特点有:

  • DataFrame和Series:Pandas的核心是DataFrame和Series两种数据结构。DataFrame是一个二维标签化数据结构,你可以将其想象为一个Excel表格,而Series则是一维的标签化数组。
  • 易用性:Pandas提供了大量的方法和功能,使得数据清洗、处理和分析变得简单直观。
  • 高性能:Pandas在内部使用Cython或C语言编写,以提高性能,特别是在处理大型数据集时。
  • 自动和显式的数据处理:Pandas能够自动处理大量数据,同时允许用户显式地控制数据处理的细节。
  • 时间序列分析:Pandas提供了对时间序列数据的丰富支持,包括时间戳的自动处理和时间序列窗口函数。
  • 数据聚合:Pandas能够轻松地对数据进行聚合操作,如求和、平均、最大值、最小值等。
  • 数据重塑:Pandas提供了灵活的数据重塑功能,包括合并、分割、转换等。
  • 数据输入输出:Pandas支持多种数据格式的输入输出,包括CSV、Excel、SQL数据库、JSON等。

常用的功能如下:

  • 数据清洗:处理缺失值、数据过滤、数据转换等。
  • 数据合并:使用concat、merge等函数合并多个数据集。
  • 数据分组:使用groupby进行数据分组并应用聚合函数。
  • 数据重塑:使用pivot_table、melt等函数重塑数据。
  • 时间序列功能:使用date_range、resample等函数处理时间序列数据。
  • 绘图功能:Pandas内置了基于matplotlib的绘图功能,可以快速创建图表。

二、CSV文件

CSV(Comma-Separated Values)文件是一种简单的文件格式,用于存储表格数据,其中每个字段通常由逗号分隔。

CSV文件可以被大多数的电子表格软件和数据库软件以及多种编程语言读取。

2.1 常用参数

  • path:文件路径或文件对象。
  • sep:字段分隔符,默认为逗号,。
  • header:列名行的索引,默认为0。
  • index_col:用作行索引的列名。
  • usecols:需要读取的列名列表或索引。
  • dtype:列的数据类型。

2.2 全部参数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、实战代码

3.1 自定义分隔符

如果CSV文件使用制表符作为分隔符:

df = pd.read_csv('data.tsv', sep='\t')

3.2 指定列名和数据类型

指定列名和列的数据类型:

df = pd.read_csv('data.csv', names=['Name', 'Age', 'Occupation'], dtype={'Age': int})

忽略列,只读取特定的列:

df = pd.read_csv('data.csv', usecols=['Name', 'Occupation'])

3.3 处理缺失的数据

CSV文件中可能包含缺失数据,pandas.read_csv()提供了参数来处理这种情况:

df = pd.read_csv('data_with_missing.csv', header=None)
df = df.replace('', pd.NA)  # 将空字符串替换为NA
df = df.dropna()  # 删除包含NA的行

3.4 读取大文件

对于大文件,可以使用chunksize参数分块读取:

chunk_size = 1000  # 每块1000行
chunks = pd.read_csv('large_data.csv', chunksize=chunk_size)for chunk in chunks:process(chunk)  # 对每块进行处理

四、注意事项

  • 文件路径:确保提供正确的文件路径,如果文件不在相同的目录下,需要提供相对或绝对路径。
  • 编码问题:如果文件包含特殊字符或非ASCII字符,可能需要指定encoding参数,例如encoding=‘utf-8’。
  • 数据类型转换:在读取数据时,Pandas可能无法自动识别数据类型,这时可以通过dtype参数指定。
  • 性能考虑:对于非常大的CSV文件,考虑使用分块读取或优化数据处理流程以提高性能。
  • 日期时间列:如果CSV文件包含日期时间数据,可以使用parse_dates参数将列解析为Pandas的datetime类型。

总结

📝Hello,各位看官老爷们好,我已经建立了CSDN技术交流群,如果你很感兴趣,可以私信我加入我的社群。

📝社群中不定时会有很多活动,例如每周都会包邮免费送一些技术书籍及精美礼品、学习资料分享、大厂面经分享、技术讨论谈等等。

📝社群方向很多,相关领域有Web全栈(前后端)、人工智能、机器学习、自媒体副业交流、前沿科技文章分享、论文精读等等。

📝不管你是多新手的小白,都欢迎你加入社群中讨论、聊天、分享,加速助力你成为下一个大佬!

📝想都是问题,做都是答案!行动起来吧!欢迎评论区or后台与我沟通交流,也欢迎您点击下方的链接直接加入到我的交流社群!~ 跳转链接社区~

在这里插入图片描述

相关文章:

详解python中的pandas.read_csv()函数

😎 作者介绍:我是程序员洲洲,一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主。 🤓 同时欢迎大家关注其他专栏,我将分享Web前后端开发、人工智能、机器学习、深…...

速盾:DDoS高防IP上设置转发规则

DDoS攻击是一种网络攻击方式,攻击者通过大量请求使目标服务器或网络资源超负荷运行,导致服务不可用。为了保护网络安全,减少DDoS攻击对网络的影响,使用DDoS高防IP可以是一种解决方案。而在DDoS高防IP上设置转发规则可以提高网络的…...

京东一面测开(KPI)

京东一面测开凉经(笔试ak) 3.8 面试官:你很优秀啊,你不用谦虚 没问技术相关,问了如何设计测试用例步骤一些理论: 什么是软件测试?其目的是什么? 软件测试有哪些类型?请列…...

Django框架中级

Django框架中级 – 潘登同学的WEB框架 文章目录 Django框架中级 -- 潘登同学的WEB框架 中间件自定义中间件常用中间件process_view() 使用中间件进行URL过滤 Django生命周期生命周期分析 Django日志日志配置filter过滤器自定义filter 日志格式化formatter Django信号内置信号定…...

cordova-plugin-inappbrowser内置浏览器插件

一、InAppBrowser(内置浏览器) 允许在在单独的窗口中加载网页。例如要向应用用户展示其他网页。当然可以很容易地在应用中加载网页内容并管理,但有时候需要不同的用户体验,InAppBrowser加载网页内容,应用用户可以更方便的直接返回到主应用。 二、安装命令: cordova pl…...

打造智慧工厂核心:ARMxy工业PC与Linux系统

智能制造正以前所未有的速度重塑全球工业格局,而位于这场革命核心的,正是那些能够精准响应复杂生产需求、高效驱动自动化流程的先进设备。钡铼技术ARMxy工业计算机,以其独特的设计哲学与卓越的技术性能,正成为众多现代化生产线背后…...

Java File IO

Java File IO ~主要介绍四个类 InputStream OutputStream FileReader FileWriter~ InputStream (字节流读取File) public static void main(String[] args) throws IOException {String filePath "D:\\Javaideaporject\\JavaBaseSolid8\\File\\t…...

MySQL 函数与约束

MySQL 函数与约束 文章目录 MySQL 函数与约束1 函数1.1 字符串函数1.2 数值函数1.3 日期函数1.4 流程函数 2 约束2.1 概述2.2 约束演示2.3 外键约束2.4 删除/更新行为 1 函数 函数是指一段可以直接被另一程序调用的程序或代码。 1.1 字符串函数 MySQL中内置了很多字符串函数&…...

12_1 Linux Yum进阶与DNS服务

12_1 Linux Yum进阶与DNS服务 文章目录 12_1 Linux Yum进阶与DNS服务[toc]1. Yum进阶1.1 自定义yum仓库1.2 网络Yum仓库 2. DNS服务2.1 为什么要使用DNS系统2.2 DNS服务器的功能2.3 DNS服务器分类2.4 DNS服务使用的软件及配置2.5 搭建DNS服务示例2.6 DNS特殊解析 1. Yum进阶 1…...

Spring Boot集成geodesy实现距离计算

1.什么是geodesy? 浩瀚的宇宙中,地球是我们赖以生存的家园。自古以来,人类一直对星球上的位置和彼此的距离着迷。无论是航海探险、贸易往来还是科学研究,精确计算两个地点之间的距离都是至关重要的。 Geodesy:大地测量…...

在Windows上用Llama Factory微调Llama 3的基本操作

这篇博客参考了一些文章,例如:教程:利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme:GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100 LLMsUnify Effi…...

01——生产监控平台——WPF

生产监控平台—— 一、介绍 VS2022 .net core(net6版本) 1、文件夹:MVVM /静态资源(图片、字体等) 、用户空间、资源字典等。 2、图片资源库: https://www.iconfont.cn/ ; 1.资源字典Dictionary 1、…...

33、matlab矩阵分解汇总:LU矩阵分解、Cholesky分解和QR分解

1、LU矩阵分解 语法 语法1:[L,U] lu(A) 将满矩阵或稀疏矩阵 A 分解为一个上三角矩阵 U 和一个经过置换的下三角矩阵 L,使得 A L*U。 语法2:[L,U,P] lu(A) 还返回一个置换矩阵 P,并满足 A P*L*U。 语法3:[L,U,P] …...

C语言——使用函数创建动态内存

一、堆和栈的区别 1)栈(Stack): 栈是一种自动分配和释放内存的数据结构,存储函数的参数值、局部变量的值等。栈的特点是后进先出,即最后进入的数据最先出来,类似于我们堆盘子一样。栈的大小和生命周期是由系统自动管理的,不需要程序员手动释放。2)堆(Heap): 堆是由…...

【PL理论】(16) 形式化语义:语义树 | <Φ, S> ⇒ M | 形式化语义 | 为什么需要形式化语义 | 事实:部分编程语言的设计者并不会形式化语义

💭 写在前面:本章我们将继续探讨形式化语义,讲解语义树,然后我们将讨论“为什么需要形式化语义”,以及讲述一个比较有趣的事实(大部分编程语言设计者其实并不会形式化语义的定义)。 目录 0x00…...

前端杂谈-警惕仅引入一行代码言论

插入一行 JavaScript 代码似乎是一种无受害者犯罪。这只是一个小脚本,对吧?但 JavaScript 可以导入更多 JavaScript。-杰里米基思 “这只是一行代码”是我们经常听到的宣传语。这也可能是我们对自己和他人说的最大的谎言。 “仅用一行添加样式”&#x…...

有关cookie配置的一点记录

Domain:可以用在什么域名下,按最小化原则设Path:可以用在什么路径下,按最小化原则Max-Age和Expires:过期时间,只保留必要时间Http-Only:设置为true,这个浏览器上的JS代码将无法使用这…...

Oracle如何定位硬解析高的语句?

查询subpool 情况 select KSMDSIDX supool,round(sum(KSMSSLEN)/1024/1024,2) SQLA_size_mb from x$ksmss where KSMDSIDX<>0 and KSMSSNAMSQLA group by KSMDSIDX;查询subpool top5 SELECT *FROM (SELECT KSMDSIDX subpool,KSMSSNAM name,ROUND(KSMSSLEN / 102…...

Linux卸载残留MySQL【带图文命令巨详细】

Linux卸载残留MySQL 1、检查残留mysql2、检查并删除残留mysql依赖3、检查是否自带mariadb库 1、检查残留mysql 如果残留mysql组件&#xff0c;使用命令 rpm -e --nodeps 残留组件名 按顺序进行移除操作 #检查系统是否残留过mysql rpm -qa | grep mysql2、检查并删除残留mysql…...

4句话学习-k8s节点是如何注册到k8s集群并且kubelet拿到k8s证书的

一、kubelet拿着CSR&#xff08;签名请求&#xff09;使用的是Bootstrap token 二、ControllerManager有一个组件叫CSRAppprovingController&#xff0c;专门来Watch有没有人来使用我这个api. 三、看到有人拿着Bootstrap token的CSR来签名请求了&#xff0c;CSRAppprovingContr…...

基于算法竞赛的c++编程(28)结构体的进阶应用

结构体的嵌套与复杂数据组织 在C中&#xff0c;结构体可以嵌套使用&#xff0c;形成更复杂的数据结构。例如&#xff0c;可以通过嵌套结构体描述多层级数据关系&#xff1a; struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框&#xff0c;很难让人不联想到SQL注入&#xff0c;但提示都说了不是SQL注入&#xff0c;所以就不往这方面想了 ​ 先查看一下网页源码&#xff0c;发现一段JavaScript代码&#xff0c;有一个关键类ctfs…...

基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销&#xff0c;平衡网络负载&#xff0c;延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...

【JavaEE】-- HTTP

1. HTTP是什么&#xff1f; HTTP&#xff08;全称为"超文本传输协议"&#xff09;是一种应用非常广泛的应用层协议&#xff0c;HTTP是基于TCP协议的一种应用层协议。 应用层协议&#xff1a;是计算机网络协议栈中最高层的协议&#xff0c;它定义了运行在不同主机上…...

逻辑回归:给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告&#xff08;肿瘤大小、血液指标&#xff09;&#xff0c;你需要做出一个**决定性判断**&#xff1a;恶性还是良性&#xff1f;这种“非黑即白”的抉择&#xff0c;正是**逻辑回归&#xff08;Logistic Regression&#xff09;** 的战场&a…...

前端导出带有合并单元格的列表

// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat&#xff08;I/O Statistics&#xff09;是Linux系统下用于监视系统输入输出设备和CPU使…...

MMaDA: Multimodal Large Diffusion Language Models

CODE &#xff1a; https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA&#xff0c;它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

基础测试工具使用经验

背景 vtune&#xff0c;perf, nsight system等基础测试工具&#xff0c;都是用过的&#xff0c;但是没有记录&#xff0c;都逐渐忘了。所以写这篇博客总结记录一下&#xff0c;只要以后发现新的用法&#xff0c;就记得来编辑补充一下 perf 比较基础的用法&#xff1a; 先改这…...

Neo4j 集群管理:原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档,本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石,用于构建高可用、可扩展且一致的图数据库服务…...