Python自动化办公篇—pandas操作Excel：读取+查看+选择+清洗+排序+筛选+函数+写入
目录
- 专栏导读
- 库的介绍
- 库的安装
- 1、读取数据
- 2、查看数据
- 3、选择数据
- 4、数据清洗
- 5、数据排序
- 6、数据筛选
- 7、数据操作
- 8、数据写入
- 总结
专栏导读
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL（三）—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL（二）：Python连接MySQL实现简单的—增—删—查—改（详细教程） | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入（发给任何人都能打开） | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)（键不可重复如重复保留最后有一个键值对） | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少？ | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列，2为B列以此类推（更新与2024-4-3） | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸，不改变图片格式) | 点我进行跳转 |
🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手
🏳️🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注
👍 该系列文章专栏：请点击——>Python办公自动化专栏求订阅
🕷 此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅
📕 此外还有python基础专栏：请点击——>Python基础学习专栏求订阅
文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏
❤️ 欢迎各位佬关注！ ❤️
库的介绍
库的安装
pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/
1、读取数据
pd.read_csv(): 从CSV文件读取数据
pd.read_excel(): 从Excel文件读取数据
pd.read_sql(): 从SQL数据库读取数据
pd.read_json(): 从JSON文件读取数据
pd.read_html(): 从网页读取HTML表格
2、查看数据
df.head(n): 显示前n行数据（默认是5行）
df.tail(n): 显示后n行数据（默认是5行）
df.info(): 显示DataFrame的信息（包括列名、数据类型、非空值数量等）
df.describe(): 显示数值列的统计信息（如计数、均值、标准差等）
3、选择数据
df[column_name]: 选择单列数据
df[[column1, column2]]: 选择多列数据
df.loc[row_indexer, column_indexer]: 基于标签选择数据
df.iloc[row_indexer, column_indexer]: 基于整数位置选择数据
df.at[row_label, column_label]: 选择单个值（基于标签）
df.iat[row_position, column_position]: 选择单个值（基于整数位置）
4、数据清洗
df.dropna(): 删除包含缺失值的行或列
df.fillna(value): 用指定的值填充缺失值
df.replace(to_replace, value): 替换值
df.astype(dtype): 更改列的数据类型
df.duplicated(): 显示重复的行
df.drop_duplicates(): 删除重复的行
5、数据排序
df.sort_values(by=column_name, ascending=True): 对指定列进行排序
df.sort_index(): 对索引进行排序
df.rank(): 对数据进行排名
6、数据筛选
df[condition]: 使用条件表达式筛选数据
df.query('column_name > value'): 使用字符串表达式筛选数据
7、数据操作
df.apply(function): 对DataFrame的每个元素、行或列应用函数
df.applymap(function): 对DataFrame的每个元素应用函数
df.map(function): 对Series的每个元素应用函数
df.groupby(by): 根据列的值对数据进行分组
df.merge(other_df, on=column_name): 根据列的值合并两个DataFrame
df.concat([df1, df2], axis=0): 连接多个DataFrame（沿行或列）
df.pivot(index=None, columns=None, values=None): 创建一个透视表
8、数据写入
df.to_csv(file_path): 将DataFrame写入CSV文件
df.to_excel(file_path): 将DataFrame写入Excel文件
df.to_sql(name, con, if_exists='fail', index=True): 将DataFrame写入SQL数据库
df.to_json(file_path): 将DataFrame写入JSON文件
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL（三）—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL（二）：Python连接MySQL实现简单的—增—删—查—改（详细教程） | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入（发给任何人都能打开） | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)（键不可重复如重复保留最后有一个键值对） | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少？ | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列，2为B列以此类推（更新与2024-4-3） | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸，不改变图片格式) | 点我进行跳转 |
总结
-
希望对初学者有帮助
-
致力于办公自动化的小小程序员一枚
-
希望能得到大家的【一个免费关注】！感谢
-
求个 🤞 关注 🤞
-
此外还有办公自动化专栏，欢迎大家订阅：Python办公自动化专栏
-
求个 ❤️ 喜欢 ❤️
-
此外还有爬虫专栏，欢迎大家订阅：Python爬虫基础专栏
-
求个 👍 收藏 👍
-
此外还有Python基础专栏，欢迎大家订阅：Python基础学习专栏
相关文章：
Python自动化办公篇—pandas操作Excel：读取+查看+选择+清洗+排序+筛选+函数+写入
目录 专栏导读库的介绍库的安装1、读取数据2、查看数据3、选择数据4、数据清洗5、数据排序6、数据筛选7、数据操作8、数据写入总结 专栏导读 文章名称链接Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本)点我进行跳转Pyt…...
数据库大作业——音乐平台数据库管理系统
W...Y的主页😊 代码仓库分享💕 《数据库系统》课程设计 ：流行音乐管理平台数据库系统（本数据库大作业使用软件sql server、dreamweaver、power designer） 目录 系统需求设计 数据库概念结构设计 实体分析 属性分…...
【DBA早下班系列】—— 并行SQL/慢SQL 问题该如何高效收集诊断信息
1. 前言 OceanBase论坛问答区或者提交工单支持的时候大部分时间都浪费在了诊断信息的获取交互上，今天我就其中大家比较头疼的SQL问题，给大家讲解一下如何一键收集并行SQL/慢SQL所需要的诊断信息，减少沟通成本，让大家早下班。 2. …...
用python实现多文件多文本替换功能
用python实现多文件多文本替换功能 今天修改单位项目代码时由于改变了一个数据结构名称，结果有几十个文件都要修改，一个个改实在太麻烦，又没有搜到比较靠谱的工具软件，于是干脆用python手撸了一个小工具，发现python在…...
【DevOps】深入探索Ubuntu操作系统：全面了解
引言 在开源软件的世界里，Ubuntu是一个闪耀的明星。它不仅是一个操作系统，更是一种社区精神、一种共享和协作的文化。Ubuntu操作系统基于强大的Linux内核，由世界各地的开发者共同维护和改进。在这篇博文中，我们将深入探索Ubuntu操…...
【Linux】—MySQL安装
文章目录 前言一、下载官方MySQL包二、下载完成后，通过xftp6上传到Linux服务器上三、解压MySQL安装包四、在安装目录下执行rpm安装，请按顺序依次执行。五、配置MySQL六、启动MySQL数据库七、退出，重新登录数据库 前言 本文主要介绍在Linux环境…...
【vue】form表单提交validate验证不进valid原因
目录 1. 原因 1. 原因 1.<el-form>是否写了ref“form”。2.是否有其它标签写了ref“form”。3.<el-form>中要写成:model，不能使用v-model。4.自定义的validate要各个路径均能返回callback()。 const validatePass (rule, value, callback) > {if (…...
如何用 Google Chrome 浏览器浏览经过 XSLT 渲染的 XML 文件
对于经过XSLT渲染的XML文件，本来，可以直接用 IE (Internet Explorer) 打开，就能看到渲染之后的样子，很方便。但是后来，微软把 IE 换成了 Microsoft Edge，按理说这是比 IE 更先进的浏览器，可是偏…...
Python学习笔记12：进阶篇(二)，类的继承与组合
类的继承 我们在编写一系列的类的时候，会发现这些类很相似，但是又有各自的特点和行为。在编写这些类的时候，我们可以把相同的部分抽象成一个基类，然后根据其他不同的特点和行为，抽象出子类，继承这个基类。…...
npm install cnpm -g 报错4048
npm install cnpm -g 报错4048 设置淘宝镜像： 报错如下： 其他博主提供的方法都尝试了，比如管理员权限打开终端，删除.npmrc文件，清除缓存npm cache clean -f等都试了无效，最后怀疑是npm和cnpm版本不对应&…...
本地快速部署 SuperSonic
本地快速部署 SuperSonic 0. 引言1. 本地快速部署 supersonic2. 访问 supersonic3. 支持的数据库4. github 地址 0. 引言 SuperSonic融合Chat BI（powered by LLM）和Headless BI（powered by 语义层）打造新一代的BI平台。这种融合确…...
如何给vue开发的网站做seo?
最近公司有个需求，需要给公司的官网sqlynx做seo，但因为各种历史原因吧，原来的网站是用vue开发的。没办法，只能尝试尽量做一些seo，让网站能更好一些。 目录 1. 服务器端渲染（SSR） 2. 预渲染&am…...
算法训练营第六十天（延长12天添加图论) | LeetCode 647 回文子串、LeetCode 516 最长回文子序列
LeetCode 67 回文子串 思路很简单，每一个dp[i]等于dp[i-1]加上当前字符向前直到0各个长度字符串回文串个数即可 代码如下： class Solution {public boolean isValid(String s) {int l 0, r s.length() - 1;while (l < r) {if (s.charAt(l) ! s.ch…...
TikTok账号养号的流程分享
对于很多刚开始运营TikTok的新手小白来说，都会有一个同样的疑问，那就是：TikTok到底需不需要养号？这里明确告诉大家是需要养号的，今天就把我自己实操过的养号经验和策略总结出来，分享给大家。 一、什么是Ti…...
C++初学者指南第一步---6.枚举和枚举类
C初学者指南第一步—6.枚举和枚举类 文章目录 C初学者指南第一步---6.枚举和枚举类1.作用域的枚举(enum class类型）（C11）2.无作用域的枚举(enum类型)3.枚举类的基础类型4.自定义枚举类映射5.和基础类型的互相转换 1.作用域的枚举(enum class类…...
【js判断机型】
var isIOS /(iPhone|iPad|iPod)/i.test(navigator.userAgent) var isiPad navigator.userAgent.match(/(iPad)/) || (navigator.platform ‘MacIntel’ && navigator.maxTouchPoints > 1) 上面这个不行的话，再试下这个 var isiPad (navigator.userAg…...
google chrome浏览器安装crx插件Jam
先上一张图： Jam是bug报告生成插件 1、在地址栏中输入chrome://extensions/，然后回车。 2、将下载好的crx插件，直接拖到里面就可以完成安装工作了。 3、测试了一下jam插件，发现直接没有响应。 4、点击【移除】直接可以删除插件…...
【Java面试】二十、JVM篇（上）：JVM结构
文章目录 1、JVM2、程序计数器3、堆4、栈4.1 垃圾回收是否涉及栈内存4.2 栈内存分配越大越好吗4.3 方法内的局部变量是否线程安全吗4.4 栈内存溢出的情况4.5 堆和栈的区别是什么 5、方法区5.1 常量池5.2 运行时常量池 6、直接内存 1、JVM Java源码编译成class字节码后…...
【Python教程】压缩PDF文件大小
压缩 PDF 文件能有效减小文件大小并提高文件传输的效率，同时还能节省计算机存储空间。除了使用一些专业工具对PDF文件进行压缩，我们还可以通过 Python 来执行该操作，实现自动化、批量处理PDF文件。 本文将分享一个简单有效的使用 Python 压缩…...
UE4中性能优化和检测工具
UE4中性能优化和检测工具合集 简述CPUUnreal InsightUnreal ProfilerSimpleperfAndroid StudioPerfettoXCode TimeprofilerBest Practice GPUAdreno GPUMali GPUAndroid GPU Inspector (AGI) 内存堆内存分析Android StudioLoliProfilerUE5 Memory InsightsUnity Mono 内存Memre…...
。】2022-5-15)
【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15
缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...
中南大学无人机智能体的全面评估！BEDI：用于评估无人机上具身智能体的综合性基准测试
作者：Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位：中南大学地球科学与信息物理学院论文标题：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接：https://arxiv.…...
【第二十一章 SDIO接口(SDIO)】
第二十一章 SDIO接口 目录 第二十一章 SDIO接口(SDIO) 1 SDIO 主要功能 2 SDIO 总线拓扑 3 SDIO 功能描述 3.1 SDIO 适配器 3.2 SDIOAHB 接口 4 卡功能描述 4.1 卡识别模式 4.2 卡复位 4.3 操作电压范围确认 4.4 卡识别过程 4.5 写数据块 4.6 读数据块 4.7 数据流…...
【大模型RAG】Docker 一键部署 Milvus 完整攻略
本文概要 Milvus 2.5 Stand-alone 版可通过 Docker 在几分钟内完成安装；只需暴露 19530（gRPC）与 9091（HTTP/WebUI）两个端口，即可让本地电脑通过 PyMilvus 或浏览器访问远程 Linux 服务器上的 Milvus。下面…...
全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比
目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...
视频行为标注工具BehaviLabel（源码+使用介绍+Windows.Exe版本）
前言： 最近在做行为检测相关的模型，用的是时空图卷积网络（STGCN），但原有kinetic-400数据集数据质量较低，需要进行细粒度的标注，同时粗略搜了下已有开源工具基本都集中于图像分割这块，…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...
7种分类数据编码技术详解：从原理到实战
在数据分析和机器学习领域，分类数据（Categorical Data）的处理是一个基础但至关重要的环节。分类数据指的是由有限数量的离散值组成的数据类型，如性别（男/女）、颜色（红/绿/蓝）或产品类…...
电脑定时关机工具推荐
软件介绍 本文介绍一款轻量级的电脑自动关机工具，无需安装，使用简单，可满足定时关机需求。 工具简介 这款关机助手是一款无需安装的小型软件，文件体积仅60KB，下载后可直接运行，无需复杂配置。 使用…...