当前位置： 首页 > news >正文

数据分析-29-基于pandas的窗口操作和对JSON格式数据的处理

news 2026/2/8 18:51:58

文章目录

  • 1 窗口操作
    • 1.1 滑动窗口思想
    • 1.2 函数df.rolling
  • 2 JSON格式数据
    • 2.1 处理简单JSON对象和JSON列表
      • 2.1.1 处理简单的JSON结构
      • 2.1.2 处理空字段
      • 2.1.3 获取部分字段
    • 2.2 处理多级json
      • 2.2.1 展开所有级别(默认)
      • 2.2.2 自定义展开层级
    • 2.3 处理嵌套列表JSON
  • 3 参考附录

1 窗口操作

1.1 滑动窗口思想

这个思想其实很好理解，如下图，假如窗口的大小是3，当不断有新数据来时，我们会维护一个大小为3的一个区间，超过3的就将新的放入老的移走。
在这里插入图片描述

这个过程有点像火车在铁轨上跑，原始数据可能保存在一个很大的空间里(铁轨)，但是我们标记的小区间就像一列长度固定的火车，一直向前走。
一、窗口
窗口其实就是两个变量left和right之间的元素，也可以理解为一个区间。窗口大小不一定固定，思考两种场景：
(1)如果是固定的，一般要先确定窗口是否越界，再执行逻辑处理。则一般会让你求哪个窗口的元素最大、最小、平均值、和最大、和最小等类型的问题。
(2)如果是可变的窗口，一般先判断是否满足要求，再执行逻辑处理。则一般要求一个序列里最大、最小窗口是什么。
二、滑动
说明这个窗口是移动的，事实上移动的仍然是left和right两个变量，而不是序列中的元素。当变量移动时，其中间的元素必然会发生变化࿰

相关文章：

数据分析-29-基于pandas的窗口操作和对JSON格式数据的处理

文章目录 1 窗口操作1.1 滑动窗口思想1.2 函数df.rolling2 JSON格式数据2.1 处理简单JSON对象和JSON列表2.1.1 处理简单的JSON结构2.1.2 处理空字段2.1.3 获取部分字段2.2 处理多级json2.2.1 展开所有级别(默认)2.2.2 自定义展开层级2.3 处理嵌套列表JSON3 参考附录1 窗口操作 …...

编程日记 2024/10/3 2:58:52

Ubuntu-WSL2一键设置代理操作

现状： Window11中拥有自己的代理软件 ，可以科学上网已在WSL2中安装Ubuntu22.04 需求： Ubuntu-WSL2实现科学上网 实现： 参考：为 WSL2 一键设置代理 Linux 子系统中的网关指向的是 Windows，DNS 服务器指…...

编程日记 2024/10/3 2:55:49

ubuntu命令行连接wifi

在Ubuntu上，你可以通过命令行连接到Wi-Fi网络。以下是详细步骤，主要使用 nmcli 和 nmtui 命令。 方法 1：使用 nmcli nmcli 是 NetworkManager 的命令行界面，用于管理网络连接。以下是使用 nmcli 连接到 Wi-Fi 网络的步骤&#x…...

编程日记 2024/10/3 2:53:47

日常工作第10天：

vim 批量编辑的命令是 移动光标到列首。按键 CtrlV 进入 Visual block 模式，标记你想要进行编辑的列（HJKL可以向左下上右移动光标）。按键 ShiftI 进入 Insert 模式，在列首输入文本；或者 Shift A，追加文本…...

编程日记 2024/10/3 2:52:46

CNN+Transformer解说

CNN（卷积神经网络）和Transformer是两种在深度学习领域广泛使用的模型架构，它们在处理不同类型的数据和任务时各有优势。 CNN擅长捕捉局部特征和空间层次结构，而Transformer擅长处理序列数据和长距离依赖关系。 将CNN与Transform…...

编程日记 2024/10/3 2:50:43

jmeter中token测试

案例： 网站：http://shop.duoceshi.com 讲解：用三个接口来讲解 第一个接口code：GET http://manage.duoceshi.com/auth/code 第二个登录接口：http://manage.duoceshi.com/auth/login 第三个接口：http://…...

编程日记 2024/10/3 2:48:42

基于解压缩模块的JPEG同步重压缩检测论文学习

一、论文基本信息： 论文题目：基于解压缩模块的JPEG同步重压缩检测 作者：王金伟1 ，胡冰涛1 ，张家伟1 ，马 宾2 ，罗向阳3 （1.南京信息工程大学计算机学院、网络空间安全学院&#xf…...

编程日记 2024/10/3 2:46:40

音视频入门基础：FLV专题（7）——Tag header简介

一、引言 从《音视频入门基础：FLV专题（3）——FLV header简介》中可以知道， 在FLV header之后，FLV文件剩下的部分应由PreviousTagSize和Tag组成。FLV文件 FLV header PreviousTagSize0 Tag1 PreviousTagSize1 Ta…...

编程日记 2024/10/3 2:45:39

【Linux 报错】“make: ‘xxxx‘ is up to date.” 解决办法

一、报错原因 我们使用 make 命令，想要将 text.c 文件编译形成 可执行文件 text 时，报错如下 make: test is up to date. 中文含义：test 文件已经达到最新状态 意思是： test.c 文件里面的 所有源代码都没有修改过，你…...

编程日记 2024/10/3 2:44:38

【FPGA开发】Xilinx FPGA差分输入时钟的使用方法

正文 以前在使用ZYNQ的领航者ZYNQ7020进行FPGA学习时，它们使用的单端50M的输入时钟，在verlog代码编写上比较简单，而现在使用Alinx的AXU3EG开发板时，发现它使用的是200M的差分输入时钟，哪这个时候，输入时钟要…...

编程日记 2024/10/3 2:39:34

面试扩展知识点

1.C语言中分为下面几个存储区 栈(stack): 由编译器自动分配释放堆(heap): 一般由程序员分配释放，若程序员不释放，程序结束时可能由OS回收全局区(静态区): 全局变量和静态变量的存储是放在一块的，初始化的全局变量和静态变量在一块区域&#…...

编程日记 2024/10/3 2:38:33

【经验分享】MyCAT 中间件

学习了一下数据量过大的解决方案,使用 MyCAT 中间件。 MyCAT 可以解决分布式事务、读写分离、主从、分片等一系列MySQL集群和分布式问题。 整体过程可以概括为拦截 - 分发 - 响应 例如设置 MyCAT 分片规则为每500万条数据就换一个数据库存储。 分库分表的中心思想都是将数据…...

编程日记 2024/10/3 2:36:32

Kotlin：1.8.0 的新特性

一、概述 Kotlin 1.8.0版本英语官方文档 Kotlin 1.8.0 中文官方文档 The Kotlin 1.8.0 release is out and here are some of its biggest highlights: Kotlin 1.8.0发布了，下面是它的一些亮点: JVM 平台新增实验性函数：递归复制或删除目录内容改进了 …...

编程日记 2024/10/3 2:35:31

深度学习之开发环境(CUDA、Conda、Pytorch)准备（4）

目录 1.CUDA 介绍 1.1 CUDA 的基本概念 1.2 CUDA 的工作原理 1.3 CUDA 的应用领域 2. 安装CUDA 2.1 查看GPU版本 2.2 升级驱动（可选） 2.3 查看CUDA版本驱动对应的支持的CUDA ToolKit工具包 2.4 下载Toolkit 2.5 安装（省略&#xff0…...

编程日记 2024/10/3 2:31:28

10月2日笔记（内网资源探测篇）

内网资源探测 在内网渗透中，测试人员往往需要通过各种内网扫描技术来探测内网资源的情况，为后续的横向渗透做准备，通常需要发现内网存活的主机，并探测主机的操作系统、主机开放了哪些端口、端口上运行了哪些服务、服务的当前版本…...

编程日记 2024/10/3 2:30:27

SpringCloud-基于Docker和Docker-Compose的项目部署

一、初始化环境 1. 卸载旧版本 首先，卸载可能已存在的旧版本 Docker。如果您不确定是否安装过，可以直接执行以下命令： sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logro…...

编程日记 2024/10/3 2:28:26

Linux下的基本指令/命令(一)

目录 基本命令 1. Is命令/指令: 罗列当前目录下指定的文件或者目录. 2. pwd命令： 查看当前工作的路径 3. cd命令： 切换到指定路径下。 只能切换到目录中 4. tree命令: 树状显式目录 使用前要输入命令 yum install -y tree ，用来安装一个…...

编程日记 2024/10/3 2:27:24

从零开始Ubuntu24.04上Docker构建自动化部署（四）Docker安装gitlab

你会发现所有gitlab都无法拉取到的情况下，经查找极狐下的gitlab还可以下载，具体如下： 建议保存地址： https://packages.gitlab.cn/#browse/searchkeyword%3Dgitlab 最新版本： sudo docker pull registry.gitlab.cn…...

编程日记 2024/10/3 2:25:22

No module named ‘_ssl‘

目录 背景具体报错检验升级过程步骤一：升级ssl。步骤二：重新编译安装python 背景 换了台服务器按照之前centos升级python版本升级python正常编译安装成功，但是当使用时又出现了奇怪的报错，估计是机器太老了 具体报错 这个报错也…...

编程日记 2024/10/3 2:23:20

Linux —— Socket编程（三）

一、本章重点 1. tcp服务器实现思路，进一步了解和总结相关的接口 2. 了解日志和守护进程 二、tcp服务器核心思路 tcp版的服务器与udp的不同在于，udp是面向数据报传输数据，在数据传输中不需要建立与客户端的链接，直接用recvfrom…...

编程日记 2024/10/3 2:20:17

树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频

使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...

编程新知 2025/11/5 13:03:58

【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密

在实际项目中，用户注册、登录、修改密码等操作，都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输，在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...

编程新知 2025/11/28 6:00:25

【论文笔记】若干矿井粉尘检测算法概述

总的来说&#xff0c;传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度&#xff0c;通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

编程新知 2025/10/14 10:52:24

华为OD机试-食堂供餐-二分法

import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...

编程新知 2026/1/28 11:11:03

Swagger和OpenApi的前世今生

Swagger与OpenAPI的关系演进是API标准化进程中的重要篇章&#xff0c;二者共同塑造了现代RESTful API的开发范式。 本期就扒一扒其技术演进的关键节点与核心逻辑&#xff1a; &#x1f504; 一、起源与初创期&#xff1a;Swagger的诞生&#xff08;2010-2014&#xff09; 核心…...

编程新知 2026/1/25 9:08:41

Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？

在大数据处理领域&#xff0c;Hive 作为 Hadoop 生态中重要的数据仓库工具&#xff0c;其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式&#xff0c;很多开发者常常陷入选择困境。本文将从底…...

编程新知 2025/12/6 10:54:35

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

JS手写代码篇----使用Promise封装AJAX请求

15、使用Promise封装AJAX请求 promise就有reject和resolve了&#xff0c;就不必写成功和失败的回调函数了 const BASEURL ./手写ajax/test.jsonfunction promiseAjax() {return new Promise((resolve, reject) > {const xhr new XMLHttpRequest();xhr.open("get&quo…...

编程新知 2025/12/16 3:15:21

【JavaSE】多线程基础学习笔记

多线程基础 -线程相关概念 程序&#xff08;Program&#xff09; 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序&#xff0c;比如我们使用QQ&#xff0c;就启动了一个进程&#xff0c;操作系统就会为该进程分配内存…...

编程新知 2025/9/12 0:57:34

day36-多路IO复用

一、基本概念 &#xff08;服务器多客户端模型&#xff09; 定义&#xff1a;单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用&#xff1a;应用程序通常需要处理来自多条事件流中的事件&#xff0c;比如我现在用的电脑&#xff0c;需要同时处理键盘鼠标…...

编程新知 2026/1/31 7:42:50