当前位置： 首页 > news >正文

数据质量管理-时效性管理

news 文章来源：https://blog.csdn.net/weixin_43198581/article/details/140069434 2024/7/4 4:55:15

前情提要

根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档，当前数据质量评价指标框架中包含6评价指标，在实际的数据治理过程中，存在一个关联性指标。7个指标中存在4个定性指标，3个定量指标；

定性指标：规范性、准确性、唯一性、可访问性

定量指标：完整性、时效性、关联性

规范性--数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度；

完整性--按照数据规则要求,数据元素被赋予数值的程度；

准确性--数据准确表示其所描述的真实实体(实际对象)真实值的程度；

一致性--数据与其他特定上下文中使用的数据无矛盾的程度；

时效性--数据在时间变化中的正确程度；

可访问性--数据能被访问的程度；

关联性--数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度；

时效性怎么进行数据监测和指标量化

时效性定义

官方定义：数据在时间变化中的正确程度；

（时效性的定义可以从外部对比的时效性和内部对比的时效性两个方向来梳理）

外部对比的时效性：外部对比的时效性是指从外部数据源获取的数据，数据的更新及时性；

内部对比的时效性：内部对比的时效性是指数据在内部数仓流转、自主研发的数据资源的数据更新是否及时；

作用的环节

数据更新及时与否是针对数据资产或数据场景而言的，因此监测环节可以是数据资产层或者数据服务层；

数据质量管理依据

外部对比的时效性：依据「数据归集标准」中的数据探查维度标准，在探查过程中需要探查数据源的数据更新频率，基于数据源的更新频率制定数据时效性目标；

内部对比的时效性：依据「数据处理标准」中的数据规则执行频率，在数据处理标准中，每个数据规则会制定相关的执行频率，基于执行频率进行对比；

数据监测方法

外部对比的时效性：可以以数据源为监测维度，其核心监测维度是数据归集任务成功与否（与外部对比的完整性一致，这里不再赘述，感兴趣可以看《数据质量管理-完整性》，且为了避免重复计算，时效性指标中可以不纳入数据归集任务指标的计算）、数据业务时间与数据更新时间的时间差两个维度；

数据业务时间与数据更新时间的时间差：外部对比的时效性一般是基于数据源数据更新到****-**-**，而数仓中未及时更新导致的数据时效性指标不及格的情况，所以需要对比数据归集任务的执行时间和数据业务更新时间的对比，基于最近10期确定平均值，制定每个规则的更新周期上限，制定数据时效性监测策略（存在数据融合的情况下需要依据分类决策）；

内部对比的时效性：依据「数据处理标准」中的数据规则执行频率，监测任务执行成功与否；

量化标准

外部对比的完整性：数据业务时间与数据更新时间的时间差可以按以下步骤搭建量化标准；

1.表1:制定每张表需要监测的业务时间字段，每个规则的更新周期上限，制定数据时效性监测策略，如表1所示；

2.表2:存储每张表的数据监测维度中最新10期平均时间差（从第三表中获得），并且基于表1计算出每个规则最新的时间差上限（最新10期平均时间差+数据更新允许推迟最晚周期）；

3.表3:监测每张表的每个规则的最新业务时间和数据库最新更新时间（前提是数据库中有update的时间戳），并且计算出二者时间差，然后基于时间差和表2的时间差-上限做比对，当表3的时间差小于等于表2的时间差-上限，则赋值为正常更新；

4.表4:基于最新的监测时间点中每张表的每个规则正常更新规则数与规则总数的占比，计算外部时效性得分；例如*******A的4个规则在最新一期有3个规则更新成功了，那么本期的外部时效性得分为75分；

内部对比的完整性：内部对比的完整行主要是通过数据任务执行情况，调取任务执行状态，更新数和新增数以及数据库最新更新时间（佐证任务执行状态），最后基于每张表的每个任务执行状态计算平均分，如表2所示；

最终计算表单的时效性总分（内部时效性与外部时效性平均值）；

下一章：可访问性怎么进行数据监测和指标量化 ？

相关文章：

数据质量管理-时效性管理

前情提要 根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档，当前数据质量评价指标框架中包含6评价指标，在实际的数据治理过程中，存在一个关联性指标。7个指标中存在4个定性指标，3个定量指标； 定性指标&am…...

编程日记 2024/6/29 22:30:35

python 实例002 - 数据转换

题目： 有一组用例数据如下： cases [[case_id, case_title, url, data, excepted],[1, 用例1, www.baudi.com, 001, ok],[4, 用例4, www.baudi.com, 002, ok],[2, 用例2, www.baudi.com, 002, ok],[3, 用例3, www.baudi.com, 002, ok],[5, 用例5, www.ba…...

编程日记 2024/6/29 22:29:33

1.k8s：架构，组件，基础概念

目录 一、k8s了解 1.什么是k8s 2.为什么要k8s （1）部署方式演变 （2）k8s作用 （3）Mesos，Swarm，K8S三大平台对比 二、k8s架构、组件 1.k8s架构 2.k8s基础组件 3.k8s附加组件 …...

编程日记 2024/6/29 22:27:31

动态规划基础练习

我们需要先从数组较大的开始进行处理&#xff0c;每次考察上下左右的&#xff0c;比较当前存储的最大值和转移来的值&#xff0c;哪一个大一点 #define _CRT_SECURE_NO_WARNINGS #include<bits/stdc.h> using namespace std;int n, m; int a[105][105]; int addx[] { 0,…...

编程日记 2024/6/29 22:26:29

基于Java的地方废物回收机构管理系统

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果有相关需求&#xff0c;可以私信联系我。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;Java技术&#xff0c;MIS的总体思想&#xff0c;MySQL数据库 工具&#xff1a;Eclipse&#xff0c;…...

编程日记 2024/6/29 22:25:28

Leetcode 450：删除二叉搜索树中的节点

给定一个二叉搜索树的根节点 root 和一个值 key&#xff0c;删除二叉搜索树中的 key 对应的节点&#xff0c;并保证二叉搜索树的性质不变。返回二叉搜索树&#xff08;有可能被更新&#xff09;的根节点的引用。 一般来说&#xff0c;删除节点可分为两个步骤&#xff1a; 首先…...

编程日记 2024/6/29 22:23:26

Go 中使用map时注意的问题

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…...

编程日记 2024/6/29 22:22:25

english-works

前奏&#xff08;prelude&#xff09;&#xff1a; To build up our body, our school sports meeting was held on our play ground last Thursday. All the students in my class took an active part in sports meeting. It began with an opening ceremony on the play g…...

编程日记 2024/6/29 22:21:24

Kubernetes面试整理-如何利用PodSecurityPolicies来提高集群的安全性？

PodSecurityPolicy (PSP) 是 Kubernetes 中用于定义和控制 Pod 安全配置的策略。通过 PSP，可以设置对 Pod 的一些安全约束条件，从而提高集群的安全性。虽然 PSP 从 Kubernetes 1.21 开始已被弃用，并在 1.25 版本中移除，但在一些旧版 Kubernetes 集群中，PSP 仍然是一个重要…...

编程日记 2024/6/29 22:18:22

YOLO网络结构特点收录

YOLO网络结构特点收录 YOLO&#xff08;You Only Look Once&#xff09;网络结构随着版本迭代不断进化&#xff0c;以下是一些关键版本的网络结构特点概述&#xff1a; YOLOv1 输入&#xff1a;将图像调整至固定尺寸&#xff0c;如448x448像素。骨干网络&#xff1a;初期版本…...

编程日记 2024/6/29 22:16:19

人生最有力，最棒的十句话！

人生最有力&#xff0c;最棒的十句话 1、允许一切事发生&#xff0c;所有一切发生的事不是你能阻挡了的&#xff0c;你接受&#xff0c;他也发生&#xff0c;你不接受&#xff0c;他也发生&#xff0c;你还不如坦然面对接受现实。 2、你焦虑的时候千万不要躺着啥也不干&#xf…...

编程日记 2024/6/29 22:15:16

ASUS华硕A豆14笔记本电脑I421EAYB，I421EQYB_ADOL14EA工厂模式原厂Win11系统安装包下载

适用型号&#xff1a;ADOL14EA笔记本I421EAYB、I421EQYB 链接&#xff1a;https://pan.baidu.com/s/1krU8m_lbApyUfZQo5E4cCQ?pwd0ewl 提取码&#xff1a;0ewl 华硕原装WIN11系统工厂安装包&#xff0c;带有MyASUS WinRE RECOVERY恢复功能、自带所有驱动、出厂主题壁纸、系…...

编程日记 2024/6/29 22:13:14

丙酮传感器TGS1820在呼吸气体丙酮含量分析检测中的应用

随着科技的进步&#xff0c;无创检测技术逐渐成为医疗保健领域的新宠。其中&#xff0c;基于呼吸气体的分析检测技术以其独特的优势受到了广泛关注。呼吸气中的挥发性有机化合物&#xff08;VOCs&#xff09;不仅为研究者们提供了关于人体健康状态的宝贵信息&#xff0c;而且它…...

编程日记 2024/6/29 22:11:12

全国今日油价查询-全国今日油价查询接口-API接口

关于油价的信息&#xff0c;以下是详细的分点表示和归纳&#xff1a; 最新油价调整&#xff1a; 时间&#xff1a;2024年6月28日0时 调整内容&#xff1a;汽油价格上调210元/吨&#xff0c;柴油价格上调200元/吨。 涨幅&#xff1a;加油站油价上涨0.16元/升-0.20元/升。 具体油…...

编程日记 2024/6/29 22:09:09

MT1568 学生成绩

题目 有3个学生&#xff0c;每个学生有3门课的成绩&#xff0c;从键盘输入数据&#xff0c;包括学号、姓名、三门课成绩&#xff0c;学号整型&#xff0c;姓名字符型&#xff0c;成绩实型&#xff0c;计算3门课程总平均成绩&#xff0c;以及平均分最高的学生信息。不考虑非法成…...

编程日记 2024/6/29 22:08:07

医院消防设施设备管理系统

医院为人员密集场所&#xff0c;且多为各类病患及其陪护人员&#xff0c;一旦发生火灾&#xff0c;人员疏散逃生困难&#xff0c;容易造成较严重的生命与财产损失。为规范医院的消防设施设备管理&#xff0c;通过凡尔码系统对医院消防设施设备进行信息化管理&#xff0c;提高医…...

编程日记 2024/6/29 22:06:06

[Go 微服务] go-micro + consul 的使用

文章目录 1.go-micro 介绍2.go-micro 的主要功能3.go-micro 安装4.go-micro 的使用4.1 创建服务端4.2 配置服务端 consul4.3 生成客户端 5.goodsinfo 服务5.1 服务端开发5.2 客户端开发 1.go-micro 介绍 Go Micro是一个简化分布式开发 的微服务生态系统&#xff0c;该系统为开…...

编程日记 2024/6/29 22:05:04

嵌入式网页服务实现

嵌入式网页服务的实现方式主要可以归纳为以下几种&#xff1a; 单片机Webchip网关&#xff1a; Webchip&#xff1a;作为专用网络接口芯片&#xff0c;独立于单片机与网关&#xff0c;通过SPI接口与MCU进行指令交互&#xff0c;并通过RS232、USB、Modem等接口与PC作为网关进行通…...

编程日记 2024/6/29 22:03:02

python---OpenCv(二)，背景分离方法较有意思

目录 边界矩形 旋转矩形(最小外接矩形): 计算轮廓 找4个点的坐标 把浮点型转为Int 画轮廓 边界矩形--&#xff08;最大外接矩形&#xff09; 转灰度 找轮廓 找顶点 画矩形 显示 背景分离方法&#xff08;这个很好玩&#xff0c;可以识别在动的物体&#xff09; 边…...

编程日记 2024/6/29 21:59:59

java TCP服务器与客户端通信示例

目录 背景: TCP服务代码解析: TCP服务器的代码: 服务器程序的工作流程: TCP客户端代码解析 : TCP客户端代码: 客户端工作流程: 总结: 背景: 如何使用Java编程语言实现一个简单的TCP服务器和客户端。那么TCP是什么?TCP&#xff08;Transmission Control Protocol&…...

编程日记 2024/6/29 21:56:56

【C++】构造函数和析构函数

目录 对象初始化-构造函数构造函数的分类构造函数的调用拷贝构造的应用构造函数调用规则深拷贝和浅拷贝初始化列表类对象作为类成员静态成员 对象释放-析构函数 对象初始化-构造函数 构造函数是类实例化的时候会自动调用的初始化函数&#xff0c;如果用户不写编译器会提供一个…...

编程日记 2024/6/29 21:53:53

Docker Compose：多容器应用的管理利器

在现代应用开发中&#xff0c;微服务架构已成为主流。管理和编排多个容器应用变得至关重要。Docker Compose 是一个强大的工具&#xff0c;通过一个简单的 YAML 文件定义和运行多容器应用。本文将详细介绍 Docker Compose 的基本概念、安装、用法以及一个实际的示例&#xff0c…...

编程日记 2024/6/29 21:50:48

Leetcode - 133双周赛

目录 一&#xff0c;3190. 使所有元素都可以被 3 整除的最少操作数 二&#xff0c;3191. 使二进制数组全部等于 1 的最少操作次数 I 三&#xff0c;3192. 使二进制数组全部等于 1 的最少操作次数 II 四&#xff0c;3193. 统计逆序对的数目 一&#xff0c;3190. 使所有元素都…...

编程日记 2024/6/29 21:48:46

C++总结

...

编程日记 2024/6/29 21:46:44

汽车免拆诊断案例 | 2016 款吉利帝豪EV车无法加速

故障现象 一辆2016款吉利帝豪EV车&#xff0c;累计行驶里程约为28.4万km&#xff0c;车主反映车辆无法加速。 故障诊断 接车后路试&#xff0c;行驶约1 km&#xff0c;踩下加速踏板&#xff0c;无法加速&#xff0c;车速为20 km/h左右&#xff0c;同时组合仪表上的电机及控制…...

编程日记 2024/6/29 21:45:42

前端开发之webpack

安装与入门超详细&#xff01;webpack入门教程(一)-腾讯云开发者社区-腾讯云...

编程日记 2024/6/29 21:43:41

将内容复制到剪贴板？分享 1 段优质 JS 代码片段！

大家好&#xff0c;我是大澈&#xff01; 本文约 600 字&#xff0c;整篇阅读约需 1 分钟。 每日分享一段优质代码片段。 今天分享一段 JS 代码片段&#xff0c;使用 Clipboard API 实现将内容复制到剪贴板。 老规矩&#xff0c;先阅读代码片段并思考&#xff0c;再看代码解析…...

编程日记 2024/6/29 21:42:40

MAS0902量产工具分享，MAS0902A开卡教程，MAS0901量产工具下载

MAS0902和MAS1102都是基于SATA3.2技术开发的DRAM-less SSD控制芯片&#xff0c;简单来说就是SATA协议无缓存主控。下面是我摸索的麦光黑金300 240G SSD开卡修复简易教程&#xff0c;也就是MAS0902量产过程&#xff1a; 注意&#xff1a;开卡转接线必须要用ASM1153E或JMS578主控…...

编程日记 2024/6/29 21:41:38

从我邮毕业啦！！！

引言 时间过的好快&#xff0c;转眼间就要从北邮毕业了&#xff0c;距离上一次月度总结又过去了两个月&#xff0c;故作本次总结。 PS: https://github.com/WeiXiao-Hyy/blog整理了后端开发的知识网络&#xff0c;欢迎Star&#xff01; 毕业&#x1f393; 6月1号完成了自己的…...

编程日记 2024/6/29 21:40:38

gemini 1.5 flash (node项目）

https://www.npmjs.com/package/google/generative-ai https://ai.google.dev/pricing?hlzh-cn https://aistudio.google.com/app/apikey https://ai.google.dev/gemini-api/docs/models/gemini?hlzh-cn#gemini-1.5-flash https://ai.google.dev/gemini-api/docs/get-started…...

编程日记 2024/6/29 21:39:37

在线字节大端序小端序转换器

具体请前往&#xff1a;在线字节大端序小端序转换器...

编程日记 2024/6/29 21:37:35

css_17_背景属性鼠标属性

一.背景属性 -属性值&#xff1a;background-color&#xff08;设置背景颜色&#xff09; 默认背景颜色是 transparent。 -属性值&#xff1a;background-image&#xff08;设置背景图片&#xff09; url&#xff08;图片的地址&#xff09; -属性值&#xff1a;background-re…...

编程日记 2024/6/29 21:35:34

Python hash编码（go hash编码）

id"中国人" 首先&#xff0c;go语言hash: import (mmh3 "murmurhash3") mmh3.Murmurhash3([]byte(id)) 对应到Python hash编码&#xff0c;可以直接使用mmh3 import mmh3 mmh3.hash(id,signedFalse) 其源码可以表示为 def sum32WithSeed(datas, seed…...

编程日记 2024/6/29 21:34:32

004 插入排序(lua)

文章目录 123 1 -- Lua中没有类和方法的概念&#xff0c;所以我们将所有功能都写在一个脚本中 -- 交换数组中两个元素的功能 local function swap(arr, i, j) local temp arr[i] arr[i] arr[j] arr[j] temp end -- 插入排序算法的实现 local function insertionS…...

编程日记 2024/6/29 21:33:31

计算机网络 —— 基本概念

基本概念 1. 通信协议2. 面向连接 v.s. 面向无连接3. 电路交换 v.s. 分组交换4. 单工通信 v.s. 双工通信 1. 通信协议 通信协议就是计算机与计算机之间通过网络实现通信时事先达成的一种“约定”。这种“约定”使那些由不同厂商的设备、不同的CPU 以及不同的操作系统组成的计算…...

编程日记 2024/6/29 21:32:27

高精度除法的实现

高精度除法与高精度加法的定义、前置过程都是大致相同的&#xff0c;如果想了解具体内容&#xff0c;可以移步至我的这篇博客&#xff1a;高精度加法计算的实现 在这里就不再详细讲解&#xff0c;只讲解主体过程qwq 主体过程 高精度除法的原理和小学学习的竖式除法是一样的。 …...

编程日记 2024/6/29 21:31:26

STM32CUBEMX配置USB虚拟串口

STM32CUBEMX配置USB虚拟串口 cubemx上默认配置即可。 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 配置完后生成工程&#xff0c;主要就是要知道串口的收发接口就行了。 发送&#xff1a;CDC_Transmit_FS()&#xff0c;同时记得包含头文件#include “…...

编程日记 2024/6/29 21:30:25

安卓开发中margin和padding的区别

在 Android 开发中&#xff0c;margin 和 padding 都是用来定义视图&#xff08;View&#xff09;的空间属性&#xff0c;但它们的作用和应用场景有所不同&#xff1a; Margin&#xff08;外边距&#xff09;&#xff1a; Margin 是视图与其他视图之间的空间。它定义了视图之间…...

编程日记 2024/6/29 21:29:23

Symfony事件调度系统：掌控应用程序生命周期的钥匙

Symfony事件调度系统&#xff1a;掌控应用程序生命周期的钥匙 引言 Symfony是一个高度灵活的PHP框架&#xff0c;用于构建各种规模的Web应用程序。它的核心特性之一是事件调度系统&#xff0c;该系统允许开发者在应用程序的生命周期中触发和监听事件。这种机制为开发者提供了…...

编程日记 2024/6/29 21:28:21

maven安装jar和pom到本地仓库

举例子我们要将 elastic-job-spring-boot-starter安装到本地的maven仓库&#xff0c;如下&#xff1a; <dependency><groupId>com.github.yinjihuan</groupId><artifactId>elastic-job-spring-boot-starter</artifactId><version>1.0.5&l…...

编程日记 2024/6/29 21:27:20

[leetcode]assign-cookies. 分发饼干

. - 力扣&#xff08;LeetCode&#xff09; class Solution { public:int findContentChildren(vector<int>& g, vector<int>& s) {sort(g.begin(), g.end());sort(s.begin(), s.end());int m g.size(), n s.size();int count 0;for (int i 0, j 0; i…...

编程日记 2024/6/29 21:26:18

如何轻松解决复杂文档格式转换问题

上周&#xff0c;我遇到了一个棘手的问题&#xff1a;需要将一大堆PDF文件转换成可编辑的Word文档&#xff0c;时间紧迫&#xff0c;手动转换根本来不及。朋友推荐我使用了一个网站——xuelin.cc&#xff0c;这个网站不仅提供强大的AI对话功能&#xff0c;还能轻松完成各种文档…...

编程日记 2024/6/29 21:25:17

日期类（java)

文章目录 第一代日期类 Date常用构造方法SimpleDateFormat 日期格式化类日期转字符串&#xff08;String -> Date)字符串转日期 (String->Date) 第二代日期类 Calendar常用字段与如何得到实例对象相关 API 第三代日期类&#xff08;LocalDate\TIme)日期&#xff0c;时间&…...

编程日记 2024/6/29 21:24:13

【深度学习】C++ Tensorrt Yolov8 目标检测推理

C Tensorrt Yolov8 目标检测推理 模型导出代码yolov8.hyolov8.cppcommon.hppCMakeListmain.cpp C tensorrt对yolov8目标检测模型进行推理。 Windows版本下只需要修改common.hpp对文件的判断S_ISREG 和对文件夹的判断S_ISDIR即可&#xff0c;非核心代码&#xff0c;不调用删掉都…...

编程日记 2024/6/29 21:20:09

【项目日记（二）】搜索引擎-索引制作

❣博主主页: 33的博客❣ ▶️文章专栏分类:项目日记◀️ &#x1f69a;我的代码仓库: 33的代码仓库&#x1f69a; &#x1faf5;&#x1faf5;&#x1faf5;关注我带你了解更多项目内容 目录 1.前言2.索引结构2.1创捷索引2.2根据索引查询2.3新增文档2.4内存索引保存到磁盘2.5把…...

编程日记 2024/6/29 21:19:08

K 近邻、K-NN 算法图文详解

1. 为什么学习KNN算法 KNN是监督学习分类算法&#xff0c;主要解决现实生活中分类问题。根据目标的不同将监督学习任务分为了分类学习及回归预测问题。 KNN&#xff08;K-Nearest Neihbor&#xff0c;KNN&#xff09;K近邻是机器学习算法中理论最简单&#xff0c;最好理解的算法…...

编程日记 2024/6/29 21:17:06

Eclipse + GDB + J-Link 的单片机程序调试实践

Eclipse GDB J-Link 的调试实践 本文介绍如何创建Eclipse的调试配置&#xff0c;如何控制调试过程&#xff0c;如何查看修改各种变量。 对 Eclipse 的要求 所用 Eclipse 应当安装了 Eclipse Embedded CDT 插件。从 https://www.eclipse.org/downloads/packages/ 下载 Ecli…...

编程日记 2024/6/29 21:16:04

前端代码生成辅助工具

1&#xff0c;Axure Axure设计的界面如何生成HTML文件 https://blog.csdn.net/qq_43279782/article/details/112387511 Axure 生成HTML 文件&#xff0c;并用Chrome打开 https://blog.csdn.net/qq_30718137/article/details/80621025 2&#xff0c;OpenUI [开源] OpenUI …...

编程日记 2024/6/29 21:15:01

静态库与动态库总结

一、库文件和头文件 所谓库文件&#xff0c;可以将其理解为压缩包文件&#xff0c;该文件内部通常包含不止一个目标文件&#xff08;也就是二进制文件&#xff09;。 值得一提的是&#xff0c;库文件中每个目标文件存储的代码&#xff0c;并非完整的程序&#xff0c;而是一个…...

编程日记 2024/6/29 21:11:58

深入解析tcpdump：网络数据包捕获与分析的利器

引言 在网络技术日新月异的今天&#xff0c;网络数据包的捕获与分析成为了网络管理员、安全专家以及开发人员不可或缺的技能。其中&#xff0c;tcpdump作为一款强大的网络数据包捕获分析工具&#xff0c;广泛应用于Linux系统中。本文将从技术人的角度&#xff0c;详细分析tcpdu…...

编程日记 2024/6/29 21:10:57

拼多多职位数据信息采集

数据信息采集 洛哥爬虫【视频】 爱写爬虫 我爱扣脚 https://careers.pinduoduo.com/jobs#/from DrissionPage import ChromiumPage, ChromiumOptions def fetch_pinduoduo_jobs():# 创建ChromiumOptions对象co ChromiumOptions()# 提供浏览器可执行文件的路径path rC:\Pro…...

编程日记 2024/7/4 4:22:25

jenkins 发布服务到linux服务器

1.环境准备 1.1 需要一台已经部署了jenkins的服务器&#xff0c;上面已经集成好了&#xff0c;jdk、maven、nodejs、git等基础的服务。 1.2 需要安装插件 pusblish over ssh 1.3 准备一台额外的linux服务器&#xff0c;安装好jdk 2.流程描述 2.1 配置jenkins&#xff0c;包括p…...

编程日记 2024/7/4 2:35:25

Vite: 插件流水线之核心编译能力

概述 Vite 在开发阶段实现了一个按需加载的服务器&#xff0c;每一个文件请求进来都会经历一系列的编译流程&#xff0c;然后 Vite 会将编译结果响应给浏览器。在生产环境下&#xff0c;Vite 同样会执行一系列编译过程&#xff0c;将编译结果交给 Rollup 进行模块打包这一系列…...

编程日记 2024/7/4 1:06:29

深入理解Vue生命周期钩子函数

深入理解Vue生命周期钩子函数 Vue.js 是一款流行的前端框架&#xff0c;通过其强大的响应式数据绑定和组件化的开发方式&#xff0c;使得前端开发变得更加简单和高效。在Vue应用中&#xff0c;每个组件都有其生命周期&#xff0c;这些生命周期钩子函数允许开发者在不同阶段执行…...

编程日记 2024/7/3 21:23:58

7.2、指针变量的定义和使用

代码 #include <iostream> using namespace std; #include <string>int main() {//定义指针int a 10;//指针定义语法&#xff1a;数据类型 * 指针变量名int * p;//让指针记录变量a的地址p &a;cout << "a的地址为&#xff1a;" << &am…...

编程日记 2024/7/3 16:04:42

LabVIEW项目外协时选择公司与个人兼职的比较

​在选择LabVIEW项目外协合作伙伴时&#xff0c;外协公司和个人兼职各有优劣。个人兼职成本较低且灵活&#xff0c;但在可靠性、技术覆盖面、资源和风险管理上存在不足。而外协公司拥有专业团队、丰富资源、完善的项目管理和风险控制&#xff0c;尽管成本较高&#xff0c;但能提…...

编程日记 2024/7/3 15:24:14

保山能源发展股份有限公司674.8724万股占比0.56%转让，底价50

6月26日，据全国产权行业信息化综合服务平台披露，保山能源发展股份有限公司674.8724万股挂牌转让，转让方为云南省地方电力实业开发有限公司，转让底价为501.82万元，信息披露起止时间为2024年6月26日至2024年7月24日。资料显示，转让标的保山能源发展股份有限公司注册资本119…...

编程日记 2024/7/4 3:34:17

马斯克：若苹果在操作系统层面集成OpenAI，我将禁止苹果设备进入我的公

文｜编辑部整理 编辑｜大风马斯克:若苹果在操作系统层面集成OpenAI，我将禁止苹果设备进入我的公司马斯克表示，如果苹果与OpenAI合作，在操作系统层面整合ChatGPT，我将禁止那些携带苹果设备的人来访。届时，访客将需要在公司大门口接受针对苹果设备的设备检查。马斯克提及，“…...

编程日记 2024/7/3 18:55:47

Flutter 中的 Viewport 小部件：全面指南

Flutter 中的 Viewport 小部件&#xff1a;全面指南 Flutter 是一个现代的移动和 web 应用开发框架&#xff0c;它允许开发者以一种非常直观和高效的方式构建用户界面。在 Flutter 中&#xff0c;Viewport 是一个非常重要的小部件&#xff0c;它提供了一个滚动视口&#xff0c…...

编程日记 2024/7/3 14:43:50

【微服务】springboot 构建docker镜像多模式使用详解

目录 一、前言 二、微服务常用的镜像构建方案 3.1 使用Dockerfile 3.2 使用docker plugin插件 3.3 使用docker compose 编排文件 三、环境准备 3.1 服务器 3.2 安装JDK环境 3.2.1 创建目录 3.2.2 下载安装包 3.2.3 配置环境变量 2.2.4 查看java版本 3.3 安装maven …...

编程日记 2024/7/3 8:14:55

【Numpy】NumPy基础入门：创建和管理多维数组

NumPy基础入门&#xff1a;创建和管理多维数组 简介 NumPy&#xff08;Numerical Python的简称&#xff09;是Python语言的一个基础科学计算库&#xff0c;广泛应用于数据分析、机器学习、科学计算和工程领域。NumPy的核心是其强大的N维数组对象ndarray&#xff0c;它为Pytho…...

编程日记 2024/7/3 11:58:08

Android：使用Kotlin搭建MVC架构模式

一、简介Android MVC架构模式 M 层 model &#xff0c;负责处理数据&#xff0c;例如网络请求、数据变化 V 层 对应的是布局 C 层 Controller&#xff0c; 对应的是Activity&#xff0c;处理业务逻辑&#xff0c;包含V层的事情&#xff0c;还会做其他的事情&#xff0c;导致 ac…...

编程日记 2024/7/3 18:43:31