当前位置：首页 > news >正文

机器学习或深度学习的数据读取工作（大数据处理）

news 文章来源：https://blog.csdn.net/xiaiming0/article/details/135175708 2024/9/22 0:54:20

机器学习或深度学习的数据读取工作（大数据处理）主要是.split和re.findall和glob.glob运用。
读取文件的路径（为了获得文件内容）和提取文件路径中感兴趣的东西(标签)
1，“glob.glob”用于读取文件路径
2，“.split“用于字符串分割
3，”re.findall“用于获取字符串里的感兴趣的东西

文章目录

一、目标是什么？
二、实验代码
- 2.1 获取全部路径(包含文件名的路径)
- - - 2.1.1 获取全部路径错误代码如下（示例）：
    - 2.1.2 获取全部路径错误代码结果：
    - 2.1.3 获取全部路径正确代码：
    - 2.1.4 获取全部路径正确代码结果
- 2.2 分别获取训练集和测试集的文件路径
- 2.3 获取文件名里面指定的内容
3 全部代码
注意事项

一、目标是什么？

获取rubbish文件夹下以.txt结尾文件的路径，并提取文件名里面指定的内容（本次实验是获取文件名（test_故障1_数据1.txt）里“数据”后面的数字）。
在这里插入图片描述

二、实验代码

2.1 获取全部路径(包含文件名的路径)

2.1.1 获取全部路径错误代码如下（示例）：

import numpy as np
import glob
import re# 1，错误获取路径
data_path_error = glob.glob(r'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish/*/*.txt')
data_path_error.sort()

2.1.2 获取全部路径错误代码结果：

# ['C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据1.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据21.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据30.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据11.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据24.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据31.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据2.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据33.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据41.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据11.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据38.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据72.txt']

路径下既有单斜杠（“/”）又有所斜杠（“\”）,python的很多读取函数识别不了。

2.1.3 获取全部路径正确代码：

# 1，正确获取路径
data_path_right = glob.glob('C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\*\\*.txt')
data_path_right.sort()

2.1.4 获取全部路径正确代码结果

# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据1.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据21.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据30.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据24.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据31.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据2.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据33.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据41.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据38.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据72.txt']

2.2 分别获取训练集和测试集的文件路径

代码如下（示例）：

# 2，分别获取训练集和测试集的文件路径
# 2.1，获取文件名
file_name = [x.split('\\')[-1] for x in data_path_right]
file_name_temp = [x.split('_')[0] for x in file_name]
# 2.1，将训练集和测试集分开
# 2.1.1，获取训练集和测试集大小
test_size = 0
train_size = 0
for i in file_name_temp:if i == "test":test_size = test_size + 1elif i == "train":train_size = train_size + 1
# 2.1.2，获取训练集和测试集文件路径
train_path = np.empty((train_size), dtype=object)
test_path = np.empty((test_size), dtype=object)
test_size_index = 0
train_size_index = 0
for i_index, i in enumerate(file_name_temp):if i == "test":test_path[test_size_index] = data_path_right[i_index]test_size_index = test_size_index + 1elif i == "train":train_path[train_size_index] = data_path_right[i_index]train_size_index = train_size_index + 1
train_path = list(train_path)
# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据2.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据33.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据41.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据38.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据72.txt']
test_path = list(test_path)
# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据1.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据21.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据30.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据24.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据31.txt']

2.3 获取文件名里面指定的内容

test_fault_severity = [x.split('\\')[-1] for x in test_path]
test_fault_severity = [x.split('_')[-1] for x in test_fault_severity]
test_fault_severity = [x.split('.')[0] for x in test_fault_severity]
test_fault_severity = [re.findall(r'\d+', path)[0] for path in test_fault_severity]
print(test_fault_severity)

结果：

[‘1’, ‘21’, ‘30’, ‘11’, ‘24’, ‘31’]

3 全部代码

import numpy as np
import glob
import re# 1，错误获取路径
data_path_error = glob.glob(r'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish/*/*.txt')
data_path_error.sort()
# ['C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据1.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据21.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障1_数据30.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据11.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据24.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\test\\test_故障2_数据31.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据2.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据33.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障1_数据41.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据11.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据38.txt',
# 'C:/Users/houweiming/Desktop/faut_data/code_public_dataset/rubbish\\train\\train_故障2_数据72.txt']# 1，正确获取路径
data_path_right = glob.glob('C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\*\\*.txt')
data_path_right.sort()
# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据1.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据21.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据30.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据24.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据31.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据2.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据33.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据41.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据38.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据72.txt']# 2，分别获取训练集和测试集的文件路径
# 2.1，获取文件名
file_name = [x.split('\\')[-1] for x in data_path_right]
file_name_temp = [x.split('_')[0] for x in file_name]
# 2.1，将训练集和测试集分开
# 2.1.1，获取训练集和测试集大小
test_size = 0
train_size = 0
for i in file_name_temp:if i == "test":test_size = test_size + 1elif i == "train":train_size = train_size + 1
# 2.1.2，获取训练集和测试集文件路径
train_path = np.empty((train_size), dtype=object)
test_path = np.empty((test_size), dtype=object)
test_size_index = 0
train_size_index = 0
for i_index, i in enumerate(file_name_temp):if i == "test":test_path[test_size_index] = data_path_right[i_index]test_size_index = test_size_index + 1elif i == "train":train_path[train_size_index] = data_path_right[i_index]train_size_index = train_size_index + 1
train_path = list(train_path)
# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据2.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据33.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障1_数据41.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据38.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\train\\train_故障2_数据72.txt']
test_path = list(test_path)
# ['C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据1.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据21.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障1_数据30.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据11.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据24.txt',
# 'C:\\Users\\houweiming\\Desktop\\faut_data\\code_public_dataset\\rubbish\\test\\test_故障2_数据31.txt']# 3，分别获取训练集和测试集的故障类型
test_fault_severity = [x.split('\\')[-1] for x in test_path]
test_fault_severity = [x.split('_')[-1] for x in test_fault_severity]
test_fault_severity = [x.split('.')[0] for x in test_fault_severity]
test_fault_severity = [re.findall(r'\d+', path)[0] for path in test_fault_severity]
print(test_fault_severity)
print("HELLO WORLD!")

注意事项

1，.split解释

# x.split('\\')
# 将字符串分割成一个列表，并以指定的分隔符进行分割。在这个例子中，我们使用“\\”作为分隔符。

2，.findall解释

# def findall(pattern, string, flags=0):
# string中所有与pattern匹配的全部字符串,返回形式为列表，如果pattern中含有分组，返回分组的匹配结果。如果有pattern中有多个分组，则返回元组列表。
# 例子：
# import re
# kk = re.compile(r'\d+')
# kk.findall('one1two2three3four4')
# #[1,2,3,4]

正则表达式，需要时查即可，不需要特殊关注

机器学习或深度学习的数据读取工作（大数据处理）

机器学习或深度学习的数据读取工作（大数据处理）主要是.split和re.findall和glob.glob运用。读取文件的路径（为了获得文件内容）和提取文件路径中感兴趣的东西(标签) 1，“glob.glob”用于读取文件路径 2，“.…...

编程日记 2023/12/25 6:13:11

Rust 生命周期

Rust 第17节生命周期先看一段错误代码 /* //一段错误的代码 // Rust 编译时会报错； */let r;{let x 5;r &x;}println!("{}",r);Rust 在编译时使用借用检查器， 比较作用域来检查所有的借用是否合法； 很明显；r…...

编程日记 2023/12/25 6:12:10

【论文解读】CNN-Based Fast HEVC Quantization Parameter Mode Decision

时间：2019 年级别：SCI 机构：南京信息工程大学摘要随着多媒体呈现技术、图像采集技术和互联网行业的发展，远程通信的方式已经从以前的书信、音频转变为现在的音频/视频。和视频在工作、学习和娱乐中的比例不断提高&#xff0…...

编程日记 2023/12/25 6:10:08

在Linux上安装CLion

本教程将指导你如何在Linux系统上安装CLion，下载地址为：https://download.jetbrains.com.cn/cpp/CLion-2022.3.3.tar.gz。以下是详细的安装步骤： 步骤1：下载CLion 首先，你需要使用wget命令从提供的URL下载CLion的tar…...

编程日记 2023/12/25 6:08:05

R语言贝叶斯网络模型、INLA下的贝叶斯回归、R语言现代贝叶斯统计学方法、R语言混合效应（多水平/层次/嵌套）模型

目录㈠基于R语言的贝叶斯网络模型的实践技术应用㈡ R语言贝叶斯方法在生态环境领域中的高阶技术应用㈢基于R语言贝叶斯进阶:INLA下的贝叶斯回归、生存分析、随机游走、广义可加模型、极端数据的贝叶斯分析㈣基于R语言的现代贝叶斯统计学方法（贝叶斯参数估…...

编程日记 2023/12/25 6:07:05

多维时序 | Matlab实现PSO-GCNN粒子群优化分组卷积神经网络多变量时间序列预测

多维时序 | Matlab实现PSO-GCNN粒子群优化分组卷积神经网络多变量时间序列预测目录多维时序 | Matlab实现PSO-GCNN粒子群优化分组卷积神经网络多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍 Matlab实现PSO-GCNN粒子群优化分组卷积神经网络多…...

编程日记 2023/12/25 5:59:58

Oracle 学习（1）

Oracle简介 Oracle是殷墟（yīn Xu）出土的甲骨文（oracle bone inscriptions）的英文翻译的第一个单词，在英语里是“神谕”的意思。Oracle公司成立于1977年，总部位于美国加州，是世界领先的信息管…...

编程日记 2023/12/25 5:58:57

华为HCIA认证H12-811题库新增

801、[单选题]178/832、在系统视图下键入什么命令可以切换到用户视图? A quit B souter C system-view D user-view 试题答案：A 试题解析：在系统视图下键入quit命令退出到用户视图。因此答案选A。 802、[单选题]“网络管理员在三层交换机上创建了V…...

编程日记 2023/12/25 5:54:53

Nginx Unit 1.27.0 发布

目录介绍更新内容将 HTTP 请求重定向到 HTTPS 为纯路径 URI 提供可配置的文件名完整的更新日志其他平台更新介绍 Nginx Unit 是一个动态应用服务器，能够与 Nginx Plus 和 Nginx 开源版并行或独立运行。Nginx Unit 支持 RESTful JSON API，…...

编程日记 2023/12/25 5:51:50

【影像组学入门百问】#32—#34

#32-影像组学研究过程中，图像重采样参数怎么选择？ 在影像组学研究过程中，选择合适的图像重采样参数对于保证分析质量和准确性至关重要。以下是在选择图像重采样参数时需要考虑的一些建议： 1.目标分辨率：首先&#…...

编程日记 2023/12/25 5:48:48

YOLOv5代码解析——yolo.py

yolo.py的主要功能是构建模型。 1、最主要的函数是parse_model，用于解析yaml文件，并根据解析的结果搭建网络。这个函数的注释如下： def parse_model(d, ch): # model_dict, input_channels(3)"""解析模型文件，并…...

编程日记 2023/12/25 5:47:47

4种feature classification在代码的实现上是怎么样的？Linear / MLP / CNN / Attention-Based Heads

具体的分类效果可以看：【Arxiv 2023】Diffusion Models Beat GANs on Image Classification 1、线性分类器 (Linear, A) 使用一个简单的线性层，通常与一个激活函数结合使用。 import torch.nn as nnclass LinearClassifier(nn.Module):def __init__(se…...

编程日记 2023/12/25 5:46:45

springboot集成websocket全全全！！！

一、界面展示二、前置了解 1.什么是websocket WebSocket是一种在单个TCP连接上进行全双工通信的持久化协议。全双工协议就是客户端可以给我们服务器发数据服务器也可以主动给客户端发数据。 2.为什么有了http协议还要websocket 协议 http协议是一种无状态，非…...

编程日记 2023/12/25 5:44:43

SpringMVC：整合 SSM 中篇

文章目录 SpringMVC - 04整合 SSM 中篇一、优化二、总结三、说明注意： SpringMVC - 04 整合 SSM 中篇一、优化在 spring-dao.xml 中配置 dao 接口扫描，可以动态地实现 dao 接口注入到 Spring 容器中。优化前：手动创建 SqlSessionTempl…...

编程日记 2023/12/25 5:42:41

oracle即时客户端（Instant Client）安装与配置

之前的文章记录了oracle客户端和服务端的下载与安装，内容参见： 在Windows中安装Oracle_windows安装oracle 如果不想安装oracle客户端（或者是电脑因为某些原因无法安装oracle客户端），还想能够连接oracle远程服务&#…...

编程日记 2023/12/25 5:41:40

POP3协议详解

基本介绍 POP3是一种用于从邮件服务器获取电子邮件的协议。它允许邮件客户端连接到邮件服务器，检索服务器上存储的邮件，并将邮件下载到客户端设备上。POP3的工作原理如下： 连接和身份验证： 邮件客户端通过TCP/IP连接到邮件服务器…...

编程日记 2023/12/25 5:37:37

电子病历编辑器源码，提供电子病历在线制作、管理和使用的一体化电子病历解决方案

概述： 电子病历是指医务人员在医疗活动过程中,使用医疗机构信息系统生成的文字、符号、图表、图形、数据、影像等数字化信息,并能实现存储、管理、传输和重现的医疗记录,是病历的一种记录形式。医院通过电子病历以电子化方式记录患者就诊的信息，包括&…...

编程日记 2023/12/25 5:35:35

WT2605C高品质音频蓝牙语音芯片：外接功放实现双声道DAC输出的优势

在音频处理领域，双声道DAC输出能够提供更为清晰、逼真的音效，增强用户的听觉体验。针对这一需求，唯创知音的WT2605C高品质音频蓝牙语音芯片，通过外接功放实现双声道DAC输出，展现出独特的应用优势。一、高品质音频处理…...

编程日记 2023/12/25 5:34:34

IntelliJ IDEA 2023.3 最新版如何如何配置?IntelliJ IDEA 2023.3 最新版试用方法

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…...

编程日记 2023/12/25 5:33:33

如何查看内存卡使用记录-查看的设备有：U盘、移动硬盘、MP3、SD卡等-供大家学习研究参考

主要功能 USB Viewer（USB移动存储设备使用记录查看器）可用于查看本机的USB移动存储设备使用记录。可查看的设备有：U盘、移动硬盘、MP3、SD卡……等。　　可用于兵器、航空、航天、政府、军队等对保密要求较高的单位，可在计算机保…...

编程日记 2023/12/25 5:32:33

九、W5100S/W5500+RP2040之MicroPython开发＜HTTPOneNET示例＞

文章目录 1. 前言2. 平台操作流程2.1 创建设备2.2 创建数据流模板 3. WIZnet以太网芯片4. 示例讲解以及使用4.1 程序流程图4.2 测试准备4.3 连接方式4.4 相关代码4.5 烧录验证 5. 注意事项6. 相关链接 1. 前言在这个智能硬件和物联网时代，MicroPython和树莓派PICO正…...

编程日记 2023/12/25 5:26:28

在 Laravel 中，清空缓存大全

在 Laravel 中，清空缓存通常涉及到清除应用程序中的缓存文件和数据库查询缓存。以下是一些常用的清空缓存方法： 1. 清除路由缓存： Laravel 的路由缓存可以提高应用程序的性能，但在开发过程中，你可能需要频繁地更改路…...

编程日记 2023/12/25 5:24:25

【贪心】单源最短路径Python实现

文章目录 [toc]问题描述Dijkstra算法Dijkstra算法的正确性贪心选择性质最优子结构性质 Dijkstra算法应用示例时间复杂性Python实现个人主页：丷从心系列专栏：贪心算法问题描述给定一个带权有向图 G ( V , E ) G (V , E) G(V,E)，其中每…...

编程日记 2023/12/25 5:21:23

Spark Shell的简单使用

简介 Spark shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这个工具。Spark shell使得用户可以和Spark集群交互，提交查询，这便于调试，也便于初学者使用…...

编程日记 2023/12/25 5:20:22

Springsecurty【2】认证连接MySQL

1.前期准备基于Spring Initializr创建SpringBoot项目（基于SpringBoot 2.7.12版本），实现与MyBatisPlus的项目整合。分别导入：CodeGenerator和MyBatisPlusConfig。 CodeGenerator：用于MybatisPlus代码生成；…...

编程日记 2023/12/25 5:17:19

.Net 访问电子邮箱-LumiSoft.Net，好用

序言： 网上找了很多关于.Net如何访问电子邮箱的方法，但是大多数都达不到想要的需求，只有一些收发邮件。因此花了很大功夫去看 LumiSoft.Net.dll 的源码，总算做出自己想要的结果了，果然学习诗人进步。介绍&#xff…...

编程日记 2023/12/25 5:14:15

谷粒商城-商品服务-新增商品功能开发（商品图片无法展示问题没有解决）

在网关配置路由 - id: member_routeuri: lb://gulimemberpredicates:- Path/api/gulimember/**filters:- RewritePath/api/(?<segment>.*),/$\{segment}并将所有逆向生成的工程调式出来获取分类关联的品牌例如：手机（分类）-> 品…...

编程日记 2023/12/25 5:13:14

Open3D 点云数据处理基础（Python版）

Open3D 点云数据处理基础（Python版） 文章目录 1 概述 2 安装 2.1 PyCharm 与 Python 安装 2.3 Anaconda 安装 2.4 Open3D 0.13.0 安装 2.5 新建一个 Python 项目 3 点云读写 4 点云可视化 2.1 可视化单个点云 2.2 同一窗口可视化多个点云 2.3…...

编程日记 2023/12/25 5:10:11

使用vue-qr,报错in ./node_modules/vue-qr/dist/vue-qr.js

找到node_modules—>vue-qr/dist/vue-qr.js文件，搜…e,将…去掉，然后重新运行项目。...

编程日记 2023/12/25 5:09:10

百川2大模型微调问题解决

之前用https://github.com/FlagAlpha/Llama2-Chinese微调过几个模型，总体来说llama2的生态还是比较好的，过程很顺利。微调百川2就没那么顺利了，所以简单做个记录 1. 数据准备，我的数据是单轮对话，之前微调llama2已经按…...

编程日记 2023/12/25 5:04:03

MySQL的事务-原子性

MySQL的事务处理具有ACID的特性，即原子性（Atomicity)、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）。 1. 原子性指的是事务中所有操作都是原子性的，要…...

编程日记 2023/12/25 5:03:02

D3839|完全背包

完全背包： 首先01背包的滚动数组中的解法是内嵌的循环是从大到小遍历，为了保证每个物品仅被添加一次。 for(int i 0; i < weight.size(); i) { // 遍历物品for(int j bagWeight; j > weight[i]; j--) { // 遍历背包容量dp[j] max(dp[j], dp[j…...

编程日记 2023/12/25 4:54:55

Java之Synchronized与锁升级

Synchronized与锁升级一、概述在多线程并发编程中 synchronized 一直是元老级角色，很多人都会称呼它为重量级锁。但是，随着 Java SE 1.6 对 synchronized 进行了各种优化之后，有些情况下它就并不那么重了。本文详细介绍 Java SE 1.6 中为…...

编程日记 2023/12/25 4:51:51

kitex出现：open conf/test/conf.yaml: no such file or directory

open conf/test/conf.yaml: no such file or directory https://github.com/cloudwego/cwgo/issues/120 https://github.com/cloudwego/cwgo/issues/29 在使用Kitex生成的代码中，单元测试时回报错，如标题所示。出现该错的原因是，biz/servic…...

编程日记 2023/12/25 4:50:50

sql server多表查询

查询目标现在有学生表和学生选课信息表，stu和stuSelect，stu中包含学生用户名、名字，stuSelect表中包含学生用户名，所选课程名学生表： nameusername李明Li Ming李华Li Hua 学生选课表： usernameCourse…...

编程日记 2023/12/25 4:48:48

如何利用PPT绘图并导出清晰图片

在写论文的过程中，免不了需要绘图，但是visio等软件绘图没有在ppt上绘图比较熟练，尤其流程图结构图. 但是ppt导出的图片也不够清晰，默认分辨率是96dpi，而杂志投稿一般要求至300dpi。解决办法如下： 1.打开注…...

编程日记 2023/12/25 4:45:46

1.倒排索引 2.逻辑斯提回归算法

1.倒排索引 https://help.aliyun.com/zh/open-search/retrieval-engine-edition/introduction-to-inverted-indexes 倒排索引（Inverted Index）是一种数据结构，用于快速查找包含某个特定词或词语的文档。它主要用于全文搜索引擎等应用&#…...

编程日记 2023/12/25 4:44:45

Kafka消费者组

消费者总体工作流程 Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。 • 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费…...

编程日记 2023/12/25 4:43:44

四. 基于环视Camera的BEV感知算法-BEVDepth

目录前言0. 简述1. 算法动机&开创性思路2. 主体结构3. 损失函数4. 性能对比总结下载链接参考前言自动驾驶之心推出的《国内首个BVE感知全栈系列学习教程》，链接。记录下个人学习笔记，仅供自己参考本次课程我们来学习下课程第四章——基于环视Cam…...

编程日记 2023/12/25 4:41:41

CentOS系统环境搭建（二十五）——使用docker compose安装mysql

centos系统环境搭建专栏🔗点击跳转文章目录使用docker compose安装mysqlMySQL81.新建文件夹2.创建docker-compose.yaml3.创建my.cnf4.mysql容器的启动和关闭 MySQL5.71.新建文件夹2.创建docker-compose.yaml3.创建my.cnf4.mysql容器的启动和关闭使用docker comp…...

编程日记 2023/12/25 4:38:39

协作机器人（Collaborative-Robot）安全碰撞的速度与接触力

协作机器人（Collaborative-Robot）的安全碰撞速度和接触力是一个非常重要的安全指标。在设计和使用协作机器人时，必须确保其与人类或其他物体的碰撞不会对人员造成伤害。对于协作机器人的安全碰撞速度，一般会设定一个上限值&…...

编程日记 2023/12/25 4:37:37

运行效果： 源代码： /**************************************************************** Name: wxMyPainterApp.h* Purpose: Defines Application Class* Author: yanzhenxi (3065598272qq.com)* Created: 2023-12-21* Copyright: yanzhen…...

编程日记 2023/12/25 4:29:28

华为gre隧道全部跑静态路由

最终实现： 1、pc1能用nat上网ping能pc3 2、pc1能通过gre访问pc2 3、全部用静态路由做，没有用ospf，如果要用ospf，那么两边除了路由器上跑ospf，核心交换机也得用ospf r2配置： acl number 3000 rule 5 deny…...

编程日记 2023/12/25 4:28:27

【c++】入门1

c关键字命名空间在C/C中，变量、函数和后面要学到的类都是大量存在的，这些变量、函数和类的名称将都存在于全局作用域中，可能会导致很多冲突。使用命名空间的目的是对标识符的名称进行本地化，以避免命名冲突或名字污染&#xff…...

编程日记 2023/12/25 4:27:26

Python之Django项目的功能配置

1.创建Django项目进入项目管理目录，比如：D盘执行命令：diango-admin startproject demo1 创建项目如果提示diango命令不存在，搜索diango-admin程序的位置，然后加入到环境变量path中。进入项目，cd demo…...

编程日记 2023/12/25 4:24:23

P4 音频知识点——PCM音频原始数据

目录前言 01 PCM音频原始数据 1.1 频率 1.2 振幅： 1.3 比特率 1.4 采样 1.5 量化 1.6 编码 02. PCM数据有以下重要的参数： 采样率： 采集深度通道数 PCM比特率 PCM文件大小计算： …...

编程日记 2023/12/25 4:21:20

解决Electron中WebView加载部分HTTPS页面白屏的方法

Electron是一个开源的桌面应用程序框架，它允许使用Web技术构建跨平台的桌面应用。在Electron应用中，WebView 是一个常用的组件，用于嵌套加载Web内容。然而，有时候在加载使用 HTTPS 协议的页面时，可能会因为证书问题导致…...

编程日记 2023/12/25 4:19:17

【Java中创建对象的方式有哪些？】

✅Java中创建对象的方式有哪些？ ✅使用New关键字✅使用反射机制✅使用clone方法✅使用反序列化✅使用方法句柄✅ 使用Unsafe分配内存 ✅使用New关键字这是我们最常见的也是最简单的创建对象的方式，通过这种方式我们还可以调用任意的构造函数 (无参的和有…...

编程日记 2023/12/25 4:17:16

npm使用详解（好吧好吧是粗解）

目录 npm是什么？ npm有什么用？ npm安装在 Windows 上在 macOS 上在 Linux 上（使用 apt 包管理器为例） 验证 npm 安装成功： npm使用 1. 初始化项目： 2. 安装和管理依赖： 3. 查看和…...

编程日记 2023/12/25 4:16:14