当前位置： 首页 > news >正文

Python爬虫技术及其原理探秘

news 文章来源：https://blog.csdn.net/Jernnifer_mao/article/details/140058697 2024/7/2 3:33:34

导言

随着互联网的发展，大量的数据被存储在网络上，而我们需要从中获取有用的信息。Python作为一种功能强大且易于学习的编程语言，被广泛用于网络爬虫的开发。本文将详细介绍Python爬虫所需的技术及其原理，并提供相关的代码案例。

1. HTTP请求与响应

在爬取网页数据之前，我们需要了解HTTP协议，它是在Web上进行数据交互的基础协议。HTTP请求与响应是爬虫工作的基础，我们需要了解它们的结构和交互方式。

1.1 HTTP请求

HTTP请求由请求行、请求头和请求体组成。其中，请求行包括请求方法、请求的URL和协议版本；请求头包含了用于描述请求的各种信息；请求体是可选项，用于传输请求的数据。下面是一个HTTP请求的示例：

GET /path/to/resource HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
...

在Python中，我们可以使用requests库发送HTTP请求。下面是一个使用requests库发送GET请求的示例代码：

import requestsurl = 'http://www.example.com'
response = requests.get(url)
print(response.text)

1.2 HTTP响应

HTTP响应由响应行、响应头和响应体组成。响应行包含了响应的状态码和状态消息；响应头包含了用于描述响应的各种信息；响应体是实际返回的数据。下面是一个HTTP响应的示例：

HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 1234
...
<html>
...
</html>

在Python中，我们可以使用requests库获取HTTP响应。下面是一个获取HTTP响应的示例代码：

import requestsurl = 'http://www.example.com'
response = requests.get(url)
print(response.status_code)
print(response.headers)
print(response.text)

2. 网页解析技术

爬虫需要从网页中提取有用的数据，而网页通常采用HTML或XML格式存储。为了解析网页，我们可以使用以下几种技术。

2.1 正则表达式

正则表达式是一种强大的文本匹配技术，我们可以使用它来提取网页中的数据。例如，我们可以使用正则表达式提取HTML中的所有链接。

下面是一个使用正则表达式提取HTML中的链接的示例代码：

import rehtml = '< a href=" ">Example</ a>'
links = re.findall('< a href="([^"]*)">([^<]*)</ a>', html)
for link in links:print(link[0], link[1])

2.2 XPath

XPath是一种用于在XML文档中定位节点的语言，它可以与HTML文档一样使用。我们可以使用XPath提取网页中的数据。例如，我们可以使用XPath提取HTML中的所有链接。

下面是一个使用XPath提取HTML中的链接的示例代码（需要使用lxml库）：

from lxml import etreehtml = '< a href="http://www.example.com">Example</ a>'
tree = etree.HTML(html)
links = tree.xpath('//a')
for link in links:print(link.get('href'), link.text)

2.3 BeautifulSoup

BeautifulSoup是一个HTML和XML解析库，提供了简单灵活的API。我们可以使用BeautifulSoup解析网页并提取数据。

下面是一个使用BeautifulSoup解析HTML并提取链接的示例代码（需要使用beautifulsoup4库）：

from bs4 import BeautifulSouphtml = '< a href="http://www.example.com">Example</ a>'
soup = BeautifulSoup(html, 'html.parser')
links = soup.find_all('a')
for link in links:print(link.get('href'), link.text)

2.4 提取数据

有了解析后的HTML内容，我们可以根据具体的需求，使用CSS选择器或XPath表达式来定位和提取所需的数据。

下面示范了使用BeautifulSoup提取网页中所有超链接的代码：

links = soup.select('a')
for link in links:href = link['href']text = link.get_text()print(href, text)

在这个示例中，我们使用soup.select()方法配合CSS选择器字符串'a'，选取网页中所有的<a>标签。然后使用link['href']和link.get_text()分别提取超链接的URL和文字内容。

2.5 数据存储与再处理

爬虫获取到数据后，通常需要将其保存起来供后续处理和分析。常见的存储方式有保存为文件（如CSV、JSON格式），或者存储到数据库中。

以下是一个使用csv库将提取的数据保存为CSV文件的示例代码：

import csvdata = [['url', 'text'], [href, text]]
with open('output.csv', 'w', newline='') as file:writer = csv.writer(file)writer.writerows(data)

在这个示例中，我们首先准备好要保存的数据data，其中包含了提取到的URL和文字内容。然后使用csv.writer()和writerows()方法将数据写入到CSV文件中。

3. 爬虫框架

在实际的爬虫开发中，我们通常会使用一些爬虫框架，它们提供了更高级别的抽象和更方便的功能。以下是一些常用的Python爬虫框架。

3.1 Scrapy

Scrapy是一个快速、可扩展且高级别的Web爬取框架。它提供了强大的抓取功能和数据处理能力，使爬虫开发更加高效。下面是一个使用Scrapy爬取网页的示例代码：

import scrapyclass MySpider(scrapy.Spider):name = 'example.com'start_urls = ['http://www.example.com']def parse(self, response):# 处理响应# 提取数据# 发送更多请求pass

3.2 BeautifulSoup + requests

BeautifulSoup和requests的组合是另一种常用的爬虫开发方式。使用BeautifulSoup解析网页，使用requests发送HTTP请求。

下面是一个使用BeautifulSoup和requests爬取网页的示例代码：

import requests
from bs4 import BeautifulSoupurl = 'http://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 处理页面，提取数据

3.3 Selenium

Selenium是一种自动化浏览器工具，可以模拟浏览器行为。它通常与浏览器驱动一起使用，如ChromeDriver。使用Selenium可以解决一些JavaScript渲染的网页爬取问题。

下面是一个使用Selenium模拟浏览器爬取网页的示例代码（需要使用selenium库）：

from selenium import webdriverdriver = webdriver.Chrome('path/to/chromedriver')
driver.get('http://www.example.com')
# 处理页面，提取数据
driver.quit()

4. 其他

除了了解基本的爬虫工作原理，还需要掌握一些相关的技术，以便更好地应对各种复杂情况。下面是几个常用的技术要点：

4.1 User-Agent伪装

为了防止网站屏蔽爬虫，我们可以在发送HTTP请求时设置User-Agent头部，将其伪装成浏览器的请求。这样可以减少被服务器识别为爬虫的概率。

Python requests库可以通过设置headers参数来添加自定义的HTTP头部。

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

4.2 反爬虫策略与解决方法

为了防止被爬虫抓取数据，网站可能会采取一些反爬虫策略，如限制请求频率、设置验证码、使用动态加载等。对于这些情况，我们可以采取以下解决方法：

  • 限制请求频率：可以通过设置合适的时间间隔来控制请求的频率，避免过快访问网站。

  • 验证码识别：可以使用第三方的验证码识别库（如Tesseract-OCR）来自动识别并输入验证码。

  • 动态加载页面：对于使用JavaScript动态加载的页面，可以使用Selenium库模拟浏览器行为进行处理。

4.3 网页登录与Session管理

有些网站需要登录后才能获取到所需的数据。在这种情况下，我们可以通过模拟登录行为，发送POST请求并记录登录后的Session信息，以便后续的数据访问。

下面是一个使用requests库模拟登录的示例代码：

import requestslogin_url = 'https://example.com/login'
data = {'username': 'your_username','password': 'your_password'
}
response = requests.post(login_url, data=data)
session = response.cookiesdata_url = 'https://example.com/data'
response = requests.get(data_url, cookies=session)
data = response.text

在这个示例中，我们首先发送POST请求模拟登录，将用户名和密码作为表单数据data发送给登录页面login_url，并保存返回的Session信息。

然后我们可以使用requests.get()方法发送GET请求，同时将保存的Session信息作为cookies参数传入，以便获取登录后的数据。

5. 实例：爬取简书网站文章信息

为了更好地演示Python爬虫的技术和原理，我们选取了简书网站作为示例。我们将爬取简书网站中的热门文章列表，提取出每篇文章的标题、作者和链接。

以下是完整的实现代码：

import requests
from bs4 import BeautifulSoup# 发送HTTP请求
url = 'https://www.jianshu.com'
response = requests.get(url)
html = response.text# 解析HTML内容
soup = BeautifulSoup(html, 'html.parser')# 提取数据
articles = soup.select('.note-list li')data = []
for article in articles:title = article.select('a.title')[0].string.strip()author = article.select('.name')[0].string.strip()href = 'https://www.jianshu.com' + article.select('a.title')[0]['href']data.append([title, author, href])# 数据存储
import csv
with open('jianshu_articles.csv', 'w', newline='', encoding="utf-8") as file:writer = csv.writer(file)writer.writerows(data)

在这个示例中，我们首先发送GET请求获取简书网站的HTML内容，然后使用BeautifulSoup库进行解析。

接着，我们使用CSS选择器字符串.note-list li选取所有文章的外层容器，并使用CSS选择器和字典键值对的方式提取文章的标题、作者和链接。

最后，我们采用CSV格式将提取的数据保存到了名为jianshu_articles.csv的文件中。

结语

本文详细介绍了Python爬虫所需的技术及其原理，包括HTTP请求与响应、网页解析技术和爬虫框架。通过掌握这些技术，我们可以有效地开发出强大且高效的Python爬虫。希望本文能对你理解和掌握Python爬虫有所帮助。

请注意，在进行网络爬虫时，需要遵守网站的使用条款，并遵守相关法律法规。同时，合理使用爬虫技术，不对网络资源进行滥用和破坏。

相关文章：

Python爬虫技术及其原理探秘

导言 随着互联网的发展&#xff0c;大量的数据被存储在网络上&#xff0c;而我们需要从中获取有用的信息。Python作为一种功能强大且易于学习的编程语言&#xff0c;被广泛用于网络爬虫的开发。本文将详细介绍Python爬虫所需的技术及其原理&#xff0c;并提供相关的代码案例。…...

编程日记 2024/6/29 10:48:17

堆和栈的区别及应用场景

堆和栈的区别及应用场景 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 在计算机科学和编程领域&#xff0c;堆&#xff08;Heap&#xff09;和栈&#xff08…...

编程日记 2024/6/29 10:47:13

vant的dialog触发了其他overlay

原代码: <!-- dialog --><van-dialog v-model"showTipsDialog" title"温馨提示"><p>dialog内容</p></van-dialog><!-- overlay --><van-overlay style"display: flex" :show"showLoadingOverlay&q…...

编程日记 2024/6/29 10:45:09

Linux驱动开发笔记（十二）并发与竞争

文章目录 前言一、并发与竞争的引入1.1 并发1.2 竞争1.3 解决方法 二、原子操作2.1 概念2.2 使用方法 三、自旋锁3.1 概念3.2 使用方法3.3 自旋锁死锁 四、信号量4.1 概念4.2 使用方法 五、互斥锁5.1 概念5.2 使用方法 前言 Linux的子系统我们已经大致学习完了&#xff0c;笔者…...

编程日记 2024/6/29 10:44:07

【Mac】Listen 1 for Mac（最强的音乐搜索工具）软件介绍

软件介绍 Listen 1 for Mac 是一款非常方便的音乐播放软件&#xff0c;主要功能是集成多个音乐平台&#xff0c;让用户可以方便地搜索、播放和管理音乐。它是一个用 Python 语言开发的免费开源综合音乐搜索工具项目&#xff0c;最大的亮点在于可以搜索和播放来自网易云音乐&am…...

编程日记 2024/6/29 10:42:04

nginx 1024 worker_connections are not enough while connecting to upstream

现象 请求api响应慢&#xff0c;甚至出现504 gateway timeout&#xff0c;重启后端服务不能恢复&#xff0c;但重启nginx可以恢复。 解决方案 worker_connections使用了默认值 1024&#xff0c;当流量增长时&#xff0c;导致连接不够 在nginx.conf中修改连接数就可以了&…...

编程日记 2024/6/29 10:41:01

在Ubuntu 16.04上安装和配置Elasticsearch的方法

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 简介 Elasticsearch 是一个用于实时分布式搜索和数据分析的平台。它因易用性、强大功能和可扩展性而备受欢迎。 Elasticsearch 支持 R…...

编程日记 2024/6/29 10:39:58

C#给SqlSugar封装一个单例类

.NET兼职社区 可以直接用&#xff0c;轻量方便&#xff0c;无需重复造轮子。 这里只对CRUD进行封装&#xff0c;我的应用比较简单。 using SqlSugar; using System.Collections.Generic;namespace MusicApp.Assist {internal class SqlSugarAssist{private static readonly ob…...

编程日记 2024/6/29 10:38:56

Postman接口测试工具的原理及应用详解（六）

本系列文章简介&#xff1a; 在当今软件开发的世界中&#xff0c;接口测试作为保证软件质量的重要一环&#xff0c;其重要性不言而喻。随着前后端分离开发模式的普及&#xff0c;接口测试已成为连接前后端开发的桥梁&#xff0c;确保前后端之间的数据交互准确无误。在这样的背景…...

编程日记 2024/6/29 10:37:54

【算法 之插入排序 原理及案例】

插入排序原理&#xff1a; 插入排序&#xff08;Insertion Sort&#xff09;是一种简单直观的排序算法。它的工作原理是通过构建有序序列&#xff0c;对于未排序数据&#xff0c;在已排序序列中从后向前扫描&#xff0c;找到相应位置并插入。插入排序在实现上&#xff0c;通常…...

编程日记 2024/6/29 10:36:50

第一节：如何开发第一个spring boot3.x项目（自学Spring boot 3.x的第一天）

大家好&#xff0c;我是网创有方&#xff0c;从今天开始&#xff0c;我会记录每篇我自学spring boot3.x的经验。只要我不偷懒&#xff0c;学完应该很快&#xff0c;哈哈&#xff0c;更新速度尽可能快&#xff0c;想和大佬们一块讨论&#xff0c;如果需要讨论的欢迎一起评论区留…...

编程日记 2024/6/29 10:35:49

JS逆向：由 words 、sigBytes 引发的一系列思考与实践

【作者主页】&#xff1a;小鱼神1024 【擅长领域】&#xff1a;JS逆向、小程序逆向、AST还原、验证码突防、Python开发、浏览器插件开发、React前端开发、NestJS后端开发等等 在做JS逆向时&#xff0c;你是否经常看到 words 和 sigBytes 这两个属性呢&#xff0c;比如&#xff…...

编程日记 2024/6/29 10:34:46

计算机的错误计算（十五）

摘要 介绍历史上由于计算精度问题引起的灾难或事件。 今天换个话题&#xff0c;说说历史上曾经发生过的一些事件。 1961 年 , 美国麻省理工学院气象学家洛伦兹在仿真天气预报时 , 将 0.506127 舍入到 0.506 , 所得计算结果大相径庭 ! 这种“差之毫厘 , 谬以千里”的现象…...

编程日记 2024/6/29 10:29:39

制作img文件

安装软件包 sudo apt-get install dosfstools dump parted kpartx 创建空白img文件 sudo dd if/dev/zero ofraspberrypi.img bs1M count4000 给img文件分区 sudo parted raspberrypi.img --script -- mklabel msdos sudo parted raspberrypi.img --script -- mkpart primar…...

编程日记 2024/6/29 10:26:34

GB28181视频汇聚平台EasyCVR接入Ehome设备视频播放出现异常是什么原因？

多协议接入视频汇聚平台EasyCVR视频监控系统采用了开放式的架构&#xff0c;系统可兼容多协议接入&#xff0c;包括市场标准协议&#xff1a;国标GB/T 28181协议、GA/T 1400协议、JT808、RTMP、RTSP/Onvif协议&#xff1b;以及主流厂家私有协议及SDK&#xff0c;如&#xff1a;…...

编程日记 2024/6/29 10:25:32

Java利用poi实现word,excel,ppt,pdf等各类型文档密码检测

介绍 最近工作上需要对word,excel,ppt,pdf等各类型文档密码检测&#xff0c;对文件进行分类&#xff0c;有密码的和没密码的做区分。查了一堆资料和GPT都不是很满意&#xff0c;最后东拼西凑搞了个相对全面的检测工具代码类&#xff0c;希望能给需要的人带来帮助。 说明 这段…...

编程日记 2024/6/29 10:24:29

顺序表与链表学习笔记

顺序表及其结构定义 &#xff08;1&#xff09;结构定义 顺序存储&#xff1a; 顺序表的元素按顺序存储在一块连续的内存区域中&#xff0c;每个元素占用相同大小的存储空间。通过数组实现&#xff0c;每个元素可以通过下标快速访问。 存储密度高&#xff1a; 因为顺序表使用…...

编程日记 2024/6/29 10:23:26

2.SQL注入-字符型

SQL注入-字符型(get) 输入kobe查询出现id和邮箱 猜测语句,字符在数据库中需要用到单引号或者双引号 select 字段1,字段2 from 表名 where usernamekobe;在数据库中查询对应的kobe&#xff0c;根据上图对应上。 select id,email from member where usernamekobe;编写payload语…...

编程日记 2024/6/29 10:21:21

在Ubuntu 14.04上安装和配置Elasticsearch的方法

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 简介 Elasticsearch 是一个用于实时分布式搜索和数据分析的平台。它因易用性、强大功能和可扩展性而备受欢迎。 Elasticsearch 支持 R…...

编程日记 2024/6/29 10:19:17

C++:inline关键字nullptr

inline关键字 C中inline使用关键点强调 (1)inline是一种“用于实现的关键字”&#xff0c;而不是一种“用于声明的关键字”&#xff0c;所以关键字 inline 必须与函数定义体放在一起&#xff0c;而不是和声明放在一起 (2)如果希望在多个c文件中使用&#xff0c;则inline函数应…...

编程日记 2024/6/29 10:18:14

数字信号处理实验三（IIR数字滤波器设计）

IIR数字滤波器设计&#xff08;2学时&#xff09; 要求&#xff1a; 产生一复合信号序列&#xff0c;该序列包含幅度相同的28Hz、50Hz、100Hz、150Hz的单音&#xff08;单频&#xff09;信号&#xff1b;其中&#xff0c;50Hz及其谐波为工频干扰&#xff08;注&#xff1a;采样…...

编程日记 2024/6/29 10:16:12

Why is Kafka fast？（Kafka性能基石）

Kafka概述 Why is kafka fast&#xff1f; 思考一下&#xff0c;当我们在讨论Kafka快的时候我们是在谈论什么呢&#xff1f;What does it even mean that Kafka is fast? 我们是在谈论kafka的低延迟&#xff08;low latency&#xff09;还是在讨论吞吐量&#xff08;through…...

编程日记 2024/6/29 10:13:05

Linux下的SSH详解及Ubuntu教程

前言 SSH&#xff08;Secure Shell&#xff09;是一种用于计算机之间安全通信的协议&#xff0c;广泛应用于远程登录、系统管理和文件传输等场景。本文将详细介绍SSH在Linux系统&#xff08;特别是Ubuntu&#xff09;下的使用&#xff0c;包括安装、配置、密钥管理和常见应用&…...

编程日记 2024/6/29 10:11:02

MobPush HarmonyOS NEXT 版本集成指南

开发工具&#xff1a;DevEco Studio 集成方式&#xff1a;在线集成 HarmonyOS API支持&#xff1a;> 11 集成前准备 注册账号 使用MobSDK之前&#xff0c;需要先在MobTech官网注册开发者账号&#xff0c;并获取MobTech提供的AppKey和AppSecret&#xff0c;详情可以点击查…...

编程日记 2024/6/29 10:10:00

什么是封装？为什么要封装？

什么是封装&#xff1f; 封装是计算机科学中的一个重要概念&#xff0c;尤其在面向对象编程&#xff08;OOP&#xff09;中占据核心地位。封装主要指的是将数据&#xff08;属性&#xff09;和对这些数据的操作&#xff08;方法&#xff09;组合在一个单元中&#xff08;我们称…...

编程日记 2024/6/29 10:07:56

远程桌面无法复制粘贴文件到本地怎么办？

远程桌面不能复制粘贴问题 Windows远程桌面为我们提供了随时随地访问文件和数据的便捷途径&#xff0c;大大提升了工作和生活的效率。然而&#xff0c;在使用过程中&#xff0c;我们也可能遇到一些问题。例如&#xff0c;在通过远程桌面传输文件时&#xff0c;常常会出现无法复…...

编程日记 2024/6/29 10:05:52

LeetCode 207. 课程表

思路&#xff1a;这是一道拓扑排序问题&#xff0c;拓扑排序听起来可能有点复杂&#xff0c;但实际上它是个相当直观的概念。想象一下&#xff0c;你有很多事情要做&#xff0c;但有些事情必须在另一些事情完成之后才能开始&#xff0c;就像你得先穿上袜子再穿鞋子 拓扑排序就…...

编程日记 2024/6/29 10:01:47

数据结构历年考研真题对应知识点（树的基本概念）

目录 5.1树的基本概念 5.1.2基本术语 【森林中树的数量、边数和结点数的关系&#xff08;2016&#xff09;】 5.1.3树的性质 【树中结点数和度数的关系的应用&#xff08;2010、2016&#xff09;】 【指定结点数的三叉树的最小高度分析&#xff08;2022&#xff09;】 5.1…...

编程日记 2024/6/29 10:00:46

Pytorch和Tensorflow安装【Win和Linux】

Ubuntu/win安装Pytorch和Tensorflow 说明： 这两种框架的搭建，均基于Anaconda进行搭建。先在系统中安装Anaconda软件。 一、Pytorch的搭建 windows安装 （1）搭建参考官网给的命令，pytorch官网 （2）下载地址：https://download.pytorch.org/whl/torch_stable.html 从上述…...

编程日记 2024/6/29 9:57:43

筑算网基石 创数智未来｜锐捷网络闪耀2024 MWC上海

2024年6月26日至28日&#xff0c;全球科技界瞩目的GSMA世界移动大会&#xff08;MWC 上海&#xff09;在上海新国际博览中心&#xff08;SNIEC&#xff09;盛大召开。作为行业领先的网络解决方案提供商&#xff0c;锐捷网络以“筑算网基石 创数智未来”为主题&#xff0c;带来了…...

编程日记 2024/6/29 9:54:39

T4打卡 学习笔记

所用环境 ● 语言环境&#xff1a;Python3.11 ● 编译器&#xff1a;jupyter notebook ● 深度学习框架&#xff1a;TensorFlow2.16.1 ● 显卡&#xff08;GPU&#xff09;&#xff1a;NVIDIA GeForce RTX 2070 设置GPU from tensorflow import keras from tensorflow.keras…...

编程日记 2024/6/29 9:52:37

抖音矩阵云混剪系统源码 短视频矩阵营销系统V2（全开源版）

>>>系统简述&#xff1a; 抖音阵营销系统多平台多账号一站式管理&#xff0c;一键发布作品。智能标题&#xff0c;关键词优化&#xff0c;排名查询&#xff0c;混剪生成原创视频&#xff0c;账号分组&#xff0c;意向客户自动采集&#xff0c;智能回复&#xff0c;多…...

编程日记 2024/6/29 9:51:35

zabbix报警机制

zabbix思路流程...

编程日记 2024/6/29 9:49:32

【Matlab】-- 飞蛾扑火优化算法

文章目录 文章目录 01 飞蛾扑火算法介绍02 飞蛾扑火算法伪代码03 基于Matlab的部分飞蛾扑火MFO算法04 参考文献 01 飞蛾扑火算法介绍 飞蛾扑火算法&#xff08;Moth-Flame Optimization&#xff0c;MFO&#xff09;是一种基于自然界飞蛾行为的群体智能优化算法。该算法由 Sey…...

编程日记 2024/6/29 9:48:31

全面体验ONLYOFFICE 8.1版本桌面编辑器

ONLYOFFICE官网 在当今的数字化办公环境中&#xff0c;选择合适的文档处理工具对于提升工作效率和团队协作至关重要。ONLYOFFICE 8.1版本桌面编辑器&#xff0c;作为一款集成了多项先进功能的办公软件&#xff0c;为用户提供了全新的办公体验。今天&#xff0c;我们将深入探索…...

编程日记 2024/6/29 9:47:30

建议csdn赶紧将未经作者同意擅自锁住收费的文章全部解锁，别逼我用极端手段让你们就范

前两天我偶然发现csdn竟然将我以前发表的很多文章锁住向读者收费才让看。 csdn这种无耻行径往小了说是侵犯了作者的版权著作权&#xff0c;往大了说这是在打击我国IT领域未来的发展&#xff0c;因为每一个做过编程工作的人都知道&#xff0c;任何一个程序员的学习成长过程都少不…...

编程日记 2024/6/29 9:46:29

Pycharm一些问题解决办法

研究生期间遇到关于Pycharm一些问题报错以及解决办法的汇总 ModuleNotFoundError: No module named sklearn’ 安装机器学习库&#xff0c;需要注意报错的sklearn是scikit-learn缩写。 pip install scikit-learnPyCharm 导包提示 unresolved reference 描述&#xff1a;模块…...

编程日记 2024/6/29 9:45:28

ONLYOFFICE 桌面编辑器 8.1 发布：全新 PDF 编辑器、幻灯片版式、增强 RTL 支持及更多本地化选项

目录 什么是ONLYOFFICE&#xff1f; ONLYOFFICE 主要特点包括&#xff1a; 官网信息&#xff1a; 1. 功能齐全的 PDF 编辑器 1.1 编辑 PDF 文本 1.2 插入和修改对象 1.3 创建和填写表单 2. 幻灯片版式功能 2.1 快速应用幻灯片版式 2.2 动画窗格的改进 3. 文档编辑、…...

编程日记 2024/6/29 9:44:26

Linux高并发服务器开发（六）线程

文章目录 1. 前言2 线程相关操作3 线程的创建4 进程数据段共享和回收5 线程分离6 线程退出和取消7 线程属性&#xff08;了解&#xff09;8 资源竞争9 互斥锁9.1 同步与互斥9.2 互斥锁 10 死锁11 读写锁12 条件变量13 生产者消费者模型14 信号量15 哲学家就餐 1. 前言 进程是C…...

编程日记 2024/6/29 9:40:22

Google发布Gemma 2轻量级开放模型 以极小的成本提供强大的性能

除了 Gemini 系列人工智能模型外&#xff0c;Google还提供 Gemma 系列轻量级开放模型。今天&#xff0c;他们发布了 Gemma 2&#xff0c;这是基于全新架构设计的下一代产品&#xff0c;具有突破性的性能和效率。 Gemma 2 有两种规格&#xff1a;90 亿 (9B) 和 270 亿 (27B) 个参…...

编程日记 2024/6/29 9:37:19

精品UI知识付费系统源码网站EyouCMS模版源码

这是一款知识付费平台模板&#xff0c;后台可上传本地视频&#xff0c;批量上传视频连接&#xff0c; 视频后台可设计权限观看&#xff0c;免费试看时间时长&#xff0c;会员等级观看&#xff0c;付费观看等功能&#xff0c; 也带软件app权限下载&#xff0c;帮助知识教育和软件…...

编程日记 2024/6/29 9:36:18

使用Apache POI库在Java中导出Excel文件的详细步骤

使用Apache POI库在Java中导出Excel文件的详细步骤 学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……&#xff09; 2、学会Oracle数据库入门到入土用法(创作中……&#xff09; 3、手把手教你开发炫酷的vbs脚本制作(完善中……&#xff09; 4、牛逼哄哄的 IDEA编程利器技…...

编程日记 2024/6/29 9:34:16

基于C#在WPF中使用斑马打印机进行打印

最近在项目中接手了一个比较有挑战性的模块——用斑马打印机将需要打印的内容打印出来。苦苦折腾了两天&#xff0c;总算有所收获&#xff0c;就发到网上来骗骗分数-_-|| 项目中使用的打印机型号为GX430t的打印机&#xff0c;接手的时候&#xff0c;自己对于打印机这块儿是眼前…...

编程日记 2024/6/29 9:33:14

六、资产安全—信息分级资产管理与隐私保护练习题（CISSP）

六、资产安全—信息分级资产管理与隐私保护（CISSP）： 六、资产安全—信息分级资产管理与隐私保护（C...

编程日记 2024/6/29 9:32:13

使用 AutoGen 的 AI 智能体设计模式

1.Auto Gen框架 在Auto中，每种智能体分别扮演不同的角色。 ConversableAgent 作为最高级别的智能体抽象，为所有具体智能体提供了基础的通信能力。这包括发送和接收信息的能力，以及基于这些信息进行内部状态更新的能力。所有从这个类派生的智能体都继承了这些基本功能…...

编程日记 2024/6/29 9:31:11

Android InputChannel连接

InputChannel是InputDispatcher 和应用程序 (InputTarget) 的通讯桥梁&#xff0c;InputDispatcher 通知应用程序有输入事件&#xff0c;通过InputChannel中的socket进行通信。 连接InputDispatcher和窗口 WinodwManagerService:addwindow: WMS 添加窗口时&#xff0c;会创建…...

编程日记 2024/6/29 9:30:10

爬虫笔记17——selenium框架的使用

selenium框架的使用 1、python程序安装selenium框架2、下载Chrome谷歌驱动3、selenium的基本使用4、多个标签页切换顺序混乱的问题 1、python程序安装selenium框架 # 在安装过程中最好限定框架版本为4.9.1 # pip install selenium 没有制定版本&#xff0c;非镜像下载也会比较…...

编程日记 2024/6/29 9:28:08

[BUUCTF从零单排] Web方向 02.Web入门篇之『常见的搜集』解题思路（dirsearch工具详解）

这是作者新开的一个专栏《BUUCTF从零单排》&#xff0c;旨在从零学习CTF知识&#xff0c;方便更多初学者了解各种类型的安全题目&#xff0c;后续分享一定程度会对不同类型的题目进行总结&#xff0c;并结合CTF书籍和真实案例实践&#xff0c;希望对您有所帮助。当然&#xff0…...

编程日记 2024/6/29 9:26:06

深度相机识别物体——实现数据集准备与数据集分割

一、数据集准备——Labelimg进行标定 1.安装labelimg——pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple 2.建立相应的数据集存放文件夹 3.打开labelimg&#xff0c;直接在命令行输入labelimg即可&#xff0c;并初始化 4.开始标注&#xff0c;设置标注好…...

编程日记 2024/6/29 9:21:00

STM32第十一课：ADC采集光照

文章目录 需求一、ADC概要二、实现流程1.开时钟&#xff0c;分频&#xff0c;配IO2.配置ADC工作模式3.配置通道4.复位校准5.数值的获取 三、需求的实现总结 需求 通过ADC转换实现光照亮度的数字化测量&#xff0c;最后将实时测量的结果打印在串口上。 一、ADC概要 ADC全称是A…...

编程日记 2024/6/29 9:19:58

一些css记录

background-blend-mode 定义了背景层的混合模式&#xff08;图片与颜色&#xff09;。菜鸟教程地址 例如&#xff1a; filter 滤镜 background-clip 背景颜色出现位置&#xff0c;是否包含边框 border-box | padding-box | content-box 有点像盒子模型 border-image-sou…...

编程日记 2024/7/1 23:37:26

【深度学习】GPU版本

我发现nvidia-smi的cuda版本不是我期望镜像中的版本&#xff0c;咨询一下还要选择对应的驱动&#xff0c;比如cuda12.2对应的 {"12.3": "525.60","12.2": "525.60","12.1": "525.60","12.0": "52…...

编程日记 2024/7/1 19:24:15

泰迪智能科技实验室产品-云计算资源管理平台介绍

云计算资源管理平台是一款集群应用程序管理平台&#xff0c;以Docker、Kubernetes为核心引擎的容器化应用部署、运行环境&#xff0c;对数据中心的物理服务器、网络、存储、虚拟服务器等基础架构资源进行集中统一的管理、分配、监控等。平台旨在围绕行业应用逐步由“虚拟化”向…...

编程日记 2024/7/1 18:51:55

微信小程序4种弹框

1、wx.showModal 确认弹框 delete(){wx.showModal({title: ,content: 是否确认删除,success(res) {if (res.confirm) {console.log(用户点击确定)} else if (res.cancel) {console.log(用户点击取消)}}})} 2、wx.showToast 提示弹框 success显示成功图标error显示失败图标load…...

编程日记 2024/7/1 16:36:20

HTML简化

1.删除所有属性 javascript - Remove all attributes - Stack Overflow function delAttribute(element) {while (element.attributes.length > 0)element.removeAttribute(element.attributes[0].name); } var table document.getElementsByTagName(table); for (var i…...

编程日记 2024/7/1 13:50:16

快速清理Word中的嵌套表格

实例需求&#xff1a;Word文档中表格有的单元格中包含嵌套表格&#xff08;注意其中表格中有合并单元格&#xff09;&#xff0c;如下图所示。 现在需要删除单元格顶部的嵌套表格&#xff08;如上图中的表格1和表格3&#xff09;&#xff0c;如下图所示&#xff0c;如果表格较多…...

编程日记 2024/7/1 11:28:46

伊莱克斯可持续发展副总裁SarahSchaefer：可持续发展是伊莱克斯

“联合国可持续发展气候目标中有范围一和范围二的碳排放目标。在范围一及范围二(运营过程)中，我们在2022年提前三年实现了阶段性目标，与2015年相比减少了80%以上的绝对碳排放量。伊莱克斯集团运营里60%的能源是可再生能源、71%的工厂已经实现了零填埋的目标。”伊莱克斯集团欧…...

编程日记 2024/7/1 2:27:31

摩尔线程MTT S4000 AI GPU助力30亿参数大模型训练，性能比肩英伟达同类解决方案

中国国产GPU制造商摩尔线程(Moore Threads)在AI加速器领域取得了显著进展&#xff0c;其最新推出的MTT S4000 AI GPU在训练大规模语言模型时表现突出&#xff0c;据称相较于其前代产品有着显著的性能提升。根据cnBeta的报道&#xff0c;搭载S4000 GPU的全新“酷鹅千卡智能计算集…...

编程日记 2024/7/1 5:15:54

flutter 实现旋转星球

先看效果 planet_widget.dart import dart:math; import package:flutter/material.dart; import package:vector_math/vector_math_64.dart show Vector3; import package:flutter/gestures.dart; import package:flutter/physics.dart;class PlanetWidget extends StatefulW…...

编程日记 2024/7/1 1:43:54

如何在 Facebook 上投放多个广告活动而不被禁止?

由于其广泛的影响力&#xff0c;Facebook 已成为许多营销人员最喜欢的平台。许多组织的内容营销策略都涉及 Facebook。通常&#xff0c;这些策略包括运行多个 Facebook 广告帐户&#xff0c;以便多次向同一受众投放广告。那么如何有效地运行多个 Facebook 广告活动并保证不被禁…...

编程日记 2024/7/1 4:47:08

使用 Python 编程语言进行供应链分析

前言 要分析一家公司的供应链&#xff0c;我们需要供应链不同阶段的数据&#xff0c;如有关采购、制造、运输、库存管理、销售和客户人口统计的数据。我为这项任务找到了一个理想的数据集&#xff0c;其中包括一家时尚和美容初创公司的供应链数据。 1. 相关数据集 让我们导入…...

编程日记 2024/7/1 9:40:18

【空号检测】手机号码状态识别背后的神秘力量：信令检测技术揭秘！

在当今数字化时代&#xff0c;了解一个手机号码的真实状态——是空号、停机还是活跃使用&#xff0c;对于企业运营、客户服务乃至个人通讯管理都至关重要。这一切高效而精准的查询能力&#xff0c;很大程度上归功于一项核心技术——信令检测技术。 免费测试地址&#xff1a;号…...

编程日记 2024/7/1 19:38:41