当前位置： 首页 > news >正文

thinkphp和wordpress/优化方案怎么写

news 文章来源：https://blog.csdn.net/weixin_43770993/article/details/134117036 2025/2/26 21:23:34
thinkphp和wordpress,优化方案怎么写,宁波城乡住房建设局网站,网站开发外键文章中所有内容仅供学习交流使用，不用于其他任何目的！严禁将文中内容用于任何商业与非法用途，由此产生的一切后果与作者无关。若有侵权，请联系删除。 目标：LI视频采集 地址：aHR0cHM6Ly93d3cucGVhcnZpZGVv…

文章中所有内容仅供学习交流使用，不用于其他任何目的！严禁将文中内容用于任何商业与非法用途，由此产生的一切后果与作者无关。若有侵权，请联系删除。

目标：LI视频采集

地址：aHR0cHM6Ly93d3cucGVhcnZpZGVvLmNvbS8=

在这里插入图片描述

主页分析

首先要明白我们本次任务的目标——下载页面中的视频(以人物为例)，那么也就意味着我们最终的目的就是要找到视频的下载地址。

所以，在进入主页之后我们先来到人物板块这个页面。

在这里插入图片描述

在这里我们想要采集最新的数据，所以就需要定位到最新视频的标签。这里就可以直接打开开发者工具进行分析了。

在这里插入图片描述

可以看到最新视频是位于id为categoryList的ul标签之中。同时每一个视频就是一个li标签，那么到这里我们只需要确定这些数据是静态化存在于html结构中就能够使用xpath将其解析出来。直接刷新页面然后来到document

在这里插入图片描述

从这里来看可以确定我们能够直接使用xpath去解析这第一页的视频的详情页地址了(解析到但是不一定要去访问，这里我先写代码的时候就按照常规思路去访问了详情页然后找视频地址，但写过去之后发现视频地址是做了反爬处理的，从详情页也无法直接获取到)。

详情页分析

根据普遍的思路，我们访问详情页的目的就是要找视频的播放下载地址，所以我们来到主页之后一样先打开开发者工具，然后点击播放按钮进行抓包分析。

在这里插入图片描述

刷新播放之后抓到一个mp4文件，将url复制到浏览器访问会发现这就是视频的下载地址。那么问题就是这个地址从哪里来的呢，我们可以通过搜索url中 的一些特殊的字符查看，例如这些数字组合，根据以往的经验判断这些数字串必然是这个视频的id，而id必然就是唯一的存在。

在这里插入图片描述

但是如上图所示，我们从响应页面去搜索的话，是没有这个串的，那么也就意味着我们代码去访问详情页的话是无法获取到这个视频的播放地址的。所以这里就需要我们好好想想这个请求的流程了。首先对于浏览器来说，需要播放视频的时候，那么浏览器肯定是要对视频地址请求的，那请求的时候这个视频的播放地址必然在请求前已经是拿到了浏览器中，所以，播放前的播放地址，必然是位于动态加载或者静态的某一个文件当中。那么我们就来进行全局搜索查看一下。

在这里插入图片描述

动态静态两边的文件都搜索一下，最后在动态加载的包中找到了一个名为videoStatus.jsp的包，在这里面我们发现了一个MP4的播放地址(这个地址是有坑的，前面提过，但是大家可以先不看后面的内容，自己往后先写一下代码看看是否能够自己将这个坑填上)

所以，就是说我们在下载之前需要先访问这个videoStatus.jsp来获取视频地址，但是呢，在访问这个videoStatus.jsp的时候会发现如下问题。

在这里插入图片描述

这个呢明显就是网站的一个小反爬手段了，但是都不用去实践就知道问题必然是出在头信息里面，同一个浏览器(浏览器本案例中没有清理过也没有重新打开过)从网站访问的时候是正常的，但是复制url到新标签页访问就无法访问了，这明显和防盗链就算没有100%的关系那也有个99%了，所以这里将referer添加到请求头之后访问就能够成功了。

接下来说一下这个包中的播放地址的坑。

直接上对比，请看下方两个url，其中一个是访问videoStatus.jsp获取到的播放地址，一个是我们从media中找到的播放地址。

https://video.pearvideo.com/mp4/adshort/20200909/1698642033243-1427-203145_adpkg-ad_hd.mp4https://video.pearvideo.com/mp4/adshort/20200909/cont-1696358-1427-203145_adpkg-ad_hd.mp4

上面一个url是响应来的播放地址，下面一个url是抓包分析是media中的地址，将两个地址分别进行访问会发现上面个是无法访问的。

所以就需要我们手动将url进行修改才能够通过代码进行视频下载了。

这里处理起来也是比较容易得，我们很容易发现不同点就在**/**分割后的最后一部分，所以我们只需要将1698642033243改成cont-1696358就能够下载视频了

最后，关于翻页，翻页在本站中是动态页面加载的，当我们往下翻翻到最底部的时候就会加载出新的页面，所以我们就找到对应的参数进行修改即可。在本站中控制翻页的参数为start，跨度为24，只需要修改这个参数就OK，老生常谈的东西就不在浪费字数浪费时间了。

完整代码请移步：https://gitee.com/shuailiuquan/

相关文章：

Python爬虫实战案例——第七例

文章中所有内容仅供学习交流使用，不用于其他任何目的！严禁将文中内容用于任何商业与非法用途，由此产生的一切后果与作者无关。若有侵权，请联系删除。 目标：LI视频采集 地址：aHR0cHM6Ly93d3cucGVhcnZpZGVv…...

编程日记 2023/11/1 1:25:22

C# 图解教程 第5版 —— 第13章 数组

文章目录 13.1 数组13.1.1 定义13.1.2 重要细节 13.2 数组的类型13.3 数组是对象13.4 一维数组和矩形数组13.5 实例化一维数组或矩形数组13.6 访问数组元素（*）13.7 初始化数组13.7.1 显示初始化一维数组13.7.2 显示初始化矩形数组13.7.3 初始化矩形数组的…...

编程日记 2023/11/1 1:24:21

android studio启动Task配置

Android studio 高版本默认不开启Task配置，需要自己手动开启 1.低版本配置路径：（复制他人图片） 2.高版本路径：添加下图勾选配置即可 3.gradle task 3.1 初识task gradle中所有的构建工作都是由task完成的,它帮我们处…...

编程日记 2023/11/1 1:22:19

Xcode运行程序提示 Executable Path is a Directory 问题解决

一、首先运行模拟器报错（没有记录），解决办法： TARGET->Build Settings->Architectures -> Exclude Architectures里面填入arm64，后运行模拟器成功 二、其次模拟器开发完成后，xcode运行真机调试&…...

编程日记 2023/11/1 1:21:18

决策树的优缺点

决策树优点 1. 易于理解和解释，因为树木可以画出来被看见 2. 需要很少的数据准备。其他很多算法通常都需要数据规范化，需要创建虚拟变量并删除空值等。但请注意， sklearn中的决策树模块不支持对缺失值的处理。 3. 使用树的成本（比…...

编程日记 2023/11/1 1:20:16

Flask后端开发(二) - 功能实现和项目总结

目录 1. 功能1：修改文件参数值1.1. 获取网页端传参1.2. 读取文件1.2.1. 一般文件读取方式1.2.2. 特殊文件 —— mlx文件1.2.3. 特殊文件 —— .xlx文件1.3. 查找数据修改位置，替换数据2. 功能2：读取结果数据2.1. 实时数据展示如何存储相关数据？2.2. 读取相关数据，整理、打…...

编程日记 2023/11/1 1:19:16

思维训练第五课插入语和主谓一致

系列文章目录 文章目录 系列文章目录前言一、插入语插入语的分类1、常用作插入语的副词 Indeed的确 certainly 当然 surely 无疑地 however 然而 等2、形容词及词组作插入语3、常作插入语的介词短语4、常作插入语的分词短语 Strictly speaking严格地说，generally sp…...

编程日记 2023/11/1 1:18:13

开源利器：it-tools 项目介绍

作为一名开发人员，我们在日常工作和学习中常常需要使用一系列小工具，如JSON格式化、JSON转表格、当前时间戳、XML格式化、SQL格式化、密码生成以及UUID生成等。通常情况下，我们会在网上搜索各种在线工具来满足这些需求。然而，这些…...

编程日记 2023/11/1 1:17:12

基于和声算法的无人机航迹规划-附代码

基于和声算法的无人机航迹规划 文章目录 基于和声算法的无人机航迹规划1.和声搜索算法2.无人机飞行环境建模3.无人机航迹规划建模4.实验结果4.1地图创建4.2 航迹规划 5.参考文献6.Matlab代码 摘要：本文主要介绍利用和声算法来优化无人机航迹规划。 1.和声搜索算法 …...

编程日记 2023/11/1 1:14:08

[Linux]线程池

[Linux]线程池 文章目录 [Linux]线程池线程池的概念线程池的优点线程池的应用场景线程池的实现 线程池的概念 线程池是一种线程使用模式。线程池是一种特殊的生产消费模型，用户作为生产者，线程池作为消费者和缓冲区。 线程过多会带来调度开销&#xff0c…...

编程日记 2023/11/1 1:13:06

使用es实现轻量级分布式锁

文章目录 [toc] 1.前言2.实现3.总结 1.前言 一般来说，实现分布式锁的方式有哪几种？ 一：Redisson实现 二：ZK实现 这两种实现网上的实现是千篇一律，在本文就不做过多的讲解了 其它方式好像没有了，真的是这…...

编程日记 2023/11/1 1:12:06

富文本编辑器特殊字符的解码编码

var HtmlUtil {/*1.用浏览器内部转换器实现html转码*/htmlEncode:function (html){//1.首先动态创建一个容器标签元素，如DIVvar temp document.createElement ("div");//2.然后将要转换的字符串设置为这个元素的innerText(ie支持)或者textContent(火狐&…...

编程日记 2023/11/1 1:11:04

几种软件开发方法对比

几种软件开发方法对比 1　综述 软件开发方法是一种使用早已定义好的技术集及符号表示习惯来组织软件生产的过程。 本文对净室方法、结构化方法、面向对象方法、原型法、逆向工程等方法进行梳理，并对各种开发方法特点、优点进行对比。 2　净室方法 2.1　特点 净…...

编程日记 2023/11/1 1:09:02

在Maven中发布项目到Nexus私有服务器

一、测试环境 Sonatype Nexus 3.61.0-02 Maven 3.9.2 二、环境配置 2.1找到maven的配置文件 2.2添加私有仓库账户密码 <servers><server><id>nexus</id><username>admin</username><password>admin</password></server&…...

编程日记 2023/11/1 1:08:01

TypeScript - 类 -类的继承

浅谈类的继承 类的继承 就是对一个类进行扩展&#xff0c;可以扩展属性、方法。 类的继承 可以很好的解决代码冗余的问题。比如 &#xff1a; 【学生】类 拥有 基本的 姓名、年龄 两个属性&#xff0c; 【体育生】类也属于【学生】类&#xff0c;有 姓名、年龄、训练项目 三个…...

编程日记 2023/11/1 1:05:59

QT: QLineEdit 密码模式、QLineEdit输入模式

setEchoMode(QLineEdit::Normal) 是一个函数&#xff0c;用于设置 QLineEdit 对象的输入模式。具体用法如下&#xff1a; lineEdit->setEchoMode(QLineEdit::Normal);该函数的作用是将 QLineEdit 对象的输入模式设置为“正常模式”&#xff0c;在此模式下&#xff0c;用户的…...

编程日记 2023/11/1 1:04:58

ES6中Map集合

Map集合是一个新的数据结构&#xff0c;它可以存储键值对&#xff0c;并且可以使用任何类型的值作为键&#xff0c;包括对象、数组和函数。Map也是一种可迭代的结构&#xff0c;可以使用for...of循环遍历。 在ES6中&#xff0c;我们可以使用Map构造函数来创建一个Map集合&…...

编程日记 2023/11/1 1:03:56

【Leetcode Sheet】Weekly Practice 13

Leetcode Test 1155 掷骰子等于目标和的方法数(10.24) 这里有 n 个一样的骰子&#xff0c;每个骰子上都有 k 个面&#xff0c;分别标号为 1 到 k 。 给定三个整数 n , k 和 target &#xff0c;返回可能的方式(从总共 kn 种方式中)滚动骰子的数量&#xff0c;使正面朝上的数…...

编程日记 2023/11/1 1:02:56

技术贴 | 一文掌握 Google Test 框架

一、简介 1. 引言 在开发过程中&#xff0c;如何保证代码的质量以及程序的正确性成为了我们亟需解决的问题&#xff0c;其中测试用例成为了不必可少的一部分。测试用例不仅可以帮助我们验证代码的正确性&#xff0c;还能帮助我们捕获潜在的错误&#xff0c;提高代码的可靠性和…...

编程日记 2023/11/1 1:01:54

基于深度学习的中文情感分类 - 卷积神经网络 情感分类 情感分析 情感识别 评论情感分类 计算机竞赛

文章目录 1 前言2 情感文本分类2.1 参考论文2.2 输入层2.3 第一层卷积层&#xff1a;2.4 池化层&#xff1a;2.5 全连接softmax层&#xff1a;2.6 训练方案 3 实现3.1 sentence部分3.2 filters部分3.3 featuremaps部分3.4 1max部分3.5 concat1max部分3.6 关键代码 4 实现效果4.…...

编程日记 2023/11/1 1:00:54

非线性时滞系统的无模型预测控制

摘 要 非线性时滞系统的预测控制应用广泛&#xff0c;比如电子设备、石油化工、造纸等行业&#xff0c;都会运用到非线性时滞系统的预测控制系统或工具。更高效率和更高精度的非线性时滞系统的预测控制一直是研究的热点。在我们日常生活中&#xff0c;非线性时滞系统的预测控制…...

编程日记 2023/11/1 0:59:52

局域网内两台电脑共享文件夹(通过网线直连共享数据)

文章目录 2.设置共享文件夹3.访问共享文件夹 1.将两台电脑置于同一局域网下 用网线将两台电脑连接关闭两台电脑防火墙将两台电脑IP地址设置在同一局域网下 测试是否在同一局域网下&#xff0c;使用ping命令 ping 192.168.0.122.设置共享文件夹 选择想要共享的文件夹&#xff…...

编程日记 2023/11/1 0:58:51

什么是 CNN? 卷积神经网络？ 怎么用 CNN 进行分类？（3）

参考视频&#xff1a;https://www.youtube.com/watch?vE5Z7FQp7AQQ&listPLuhqtP7jdD8CD6rOWy20INGM44kULvrHu 视频7&#xff1a;CNN 的全局架构 卷积层除了做卷积操作外&#xff0c;还要加上 bias &#xff0c;再经过非线性的函数&#xff0c;这么做的原因是 “scaled p…...

编程日记 2023/11/1 0:57:50

一致性hash负载均衡

Hash算法的问题 今天看下一致性hash&#xff0c;常见的负载均衡可能使用过hash&#xff0c;比如nginx中&#xff0c;如果使用session最简单就是通过hash&#xff0c;比如根据用户的请求ip进行hash&#xff0c;让不同用户的请求打到同一台服务器&#xff0c;这样状态处理起来最…...

编程日记 2023/11/1 0:56:49

MAC下安装Python

MAC基本信息&#xff1a; 执行命令&#xff1a; brew install cmake protobuf rust python3.10 git wget 遇到以下问题&#xff1a; > Downloading https://mirrors.aliyun.com/homebrew/homebrew-bottles/rust-1.59.0 Already downloaded: /Users/xxxx/Library/Caches/Ho…...

编程日记 2023/11/1 0:55:47

Android NDK开发详解之JNI中的库文件

Android NDK开发详解之JNI中的库文件 简介工作原理流程原生 activity 和应用 简介 本部分简要介绍了 NDK 的工作原理。Android NDK 是一组使您能将 C 或 C&#xff08;“原生代码”&#xff09;嵌入到 Android 应用中的工具。能够在 Android 应用中使用原生代码对于想执行以下…...

编程日记 2023/11/1 0:54:47

KNN模型

使用K-Nearest Neighbors (KNN)算法进行分类。首先加载一个数据集&#xff0c;然后进行预处理&#xff0c;选择最佳的K值&#xff0c;并训练一个KNN模型。 # encodingutf-8 import numpy as np datas np.loadtxt(datingTestSet2.txt) # 加载数据集&#xff0c;返回一个numpy数…...

编程日记 2023/11/1 0:52:45

Python 学习1 基础

文章目录 基础字符串字面量常用的值类型注释变量print语句数据类型数据类型转换标识符运算符 字符串拓展小结 2023.10.28 周六 最近打算学一下Python&#xff0c;毕竟确实简单方便&#xff0c;而且那个编程语言排名还是在第一。不过不打算靠它吃饭&#xff0c;深不深入暂且不说…...

编程日记 2023/11/1 0:51:44

网络协议--TCP的超时与重传

21.1 引言 TCP提供可靠的运输层。它使用的方法之一就是确认从另一端收到的数据。但数据和确认都有可能会丢失。TCP通过在发送时设置一个定时器来解决这种问题。如果当定时器溢出时还没有收到确认&#xff0c;它就重传该数据。对任何实现而言&#xff0c;关键之处就在于超时和重…...

编程日记 2023/11/1 0:50:42

Thread

Thread 线程启动线程第一种创建线程线程的第二种创建方式使用匿名内部类完成线程的两种创建 Thread API线程的优先级线程提供的静态方法守护线程用户线程和守护线程的区别体现在进程结束时 多线并发安全问题同步块 线程 启动线程 启动线程:调用线程的start方法,而不是直接调用…...

编程日记 2023/11/1 0:49:40