当前位置： 首页 > news >正文

Python爬取与可视化-豆瓣电影数据

news 文章来源：https://blog.csdn.net/weixin_44107140/article/details/139531418 2024/11/7 15:36:57

引言

在数据科学的学习过程中，数据获取与数据可视化是两项重要的技能。本文将展示如何通过Python爬取豆瓣电影Top250的电影数据，并将这些数据存储到数据库中，随后进行数据分析和可视化展示。这个项目涵盖了从数据抓取、存储到数据可视化的整个过程，帮助大家理解数据科学项目的全流程。

image-20240607153947167

环境配置与准备工作

在开始之前，我们需要确保安装了一些必要的库：

  • urllib：用于发送HTTP请求和获取网页数据
  • BeautifulSoup：用于解析HTML数据
  • pymysql：用于连接和操作MySQL数据库
  • time 和 random：用于添加延迟，防止被目标网站屏蔽
  • pandas：用于数据操作和分析
  • matplotlib 和 seaborn：用于数据可视化

数据爬取

我们将通过Python脚本爬取豆瓣电影Top250的数据。豆瓣Top250电影的页面按25部电影分页展示，我们将遍历这些页面获取电影信息。以下是爬取电影数据的伪代码描述：

  1. 设置数据库连接配置
  2. 定义豆瓣电影URL模板
  3. 创建函数 get_movie_data(start) 用于爬取指定页面的数据
    a. 构造请求URL并发送请求
    b. 解析返回的HTML数据
    c. 提取电影的标题、评分、URL、描述和评论数量等信息
  4. 创建函数 save_to_db(movies) 用于将电影数据保存到数据库
  5. 遍历所有页面，获取电影数据并保存到数据库
  6. 关闭数据库连接

image-20240607153823702

数据分析与可视化

完成数据爬取后，我们将数据从数据库中读取出来，并进行分析和可视化展示。

做出以下图表用来分析：

电影评分分布图：显示了电影评分的分布情况，评分主要集中在8.0到9.0之间。
评分与评论数量关系图：展示了评分与评论数量之间的关系，评论数量较多的电影评分也较高。
电影评分箱线图：展示了电影评分的箱线图，可以看出大部分电影的评分都很高，几乎没有低评分的电影。
热门电影前十排名：展示了评分最高的前十部电影。
评论数量分布图：显示了评论数量的分布情况，大部分电影的评论数量集中在几千到几万之间。
评分与评论数量双轴图：展示了每部电影的评分和评论数量的关系，方便对比。

结果展示

通过这个项目，我们从豆瓣电影网站爬取了Top250的电影数据，并对这些数据进行了可视化展示。我们可以看到，豆瓣电影Top250的评分普遍较高，评分与评论数量之间存在一定的正相关关系。这种数据分析和可视化方法不仅可以应用于电影数据，还可以扩展到其他领域的数据分析中。希望这篇文章对大家有所帮助！

源码👇

https://yan-sheng-li.github.io/project/Reptiles_douban.html

相关文章：

Python爬取与可视化-豆瓣电影数据

引言 在数据科学的学习过程中，数据获取与数据可视化是两项重要的技能。本文将展示如何通过Python爬取豆瓣电影Top250的电影数据，并将这些数据存储到数据库中，随后进行数据分析和可视化展示。这个项目涵盖了从数据抓取、存储到数据可视化的整个…...

编程日记 2024/6/16 1:25:05

【背包题】oj题库

目录 1282 - 简单背包问题 1780 - 采灵芝 1888 - 多重背包&#xff08;1&#xff09;​编辑 1891 - 开心的金明 2073 - 码头的集装箱 1905 - 混合背包 1282 - 简单背包问题 #include <bits/stdc.h> using namespace std; //二维数组:dp[i][j]max(dp[i-1][j],v[i]dp[…...

编程日记 2024/6/16 1:23:03

Web前端弱势因素：深入探讨与挑战解析

Web前端弱势因素&#xff1a;深入探讨与挑战解析 在快速发展的Web前端领域&#xff0c;尽管技术日新月异&#xff0c;但仍存在一些固有的弱势因素。这些因素不仅影响了开发效率和用户体验&#xff0c;也带来了诸多挑战。本文将深入探讨Web前端的弱势因素&#xff0c;并从四个方…...

编程日记 2024/6/16 1:22:02

元素在超出当前界面的下拉列表中如何定位

有时我们会遇到一种情况是&#xff0c;当我们找一个视频列表中的视频&#xff0c;在页面的最底层&#xff0c;此时selenium 无法定位到这个元素&#xff0c;因为 selenium只能定位页面上显示出来内容的元素&#xff0c;需要通过下拉框把界面拉到该元素所在的位置&#xff0c;再…...

编程日记 2024/6/16 1:17:54

Vscode中使用make命令

前言 需要注意&#xff0c;如下操作需要进行网络代理&#xff0c;否则会出现安装失败的情况 安装 第一步 — 安装MingGW &#xff08;1&#xff09;进入官网下载 &#xff08;2&#xff09;下载完成之后&#xff0c;双击exe文件 &#xff08;3&#xff09;点击Install &#x…...

编程日记 2024/6/16 1:16:53

配置完eslint没有用？

当你使用 npx eslint --init 生成配置文件后 你也配置好了.prettierrc 当你在代码写一点小问题的时候 发现eslint没有进行检查 原因是你生成的 .eslintrc.js中没有加上这个配置 extends: [.....plugin:prettier/recommended],加上以后重启vscode你会发现...

编程日记 2024/6/16 1:15:52

[Nacos]No spring.config.import property has been defined

在学习 Spring Cloud Alibaba &#xff0c;Nacos组件&#xff0c;创建一个cloudalibaba-config-nacos-client&#xff0c;加载多配置集时遇到问题 配置了 bootstrap.yml 后启动项目报错&#xff1a; 是因为在springcloud 2020.0.2版本中把bootstrap的相关依赖从spring-cloud-s…...

编程日记 2024/6/16 1:14:51

【操作与配置】Pytorch环境搭建

安装显卡驱动 显卡驱动是一种软件程序&#xff0c;用于控制显卡硬件与操作系统之间的通信和交互。显卡驱动负责向操作系统提供有关显卡硬件的信息&#xff0c;以及使操作系统能够正确地控制和管理显卡的各种功能和性能。显卡驱动还包含了针对不同应用程序和游戏的优化&#xff…...

编程日记 2024/6/16 1:12:48

判断QT程序是否重复运行

打开exe&#xff0c;再次打开进行提示。 main.cpp添加&#xff1a; #include "QtFilePreview.h" #include <QtWidgets/QApplication> #include <windows.h> #include <qmessagebox.h> #pragma execution_character_set("utf-8")bool Ch…...

编程日记 2024/6/16 1:11:47

利用Axios封装及泛型实现定制化HTTP请求处理

本案例旨在教授如何使用Axios库结合TypeScript泛型进行HTTP请求的高级封装&#xff0c;以提升代码的可复用性和类型安全性。我们将通过一个具体的示例&#xff0c;学习如何创建一个通用的请求函数&#xff0c;它能够适应不同类型的API响应&#xff0c;并在请求前后加入自定义逻…...

编程日记 2024/6/16 1:09:43

RN6752V1 高性能AHD转MIPIDVPBT656BT601芯片方案，目前适用于车载方案居多

RN6752V1描述&#xff1a; RN6752V1是一种模拟高清晰度&#xff08;模拟高清&#xff09;视频解码器IC&#xff0c;专为汽车应用而设计。它集成了所有必要的功能块&#xff1a; AFE&#xff0c;PLL&#xff0c;解码逻辑&#xff0c;MIPI和I2C接口等&#xff0c;在一个小的5mm …...

编程日记 2024/6/16 1:08:41

Rust 基金会的商标政策更新引发社区争议

Rust 基金会最近更新了其商标政策&#xff0c;引发了社区内的一些争议。 Rust 是一种高性能系统编程语言&#xff0c;拥有庞大的开发者社区。Rust 基金会成立于 2020 年&#xff0c;旨在支持和推动 Rust 语言的发展。该基金会负责管理 Rust 的商标&#xff0c;并制定了商标使用…...

编程日记 2024/6/16 1:06:40

Java Opencv识别图片上的虫子

最近有个需求&#xff0c;希望识别图片上的虫子&#xff0c;对于java来说&#xff0c;图像识别不是很好做。在网上也搜索了很多&#xff0c;很多的代码都是不完整&#xff0c;或者下载下载报错&#xff0c;有的写的很长看不懂。所以自己试着用java的opencv写了一段代码。发现识…...

编程日记 2024/6/16 1:03:37

微型操作系统内核源码详解系列五（1）：arm cortex m3架构

系列一&#xff1a;微型操作系统内核源码详解系列一&#xff1a;rtos内核源码概论篇&#xff08;以freertos为例&#xff09;-CSDN博客 系列二&#xff1a;微型操作系统内核源码详解系列二&#xff1a;数据结构和对象篇&#xff08;以freertos为例&#xff09;-CSDN博客 系列…...

编程日记 2024/6/16 0:59:32

值传递和址传递

值传递 上面的代码是想要交换x&#xff0c;y的值&#xff0c;把x&#xff0c;y传递给swap函数之后&#xff0c;执行下面的操作&#xff1a; 在swap中a和b交换了&#xff0c;但是和x&#xff0c;y没有关系&#xff0c;所以x&#xff0c;y在main中不会变。 址传递 下面再看把x…...

编程日记 2024/6/16 0:58:31

【three.js】自定义物体形状BufferGeometry

目录 一、认识缓冲类型几何体BufferGeometry 二、将各个顶点连线 一、认识缓冲类型几何体BufferGeometry threejs的长方体BoxGeometry、球体SphereGeometry等几何体都是基于BoxGeometry类构建的，BufferGeometry是一个没有任何形状的空几何体，你可以通过BufferGeometry自定…...

编程日记 2024/6/16 0:56:30

Mac 使用 Homebrew 安装 Python3

在macOS系统中&#xff0c;使用Homebrew安装Python3并进行环境配置的步骤如下&#xff1a; 打开终端。 运行以下命令安装Python3&#xff1a; brew install python3 安装完成后&#xff0c;可以通过以下命令检查Python3的版本&#xff1a; python3 --version 为了确保终端…...

编程日记 2024/6/16 0:55:28

汽车行驶中是怎么保障轴瓦安全的？

汽车轴瓦是一种用于减少摩擦和支撑转动部件的关键零部件&#xff0c;通常用于发动机的曲轴、凸轮轴等转动部件上。主要作用是减少转动部件之间的摩擦&#xff0c;支撑和保护曲轴、凸轮轴等旋转部件&#xff0c;确保它们在高速旋转时的稳定性和耐用性。 在汽车轴瓦加工过程中&am…...

编程日记 2024/6/16 0:51:25

洗地机哪款好？洗地机十大名牌排行榜

随着科技的发展&#xff0c;各种家居清洁工具层出不穷&#xff0c;为我们的生活带来了诸多便利。在众多清洁工具中&#xff0c;洗地机的清洁效果更受大家喜爱&#xff0c;它能够完美解决了扫地机无法做到的干湿垃圾“一遍清洁”效果&#xff0c;而且几乎能解决日常生活中所有的…...

编程日记 2024/6/16 0:50:24

spark mllib 特征学习笔记 （二）

当然&#xff0c;请继续介绍其他特征处理方法的公式、适用场景和案例&#xff1a; 10. StringIndexer 公式&#xff1a; 将字符串类型的标签转换为数值索引&#xff1a; StringIndexer ( x ) { 0 , 1 , 2 , … , N − 1 } \text{StringIndexer}(x) \{0, 1, 2, \ldots, N-1…...

编程日记 2024/6/16 0:47:20

湘潭大学软件工程数据库2（题型，复习资源和计划）

文章目录 选择题关系范式事务分析E-R 图sql作业题答案链接&#xff08;仅限有官方答案的版本&#xff09;结语 现在实验全部做完了&#xff0c;实验和作业占比是百分之 40 &#xff0c;通过上图可以看出来&#xff0c;重点是 sql 语言 所以接下来主要就是学习 sql 语句怎么书写…...

编程日记 2024/6/16 0:45:18

第二十三节:带你梳理Vue2:Vue插槽的认识和基本使用

前言: 通过上一节的学习,我们知道了如何将数据从父组件中传递到子组件中, 除了除了将数据作为props传入到组件中,Vue还允许传入HTML, Vue 实现了一套内容分发的 API&#xff0c;这套 API 的设计灵感源自 Web Components 规范草案&#xff0c;将 <slot> 元素作为承载分发…...

编程日记 2024/6/16 0:44:17

父亲节马上到了-和我一起用Python写父亲节的祝福吧

前言 让我们一起用Python写一段父亲节的祝福吧 &#x1f4dd;个人主页→数据挖掘博主ZTLJQ的主页 个人推荐python学习系列&#xff1a; ☄️爬虫JS逆向系列专栏 - 爬虫逆向教学 ☄️python系列专栏 - 从零开始学python 话不多说先上代码 import tkinter as tk from doctest imp…...

编程日记 2024/6/16 0:43:16

winform 应用程序 添加 wpf控件后影响窗体DPI改变

第一步&#xff1a;添加 应用程序清单文件 app.manifest 第二步&#xff1a;把这段配置 注释放开&#xff0c;第一个配置true 改成false...

编程日记 2024/6/16 0:42:15

Web前端开发素材：探索、选择与应用的艺术

Web前端开发素材&#xff1a;探索、选择与应用的艺术 在Web前端开发的广袤领域中&#xff0c;素材的选择与应用无疑是一项至关重要的技能。它们如同构建网页的砖石&#xff0c;既承载着设计的美感&#xff0c;又影响着用户体验的深度。本文将从四个方面、五个方面、六个方面和…...

编程日记 2024/6/16 0:41:14

LeetCode | 20.有效的括号

这道题就是栈这种数据结构的应用&#xff0c;当我们遇到左括号的时候&#xff0c;比如{,(,[&#xff0c;就压栈&#xff0c;当遇到右括号的时候&#xff0c;比如},),]&#xff0c;就把栈顶元素弹出&#xff0c;如果不匹配&#xff0c;则返回False&#xff0c;当遍历完所有元素后…...

编程日记 2024/6/16 0:40:13

ceph scrub 错误记录

目的 记录 ceph scrub 错误问题解决 ceph scrub 故障故障信息 cluster:id: xxx-xxx-xxxhealth: HEALTH_ERR2 scrub errorsPossible data damage: 2 pg inconsistentmessage 日志信息 # egrep -i medium|i\/o error|sector|Prefailure /var/log/messages Jun 15 00:23:37 m…...

编程日记 2024/6/16 0:39:11

cs与msf权限传递，以及mimikatz抓取明文密码

cs与msf权限传递&#xff0c;以及mimikatz抓取win10明文密码 1、环境准备2、Cobalt Strike ------> MSF2.1 Cobalt Strike拿权限2.2 将CS权限传递给msf 3、MSF ------> Cobalt Strike3.1 msf拿权限3.2 将msf权限传递给CS 4、使用mimikatz抓取明文密码 1、环境准备 攻击&…...

编程日记 2024/6/16 0:38:11

Windows下的zip压缩包版Mysql8.3.0数据迁移到Mysql8.4.0可以用拷贝data文件夹的方式

Windows下的zip压缩包版Mysql8.3.0数据迁移到Mysql8.4.0可以用拷贝data文件夹的方式 拷贝后, 所有账户和数据都是一样的 步骤 停止MySQL服务 net stop mysql 或 sc.exe stop mysql net stop mysqlsc.exe stop mysql卸载 Mysql8.3.0 的服务 mysqld remove 或 mysqld remove m…...

编程日记 2024/6/16 0:37:09

软件体系结构笔记（自用）

来自《软件体系结构原理、方法与实践&#xff08;第三版&#xff09;》清华大学出版社 张友生编著 1-8章12章 复习笔记 如有错误&#xff0c;欢迎指正&#xff01;&#xff01;&#xff01;...

编程日记 2024/6/16 0:35:07

wordpress调用文章代码/上海已经开始二次感染了

项目背景和意义 目的&#xff1a;本课题主要目标是设计并能够实现一个基于微信小程序景区景点预约购票系统&#xff0c;前台用户使用小程序&#xff0c;后台管理使用JavaMysql开发&#xff0c;后台使用了springboot框架&#xff1b;通过后台添加景区资讯、景点介绍&#xff0c;…...

编程日记 2024/11/7 15:34:27

免费网站app下载/淘宝流量网站

*) RequestMapping(value"/xxx/{id}",method{RequestMethod.GET}) method 不写的话&#xff0c;默认GET、POST都支持&#xff0c;根据前端方式自动适应 转载于:https://www.cnblogs.com/mySummer/p/11057147.html...

编程日记 2024/11/7 15:31:20

湖南省郴州市旅游景点介绍/桂林seo

pmap命令用于报告进程的内存映射关系&#xff0c;是Linux调试及运维一个很好的工具。语法pmap(选项)(参数)选项-x&#xff1a;显示扩展格式&#xff1b;-d&#xff1a;显示设备格式&#xff1b;-q&#xff1a;不显示头尾行&#xff1b;-V&#xff1a;显示指定版本。参数进程号&…...

编程日记 2024/11/7 14:45:33

大型综合新闻门户网站织梦模板/公司推广咨询

多态性意味着有多重形式。在面向对象编程范式中&#xff0c;多态性往往表现为"一个接口&#xff0c;多个功能"。 多态性可以是静态的或动态的。在静态多态性中&#xff0c;函数的响应是在编译时发生的。在动态多态性中&#xff0c;函数的响应是在运行时发生的。 静…...

编程日记 2024/11/7 10:04:37

网站建设及域名/如何写软文推广产品

根据SqlServer2000 Analysis Services提供的帮助材料展开&#xff0c;略作说明并且根据各个函数的侧重点编写相应的MDX&#xff1b;这些成果主要源于我的老大浩哥&#xff0c;再次向他表示感谢。数组函数 函数 描述 SetToArray 将一个或多个集合转换为数组&#xff0c;以用于…...

编程日记 2024/11/7 9:37:54

网站策划建设方法/seo与sem的区别

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼顺便大佬帮看下代码&#xff0c;是不是代码写的太笨拙了&#xff0c;跟语言没关系import java.util.Scanner;import java.util.Queue;import java.util.LinkedList;public class Main{private static int[][][] maze;private stati…...

编程日记 2024/11/7 8:05:00