基于python的反爬虫技术的研究设计与实现

摘 要
当下的网络是复杂的，网络上的信息非常的丰富，但也造成了大量的信息堆积，特别是大量的重复信息被反复的推送给用户。这是一个流量的时代，很多社会群体都会聚焦具备流量潜力的信息，从而发生蹭热度等行为来提升自己的网站或者blog的点击率，爬虫就是当下最为高效的爬取重要信息的一项数据获取方式。爬虫通过伪装用户代理、设置代理服务器等方式来实现对网络上的数据进行爬取的操作，通过对网页发送请求来实现数据的信息爬取工作。此次主要是通过利用django、Python等技术来先搭建一款网站，通过网站来输入一些信息内容，再通过Python来进行数据的爬取操作，通过爬取操作来实现爬虫的工作。在通过Python来设计反爬虫的操作，通过反爬虫的操作设计最终使得网站内的数据不会被爬取，实现很好的信息保护工作。
关键词:反爬虫；信息搜集；Python；

abstract
The current network is complex. The information on the network is very rich, but it also causes a large amount of information accumulation, especially a large amount of repeated information is repeatedly pushed to users. This is an era of traffic. Many social groups will focus on the information with traffic potential, so as to rub heat and other behaviors to improve the click through rate of their website or blog. Crawler is the most efficient way to crawl important information. The crawler crawls the data on the network by pretending to be a user agent and setting up a proxy server. The crawler crawls the information of the data by sending a request to the web page. This time, we mainly build a website by using Django, Python and other technologies, input some information through the website, and then crawl the data through Python to realize the work of the crawler. The anti crawler operation is designed through python. Through the anti crawler operation design, the data in the website will not be crawled, so as to achieve good information protection.

Keywords: anti reptile; Information collection; Python

目 录
摘 要 1
abstract 2
目 录 3
第1章 绪论 1
1.1 选题背景 1
1.2 研究目的及意义 1
1.3 课题研究内容 2
第2章 相关理论及技术 3
2.1 My SQL 数据库 3
2.2 B/S结构 3
2.3 python 4
2.4爬虫技术 5
第3章 需求分析 6
3.1 系统业务陈述 6
3.2系统需求建模 6
3.2.1系统功能需求分析 6
3.3可行性分析 7
3.3.1技术的可行性 7
3.3.2经济的可行性 7
3.3.3操作可行性 7
3.3.4法律的可行性 8
第4章 系统设计与实现 9
4.1系统应用架构 9
4.2系统总体功能设计 9
4.3数据库数据结构设计 9
4.3.1数据库的概念 9
4.3.2数据库的概念设计 9
4.3.3关系型数据表设计 10
4.4核心功能模块设计与实现 10
4.4.1模块实现 10
11
第5章 系统测试 12
5.1系统测试的目的 12
5.2系统测试环境 12
5.3系统性能测试 13
5.4系统测试结果分析 13
总结 14
参考文献 15
致谢 16