从维基百科通过关键字爬取指定文本内容

通过输入搜索的关键字，和搜索页数范围，爬出指定文本内内容并存入到txt文档。代码逐行讲解。

使用re、res、BeautifulSoup包读取，代码已测，可以运行。txt文档内容不乱码。

import re
import requests
from bs4 import BeautifulSouptitles = []                                                             #存放文档标题
urls = []                                                               #存放每个文档链接keyword = input("请输入想要查找的关键字：")                              
pagenum = input("请输入想要查找的页数：")                                        
txt_name = keyword + "：前" + pagenum + "页内容.txt"                        with open(txt_name,'w',encoding='utf-8') as f:                             # 创建txt文件f.write(txt_name + '\r')                                               # 将文件名写入f.close()# 每页内容单独爬取
for i in range(1, int(pagenum)+1):                               html = "http://www.ofweek.com/newquery.action?keywords="+keyword+"&type=1&pagenum=" + str(i)         # 根据关键词和页数生成链接resp = requests.get(html)                             # get获取数据，访问拼接后的url                                    resp.encoding = 'gb18030'                             # 读取中文时不会出现乱码content = resp.text                  # 拿到网站的数据，捕获到的网页内容给content变量# html文件解析，解析响应的文件内容，html.text 是 HTML 文档的源代码，# 'html.parser' 是解析器，用于指定如何解析 HTML 文档bs = BeautifulSoup(content,'html.parser')#每个标题都存在类名为no-pic的li标签里面for news in bs.select('div.zx-tl'): url = news.select('a')[0]['href']                     # 提取文章链接urls.append(url) title = news.select('a')[0].text                      # 提取文章标题titles.append(title)for i in range(len(urls)):                                    # 遍历每篇文章的链接resp = requests.get(urls[i])resp.encoding='gb18030'content = resp.textbs = BeautifulSoup(content,'html.parser')#文章的内容是存在类名为artical-content的div块里面page_content = bs.select('div.artical-content')[0].textwith open(txt_name,'a',encoding='utf-8') as f:            # 写入txt文件f.write("\n"+titles[i]+page_content)f.close()print("文件保存成功！")