scrpy学习-02

新浪微博

[Scrapy 教程] 3. 利用 scrapy 爬取网站中的详细信息 - YouTube

def parse(self,response):

soup BeautifulSoup(response.body,'html.parser')

tags soup.find_all('a',href=re.compile(r"sina.*\d{4}-\d{2}-\d{2}.*shtmls"))#匹配日期

for tag in tags:

url tag.get('href')

yield scrapy.Request(url,callback=self.parse_details)

def extract_title(self,soup):

selectors =['h1.main-title']

for selector in selectors:

if len(soup.select(selector))!=0:

title soup.select(selector)[0].text

return title

python与数据库

(6条消息) pymysql详解（connect连接、游标cursor、获取查询结果集、获取实时数据、解决查询数据为历史数据问题、insert into需要注意的地方）_pymysql.connect_XC_SunnyBoy的博客-CSDN博客

这是一个连接到本地MySQL数据库服务器的命令，其中：

• -h127.0.0.1指定要连接的主机名或IP地址，这里使用本地主机(localhost)的IP地址127.0.0.1。

• -uroot指定要用哪个MySQL用户进行连接，这里使用root用户进行连接。

• -p123456指定连接时使用的密码，这里使用123456作为root用户的密码。

整个命令的意思是使用root用户和密码123456连接到本地MySQL服务器。如果连接成功，将打开MySQL客户端命令行界面，可以在其中执行各种MySQL命令和查询。

#创建对象
db = pymysql.connect(host='localhost',
user='root',
password='@hdp020820',
database='maoyandb',)

pymysql.err.OperationalError: (1049, "Unknown database 'maoyandb'")

CREATE TABLE movieinfo (name VARCHAR(255),actor VARCHAR(255),release_date DATE
);

import pymysql

导出数据库

#创建对象
self.db = pymysql.connect(host='localhost',
user='root',
password='@hdp020820',
database='maoyandb',)cursor = db.cursor()
# sql语句执性，单行插入
info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql = 'insert into filmtab values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()