[已解决]豆瓣图书网页爬虫

Lesly_

import requests
import re
content = requests.get('https://book.douban.com/').text
pattern = re.compile('<li.*?cover.*?href="(.*?)".*?title="(.*?)".*?more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</li>', re.S)
results = re.findall(pattern, content)
for result in results:
    url, name, author, date = result
    author = re.sub('\s', '', author)
    date = re.sub('\s', '', date)
    print(url, name, author, date)

谁能帮我看一下这个为什么爬不出来啊？问题出在哪里了？

最佳答案

月排行榜 / 总排行榜

C4rB0n

2018-3-4 14:29:48

您这个是正则表达式错了，并不能匹配任何链接。我建议您使用BeautifulSoup之类的模块进行匹配。


给您几个学习链接：
    1. Python爬虫利器二之Beautiful Soup的用法：https://cuiqingcai.com/1319.html
    2. 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
    3. 英文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
    4. python用BeautifulSoup库简单爬虫入门+案例（爬取妹子图）： https://segmentfault.com/a/1190000011192866

如果您硬要使用正则，也可以给我留言，下周我给您具体方法。学生党。。。。。

跳转到最佳答案楼层

C4rB0n

您这个是正则表达式错了，并不能匹配任何链接。我建议您使用BeautifulSoup之类的模块进行匹配。


给您几个学习链接：
    1. Python爬虫利器二之Beautiful Soup的用法：https://cuiqingcai.com/1319.html
    2. 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
    3. 英文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
    4. python用BeautifulSoup库简单爬虫入门+案例（爬取妹子图）： https://segmentfault.com/a/1190000011192866

如果您硬要使用正则，也可以给我留言，下周我给您具体方法。学生党。。。。。

Lesly_

C4rB0n 发表于 2018-3-4 14:29
您这个是正则表达式错了，并不能匹配任何链接。我建议您使用BeautifulSoup之类的模块进行匹配。

我也是学生，我先试试，非常感谢