论坛 › Python交流 › 爬取网页数据为空

江湖散人 发表于 2021-8-20 09:53:01

爬取网页数据为空

import re, requests

url = "https://movie.douban.com/top250"
header = {
"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
}
resp = requests.get(url, headers=header)
page_content = resp.text
# print(result)

obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
               r'<span class="playable">(?P<watch>.*?)</span>'
               r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>', re.S)
result = obj.finditer(page_content)
for i in result:
    print(i.group("name"), i.group("score"), i.group("watch"))

这个程序是想把豆瓣电影评分TOP250上的电影名称，评分，是否可播放给爬取下来，
可是结果为空，这是为啥啊？
哪位大神帮忙看一下啊？

大马强 发表于 2021-8-20 10:01:43

url = "https://movie.douban.com/top250"
header = {
    "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
}
resp = requests.get(url, headers=header)
page_content = resp.text
# print(result)

obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?'
               r'<span class="playable">(?P<watch>.*?)</span>.*?'
               r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?', re.S)
result = obj.finditer(page_content)
for i in result:
    print(i.group("name"), i.group("score"), i.group("watch"))

大马强 发表于 2021-8-20 10:03:15

你这样分行的写匹配式，很容易漏掉后面的.*?

江湖散人 发表于 2021-8-20 10:08:56

大马强 发表于 2021-8-20 10:03
你这样分行的写匹配式，很容易漏掉后面的.*?

后边为啥要.*?啊？不是应该到</span>就行了吗？我只需要前边的name啊？
这个我真的不大懂，还请麻烦给我说说吧，谢谢啊

大马强 发表于 2021-8-20 10:30:39

按照你原来的写法相当于是匹配这样的句子
<li>.*?<span class="title">(?P<name>.*?)</span>
<span class="playable">(?P<watch>.*?)</span>
<span class="rating_num" property="v:average">(?P<score>.*?)</span>

大马强 发表于 2021-8-20 10:32:32

但实际上的网页是这样的
https://static01.imgkr.com/temp/6a1a08bab5874dccaae3ab50a46b3fde.jpg

大马强 发表于 2021-8-20 10:34:18

不是说你分行re就会很聪明的也会分行匹配，实际上是连在一起的
r'.*?<span class="title">(?P<name>.*?)</span>.*?<span class="rating_num".*?>(?P<score>.*?)</span>.*?<span class="inq">(?P<summary>.*?)</span.*?', re.S)

江湖散人 发表于 2021-8-20 10:34:43

大马强 发表于 2021-8-20 10:30
按照你原来的写法相当于是匹配这样的句子

你看是不是可以这样理解：
在一段完整的数据中爬取不同数据，应该要连贯，不能中断。
还有一个问题，就是一个电影是不可播放的，可是爬取出来后，显示确实可播放的，这是为什么呀？

大马强 发表于 2021-8-20 10:48:28

这个我就不太知道了，我把它单独拿出去匹配，是匹配不到{:10_266:}

江湖散人 发表于 2021-8-20 10:51:20

大马强 发表于 2021-8-20 10:48
这个我就不太知道了，我把它单独拿出去匹配，是匹配不到

好吧，谢谢你啊

大马强 发表于 2021-8-20 10:54:28

而且泰坦尼克号是找不到的{:10_266:}

大马强 发表于 2021-8-20 10:55:25

只能说re不是万能的了

查看完整版本: 爬取网页数据为空