[已解决]爬取网页数据为空

江湖散人

import re, requests

url = "https://movie.douban.com/top250"
header = {
"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
}
resp = requests.get(url, headers=header)
page_content = resp.text
# print(result)

obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
               r'<span class="playable">(?P<watch>.*?)</span>'
               r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>', re.S)
result = obj.finditer(page_content)
for i in result:
    print(i.group("name"), i.group("score"), i.group("watch"))

这个程序是想把豆瓣电影评分TOP250上的电影名称，评分，是否可播放给爬取下来，
可是结果为空，这是为啥啊？
哪位大神帮忙看一下啊？

最佳答案

月排行榜 / 总排行榜

大马强

2021-8-20 10:01:43

url = "https://movie.douban.com/top250"
header = {
    "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
}
resp = requests.get(url, headers=header)
page_content = resp.text
# print(result)

obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?'
                 r'<span class="playable">(?P<watch>.*?)</span>.*?'
                 r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?', re.S)
result = obj.finditer(page_content)
for i in result:
    print(i.group("name"), i.group("score"), i.group("watch"))

跳转到最佳答案楼层

大马强

url = "https://movie.douban.com/top250"
header = {
    "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
}
resp = requests.get(url, headers=header)
page_content = resp.text
# print(result)

obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?'
                 r'<span class="playable">(?P<watch>.*?)</span>.*?'
                 r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?', re.S)
result = obj.finditer(page_content)
for i in result:
    print(i.group("name"), i.group("score"), i.group("watch"))

大马强

你这样分行的写匹配式，很容易漏掉后面的.*?

江湖散人

大马强 发表于 2021-8-20 10:03
你这样分行的写匹配式，很容易漏掉后面的.*?

后边为啥要.*?啊？不是应该到</span>就行了吗？我只需要前边的name啊？
这个我真的不大懂，还请麻烦给我说说吧，谢谢啊

大马强

按照你原来的写法相当于是匹配这样的句子

<li>.*?<span class="title">(?P<name>.*?)</span>
<span class="playable">(?P<watch>.*?)</span>
<span class="rating_num" property="v:average">(?P<score>.*?)</span>

大马强

但实际上的网页是这样的

                               
登录/注册后可看大图

大马强

不是说你分行re就会很聪明的也会分行匹配，实际上是连在一起的

  r'.*?<span class="title">(?P<name>.*?)</span>.*?<span class="rating_num".*?>(?P<score>.*?)</span>.*?<span class="inq">(?P<summary>.*?)</span.*?', re.S)

江湖散人

大马强 发表于 2021-8-20 10:30
按照你原来的写法相当于是匹配这样的句子

你看是不是可以这样理解：
在一段完整的数据中爬取不同数据，应该要连贯，不能中断。
还有一个问题，就是一个电影是不可播放的，可是爬取出来后，显示确实可播放的，这是为什么呀？

大马强

这个我就不太知道了，我把它单独拿出去匹配，是匹配不到

江湖散人

大马强 发表于 2021-8-20 10:48
这个我就不太知道了，我把它单独拿出去匹配，是匹配不到

好吧，谢谢你啊

大马强

而且泰坦尼克号是找不到的

大马强

只能说re不是万能的了