[已解决]爬取网页数据为空

江湖散人

1. import re, requests
   
2. 
   
3. url = "https://movie.douban.com/top250"
   
4. header = {
   
5. "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
   
6. }
   
7. resp = requests.get(url, headers=header)
   
8. page_content = resp.text
   
9. # print(result)
   
10. 
    
11. obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
    
12.                r'<span class="playable">(?P<watch>.*?)</span>'
    
13.                r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>', re.S)
    
14. result = obj.finditer(page_content)
    
15. for i in result:
    
16.     print(i.group("name"), i.group("score"), i.group("watch"))

复制代码

这个程序是想把豆瓣电影评分TOP250上的电影名称，评分，是否可播放给爬取下来，
可是结果为空，这是为啥啊？
哪位大神帮忙看一下啊？

最佳答案

月排行榜 / 总排行榜

大马强

2021-8-20 10:01:43

1. url = "https://movie.douban.com/top250"
   
2. header = {
   
3.     "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
   
4. }
   
5. resp = requests.get(url, headers=header)
   
6. page_content = resp.text
   
7. # print(result)
   
8. 
   
9. obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?'
   
10.                  r'<span class="playable">(?P<watch>.*?)</span>.*?'
    
11.                  r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?', re.S)
    
12. result = obj.finditer(page_content)
    
13. for i in result:
    
14.     print(i.group("name"), i.group("score"), i.group("watch"))

复制代码

跳转到最佳答案楼层

大马强

1. url = "https://movie.douban.com/top250"
   
2. header = {
   
3.     "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
   
4. }
   
5. resp = requests.get(url, headers=header)
   
6. page_content = resp.text
   
7. # print(result)
   
8. 
   
9. obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?'
   
10.                  r'<span class="playable">(?P<watch>.*?)</span>.*?'
    
11.                  r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?', re.S)
    
12. result = obj.finditer(page_content)
    
13. for i in result:
    
14.     print(i.group("name"), i.group("score"), i.group("watch"))

复制代码

大马强

你这样分行的写匹配式，很容易漏掉后面的.*?

江湖散人

大马强 发表于 2021-8-20 10:03
你这样分行的写匹配式，很容易漏掉后面的.*?

后边为啥要.*?啊？不是应该到</span>就行了吗？我只需要前边的name啊？
这个我真的不大懂，还请麻烦给我说说吧，谢谢啊

大马强

按照你原来的写法相当于是匹配这样的句子

1. <li>.*?<span class="title">(?P<name>.*?)</span>
   
2. <span class="playable">(?P<watch>.*?)</span>
   
3. <span class="rating_num" property="v:average">(?P<score>.*?)</span>

复制代码

大马强

但实际上的网页是这样的

                               
登录/注册后可看大图

大马强

不是说你分行re就会很聪明的也会分行匹配，实际上是连在一起的

1.   r'.*?<span class="title">(?P<name>.*?)</span>.*?<span class="rating_num".*?>(?P<score>.*?)</span>.*?<span class="inq">(?P<summary>.*?)</span.*?', re.S)
   

复制代码

江湖散人

大马强 发表于 2021-8-20 10:30
按照你原来的写法相当于是匹配这样的句子

你看是不是可以这样理解：
在一段完整的数据中爬取不同数据，应该要连贯，不能中断。
还有一个问题，就是一个电影是不可播放的，可是爬取出来后，显示确实可播放的，这是为什么呀？

大马强

这个我就不太知道了，我把它单独拿出去匹配，是匹配不到

江湖散人

大马强 发表于 2021-8-20 10:48
这个我就不太知道了，我把它单独拿出去匹配，是匹配不到

好吧，谢谢你啊

大马强

而且泰坦尼克号是找不到的

大马强

只能说re不是万能的了