[已解决]想爬取完整的250个电影，这个代码我得怎么完善

小龟龙

如图所示，现在代码运行之后值爬到第一页面的25个电影内容，我知道他每页?start=0&filter=；“0”这个参数依次递增25，那就可以

1. num = 0
   
2. while num <= 250:
   
3.     print(num)
   
4.     num += 25

复制代码

不是太清楚这个数字得怎么代入到url网址里，跟怎么获取全部页面 250个电影的源代码？

最佳答案

月排行榜 / 总排行榜

歌者文明清理员

2023-6-3 13:12:45

小龟龙 发表于 2023-6-3 08:44
老哥，那个f缩进在循环里面了，最后面的f.close,显示f未定义，怎么搞，没close我又怕一会封ip了

1. import requests
   
2. import re
   
3. import csv
   
4. 
   
5. f = open("date.csv", mode="w")
   
6. csvwriter = csv.writer(f)
   
7. 
   
8. num = 0
   
9. while num <= 250:
   
10.     print(num)
    
11.     # 获取网页的内容
    
12.     url = f"https://movie.douban.com/top250?start={num}&filter="
    
13. 
    
14.     headers = {
    
15.         "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
    
16.     }
    
17. 
    
18.     resp = requests.get(url,headers=headers)
    
19.     page_content = resp.text
    
20. 
    
21.     # 对网页的内容进行解析
    
22.     obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
    
23.                      r'.*?<br>(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
    
24.                      r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)
    
25. 
    
26.     result = obj.finditer(page_content)
    
27.     for it in result:
    
28.         # print(it.group("name"))
    
29.         # print(it.group("score"))
    
30.         # print(it.group("num"))
    
31.         # print(it.group("year").strip())
    
32.         dic = it.groupdict()
    
33.         dic['year'] = dic['year'].strip()
    
34.         csvwriter.writerow(dic.values())
    
35.     num += 25
    
36. 
    
37. f.close()
    
38. print("over!")
    

复制代码

没仔细看代码，失礼了

跳转到最佳答案楼层

歌者文明清理员

代码放上来，手巧很累

小龟龙

歌者文明清理员 发表于 2023-6-2 17:01
代码放上来，手巧很累

1. import requests
   
2. import re
   
3. import csv
   
4. 
   
5. # 获取网页的内容
   
6. url = "https://movie.douban.com/top250?start=25&filter="
   
7. 
   
8. headers = {
   
9.     "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
   
10. }
    
11. 
    
12. resp = requests.get(url,headers=headers)
    
13. page_content = resp.text
    
14. 
    
15. # 对网页的内容进行解析
    
16. obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
    
17.                  r'.*?<br>(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
    
18.                  r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)
    
19. 
    
20. result = obj.finditer(page_content)
    
21. f = open("date.csv", mode="w")
    
22. csvwriter = csv.writer(f)
    
23. for it in result:
    
24.     # print(it.group("name"))
    
25.     # print(it.group("score"))
    
26.     # print(it.group("num"))
    
27.     # print(it.group("year").strip())
    
28.     dic = it.groupdict()
    
29.     dic['year'] = dic['year'].strip()
    
30.     csvwriter.writerow(dic.values())
    
31. 
    
32. f.close()
    
33. print("over!")

复制代码

歌者文明清理员

小龟龙 发表于 2023-6-2 17:10

1. import requests
   
2. import re
   
3. import csv
   
4. 
   
5. num = 0
   
6. while num <= 250:
   
7.     print(num)
   
8.     # 获取网页的内容
   
9.     url = f"https://movie.douban.com/top250?start={num}&filter="
   
10. 
    
11.     headers = {
    
12.         "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
    
13.     }
    
14. 
    
15.     resp = requests.get(url,headers=headers)
    
16.     page_content = resp.text
    
17. 
    
18.     # 对网页的内容进行解析
    
19.     obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
    
20.                      r'.*?<br>(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
    
21.                      r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)
    
22. 
    
23.     result = obj.finditer(page_content)
    
24.     f = open("date.csv", mode="w")
    
25.     csvwriter = csv.writer(f)
    
26.     for it in result:
    
27.         # print(it.group("name"))
    
28.         # print(it.group("score"))
    
29.         # print(it.group("num"))
    
30.         # print(it.group("year").strip())
    
31.         dic = it.groupdict()
    
32.         dic['year'] = dic['year'].strip()
    
33.         csvwriter.writerow(dic.values())
    
34.     num += 25
    
35. 
    
36. f.close()
    
37. print("over!")
    

复制代码

小龟龙

歌者文明清理员 发表于 2023-6-2 17:13

好 我试试看

小龟龙

歌者文明清理员 发表于 2023-6-2 17:13

老哥，那个f缩进在循环里面了，最后面的f.close,显示f未定义，怎么搞，没close我又怕一会封ip了

歌者文明清理员

小龟龙 发表于 2023-6-3 08:44
老哥，那个f缩进在循环里面了，最后面的f.close,显示f未定义，怎么搞，没close我又怕一会封ip了

1. import requests
   
2. import re
   
3. import csv
   
4. 
   
5. f = open("date.csv", mode="w")
   
6. csvwriter = csv.writer(f)
   
7. 
   
8. num = 0
   
9. while num <= 250:
   
10.     print(num)
    
11.     # 获取网页的内容
    
12.     url = f"https://movie.douban.com/top250?start={num}&filter="
    
13. 
    
14.     headers = {
    
15.         "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
    
16.     }
    
17. 
    
18.     resp = requests.get(url,headers=headers)
    
19.     page_content = resp.text
    
20. 
    
21.     # 对网页的内容进行解析
    
22.     obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>'
    
23.                      r'.*?<br>(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
    
24.                      r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)
    
25. 
    
26.     result = obj.finditer(page_content)
    
27.     for it in result:
    
28.         # print(it.group("name"))
    
29.         # print(it.group("score"))
    
30.         # print(it.group("num"))
    
31.         # print(it.group("year").strip())
    
32.         dic = it.groupdict()
    
33.         dic['year'] = dic['year'].strip()
    
34.         csvwriter.writerow(dic.values())
    
35.     num += 25
    
36. 
    
37. f.close()
    
38. print("over!")
    

复制代码

没仔细看代码，失礼了