[已解决]豆瓣电影

jump_p

访问豆瓣美剧的页面，这个页面只显示20部美剧，需要下拉才能下载，也就是说是被JS渲染的。



F12右键检查，找到Network，左边菜单Name , 找到第五个数据，点击Preview。


点开subjects，可以看到 title 就是对应电影名称。rate就是对应评分。通过js解析subjects字典，找到需要的字段。

那么如何找到每部电影的链接呢？我看到的文章链接如下： 不懂这个链接在哪里看到的

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-12 16:26:06

[b]

jump_p 发表于 2020-6-12 15:24
这是完整代码，帮忙品品

在这找的，而且你多翻几页就会找到规律，每页都是  age*20 的形式   

第一页是 0*20 第二页 1*20  第三页 2*20  所以那用 {} 格式化代入乘以20后的数即可模仿翻页

第二页：





第三页：
[/b]

跳转到最佳答案楼层

叱咤风云2333

应该是网页自己地址栏里的url，这里应该不是每部电影的URL，是美剧主页的URL。limit=20和你每页显示20个对得上。
我从豆瓣电影主页，点击美剧栏目，进去的显示地址复制过来如下：https://movie.douban.com/tv/#!type=tv&tag=%E7%BE%8E%E5%89%A7&sort=recommend&page_limit=20&page_start=0
因为解码问题，地址栏里的“美剧”两个字复制过来后显示的是乱码。这样应该跟你看到文章里的是一样的。

jump_p

叱咤风云2333 发表于 2020-6-12 14:40
应该是网页自己地址栏里的url，这里应该不是每部电影的URL，是美剧主页的URL。limit=20和你每页显示20个对 ...

直接复制这个地址是爬不到东西的

叱咤风云2333

jump_p 发表于 2020-6-12 14:52
直接复制这个地址是爬不到东西的

1. import urllib.request
   
2. 
   
3. url = 'https://movie.douban.com/tv/#!type=tv&tag=%E7%BE%8E%E5%89%A7&sort=recommend&page_limit=20&page_start=0'
   
4. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
5. req = urllib.request.Request(url = url,headers = headers)
   
6. response = urllib.request.urlopen(req)
   
7. print(response.read().decode('utf-8'))
   

复制代码

用上面代码把刚才这个网页爬出来了。
不过刚才爬出来的确实没有具体信息，猜测可能要通过树的形式，得点进去才能找到？

jump_p

叱咤风云2333 发表于 2020-6-12 14:59
用上面代码把刚才这个网页爬出来了。
不过刚才爬出来的确实没有具体信息，猜测可能要通过树的形式 ...

可能是加密的接口？我也不是很懂

suchocolate

4楼的代码是对的，一般下拉都是ajax，header里最好加上：X-Requested-With: XMLHttpRequest

jump_p

suchocolate 发表于 2020-6-12 15:12
4楼的代码是对的，一般下拉都是ajax，header里最好加上：X-Requested-With: XMLHttpRequest

1. import requests, json
   
2. from fake_useragent import UserAgent
   
3. import csv
   
4. 
   
5. 
   
6. class Doban(object):
   
7.     u = 0;
   
8. 
   
9.     def __init__(self):
   
10.         self.film_list = []
    
11.         ua = UserAgent(verify_ssl=False)
    
12.         self.url = "https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%BE%8E%E5%89%A7&sort=recommend&page_limit=20&page_start={}"
    
13.         for i in range(1, 50):
    
14.             self.headers = {
    
15.                 'User-Agent': ua.random # ua 构造随机请求头
    
16.             }
    
17. 
    
18.     '''发送请求  获取响应'''
    
19. 
    
20.     def get_page(self, url):
    
21.         res = requests.get(url=url, headers=self.headers)
    
22.         html = res.content.decode("utf-8")
    
23.         if res.status_code == 200:
    
24.             return html
    
25.         '''解析数据'''
    
26. 
    
27.     #
    
28.     # '''获取链接函数'''
    
29.     def parse_page(self, html):
    
30.         # 创建csv文件进行写入
    
31.         csv_file = open('scr.csv', 'a', encoding='gbk')
    
32.         csv_writer = csv.writer(csv_file)
    
33.         # 写入csv标题头内容
    
34.         csv_writer.writerow(['电影', '评分', "详情页"])
    
35.         data = json.loads(html)['subjects']
    
36.         # print(data[0])
    
37.         for r in data:
    
38.             # print(r)
    
39.             rate = r["rate"]
    
40.             id = r["title"]
    
41.             src = r["url"]
    
42.             urll = r["cover"]
    
43.             csv_writer.writerow([id, rate, urll])
    
44.             html2 = requests.get(url=urll, headers=self.headers).content
    
45.             dirname = "./图/" + id + ".jpg"
    
46.             with open(dirname, 'wb') as f:
    
47.                 f.write(html2)
    
48.                 print("%s 【下载成功！！！！】" % id)
    
49. 
    
50.         csv_file.close()
    
51. 
    
52.     def main(self):
    
53.         startPage = int(input("起始页:"))
    
54.         endPage = int(input("终止页:"))
    
55.         for page in range(startPage, endPage + 1, 20):
    
56.             url = self.url.format(page)
    
57.             # print(url)
    
58.             html = self.get_page(url)
    
59.             self.u += 1
    
60.             self.parse_page(html)
    
61.             print("======================第%s页爬取成功！！！！=======================" % str(self.u))
    
62. 
    
63. 
    
64. if __name__ == '__main__':
    
65.     Siper = Doban()
    
66.     Siper.main()
    
67. 
    

复制代码

这是完整代码，帮忙品品

Twilight6

[b]

jump_p 发表于 2020-6-12 15:24
这是完整代码，帮忙品品

在这找的，而且你多翻几页就会找到规律，每页都是  age*20 的形式   

第一页是 0*20 第二页 1*20  第三页 2*20  所以那用 {} 格式化代入乘以20后的数即可模仿翻页

第二页：





第三页：
[/b]

Stubborn

1. {rate: "8.8", cover_x: 2025, title: "韦恩", url: "https://movie.douban.com/subject/30204361/",…}
   
2. cover: "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2545419100.jpg"
   
3. cover_x: 2025
   
4. cover_y: 3000
   
5. id: "30204361"
   
6. is_new: false
   
7. playable: false
   
8. rate: "8.8"
   
9. title: "韦恩"
   
10. url: "https://movie.douban.com/subject/30204361/"

复制代码

返回的ajax里面，所有信息都包括了，链接什么的都有，直接提取

jump_p

Stubborn 发表于 2020-6-12 16:34
返回的ajax里面，所有信息都包括了，链接什么的都有，直接提取

你这个似乎还不是，楼上那个是

jump_p

Twilight6 发表于 2020-6-12 16:26
在这找的，而且你多翻几页就会找到规律，每页都是  age*20 的形式   

第一页是 0*20 第二页 1*20   ...

牛

Stubborn

jump_p 发表于 2020-6-12 17:07
你这个似乎还不是，楼上那个是

Twilight6

Stubborn 发表于 2020-6-12 17:43