爬腾讯视频，爬不下去了，求助!!!!!SOS!!!!!

非凡

代码在这里，

1. import requests
   
2. from lxml import etree
   
3. from selenium import webdriver
   
4. from selenium.webdriver.common.by import By
   
5. from fake_useragent import UserAgent
   
6. from urllib import parse
   
7. import re
   
8. 
   
9. class tencent_movie (object):
   
10.     def __init__(self):
    
11.         ua = UserAgent(verify_ssl=False)
    
12.         for i in range(1,2):
    
13.             self.headers = {'User-Agent':ua.random}
    
14.     def get_html(self,url):
    
15.         res = requests.get(url,headers=self.headers)
    
16.         html = res.content.decode('utf-8')
    
17.         return html
    
18.     def parse_html(self,html):
    
19.         target = etree.HTML(html)
    
20.         links = target.xpath('//h2[@class="result_title"]/a/@href')
    
21.         host = links[0]
    
22.         res = requests.get(host,headers=self.headers)
    
23.         con = res.content.decode('utf-8')
    
24.         new_html = etree.HTML(con)
    
25.         # first_select = int(input('1.电视剧\n2.电影\n'))
    
26.         first_select = 1
    
27.         pattern = re.compile('https://v.qq.com/x/cover/(.*?).html')
    
28.         cid = pattern.findall(host)[0]
    
29.         if first_select == 1:
    
30.             #获取电视剧集链接
    
31.             url_link ='https://pbaccess.video.qq.com/trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2'
    
32.              data = {
    
33.                 'cid': cid,
    
34.                 'id_type': "1",
    
35.                 'lid': "",
    
36.                 'page_context': "",
    
37.                 'page_id': "vsite_episode_list",
    
38.                 'page_num': "",
    
39.                 'page_size': "30",
    
40.                 'page_type': "detail_operation",
    
41.                 'req_from': "web",
    
42.                 'vid': "d0027j9renh"
    
43.             }
    
44.             res_series = requests.post(url=url_link,headers=self.headers,data=data).json()
    
45.             print(res_series)
    
46.             #运行不下去了~~~~~~~
    
47.             select = int(input('需要哪一集：'))
    
48. 
    
49.             # last_host = 'https://api.akmov.net/?url='+ new_link
    
50.         else:
    
51.             # 电影是直接可以得到链接地址
    
52.             last_host =  host
    
53.         self.driver = webdriver.Edge()
    
54.         self.driver.get(last_host)
    
55. 
    
56.     def main(self):
    
57.         # name = input('请输入电视局名或电影名：')
    
58.         name = '沙海'
    
59.         query  = {'wd':name}
    
60.         name_link = parse.urlencode(query)
    
61.         url = 'https://v.qq.com/x/search/?q={}&stag=0&smartbox_ab='.format(name_link)
    
62.         html = self.get_html(url)
    
63.         self.parse_html(html)
    
64. if __name__ == '__main__':
    
65.     spider=tencent_movie()
    
66.     spider.main()
    

复制代码

代码到了这里时就运行不下去了

1.             url_link ='https://pbaccess.video.qq.com/trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2'
   
2.              data = {
   
3.                 'cid': cid,
   
4.                 'id_type': "1",
   
5.                 'lid': "",
   
6.                 'page_context': "",
   
7.                 'page_id': "vsite_episode_list",
   
8.                 'page_num': "",
   
9.                 'page_size': "30",
   
10.                 'page_type': "detail_operation",
    
11.                 'req_from': "web",
    
12.                 'vid': "d0027j9renh"
    
13.             }
    
14.             res_series = requests.post(url=url_link,headers=self.headers,data=data).json()
    
15.             print(res_series)
    
16.             #运行不下去了~~~~~~~

复制代码

因为得到的 res_series = {'ret': 35013, 'msg': 'unknow error.'}
不是正常的数据
求大神帮忙看看，问题时在哪里？
是data错了，还是腾讯视频有什么反爬机制？

wp231957

这玩意都是和爱奇艺一样的东东，都是爬不动的

非凡

wp231957 发表于 2021-11-24 17:28
这玩意都是和爱奇艺一样的东东，都是爬不动的

  没得救吗？