[已解决]如何在一个动态网站种找到某一资源的包是哪个？

非凡

在写爬虫的时候，在遇到动态网站的时候，总会在找这在一资源的包的时候花费很长的时间。

想请教下大神们有什么经验传授下小子，如何在动态网页里快速的找到一个资源的包。

比如：
        我现在想爬腾讯视频电视剧《沙海》，我现在想要先获取到这一电视剧所有集的url,以便供我选择。

        但是这选集这里的资源包我是找了好久没找到。

        有没有什么办法，或工具推荐吗？

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-23 15:39:21

没有特别的技巧，就是筛选，重点看html和json。数据一般都在这里。

跳转到最佳答案楼层

suchocolate

让我猜猜你的代码

z5560636

应该是 ajax 请求的吧。

非凡

suchocolate 发表于 2021-11-22 21:10
让我猜猜你的代码

还没写代码还没写全，只是还在就卡在找这电视剧集的资源时，卡主了。

非凡

suchocolate 发表于 2021-11-22 21:10
让我猜猜你的代码

电影的url都能爬到了，到了电视剧某一集这里卡了，后面还想去下载资源，代码还没写。。。。
大佬，请收下我的膝盖

1. import requests
   
2. from lxml import etree
   
3. from selenium import webdriver
   
4. from selenium.webdriver.common.by import By
   
5. from fake_useragent import UserAgent
   
6. from urllib import parse
   
7. 
   
8. class tencent_movie (object):
   
9.     def __init__(self):
   
10.         ua = UserAgent(verify_ssl=False)
    
11.         for i in range(1,2):
    
12.             self.headers = {'User-Agent':ua.random}
    
13.     def get_html(self,url):
    
14.         res = requests.get(url,headers=self.headers)
    
15.         html = res.content.decode('utf-8')
    
16.         return html
    
17.     def parse_html(self,html):
    
18.         target = etree.HTML(html)
    
19.         links = target.xpath('//h2[@class="result_title"]/a/@href')
    
20.         host = links[0]
    
21.         res = requests.get(host,headers=self.headers)
    
22.         con = res.content.decode('utf-8')
    
23.         new_html = etree.HTML(con)
    
24.         first_select = int(input('1.电视剧\n2.电影\n'))
    
25.         if first_select == 1:
    
26.             #获取电视剧集链接
    
27.             new_links = new_html.xpath('//div[@class="mod_episode"]/span/a/@href')
    
28.             print(len(new_links))
    
29.             select = int(input('需要哪一集：'))
    
30.             new_link = new_links[select -1]
    
31.             last_host = 'https://api.akmov.net/?url='+new_link
    
32.         else:
    
33.             # 电影是直接可以得到链接地址
    
34.             last_host =  host  
    
35.         self.driver = webdriver.Edge()
    
36.         self.driver.get(last_host)
    
37. 
    
38.     def main(self):
    
39.         name = input('请输入电视局名或电影名：')
    
40.         query  = {'wd':name}
    
41.         name_link = parse.urlencode(query)
    
42.         url = 'https://v.qq.com/x/search/?q={}&stag=0&smartbox_ab='.format(name_link)
    
43.         html = self.get_html(url)
    
44.         self.parse_html(html)
    
45. if __name__ == '__main__':
    
46.     spider=tencent_movie()
    
47.     spider.main()
    
48. 
    

复制代码

suchocolate

没有特别的技巧，就是筛选，重点看html和json。数据一般都在这里。

非凡

suchocolate 发表于 2021-11-23 15:39
没有特别的技巧，就是筛选，重点看html和json。数据一般都在这里。

感谢指教，我找到这包了。
但现在我产生个新疑惑了，图片上是两个不同电视剧的剧集资源的包，但我看他包里的标头，竟然全都是一模一样的，这是什么原因啊？
请求url一样，path一样，啥都是一样的，那我根据什么去获取不同电视剧的剧集资源呢？

18408238295

suchocolate

非凡 发表于 2021-11-23 18:17
感谢指教，我找到这包了。
但现在我产生个新疑惑了，图片上是两个不同电视剧的剧集资源的包，但我看他包 ...

看请求的带的data

非凡

suchocolate 发表于 2021-11-23 20:57
看请求的带的data

大神，受累帮忙瞟一眼，看看是啥问题

1. import requests
   
2. from lxml import etree
   
3. from selenium import webdriver
   
4. from selenium.webdriver.common.by import By
   
5. from fake_useragent import UserAgent
   
6. from urllib import parse
   
7. import re
   
8. 
   
9. class tencent_movie (object):
   
10.     def __init__(self):
    
11.         ua = UserAgent(verify_ssl=False)
    
12.         for i in range(1,2):
    
13.             self.headers = {'User-Agent':ua.random}
    
14.     def get_html(self,url):
    
15.         res = requests.get(url,headers=self.headers)
    
16.         html = res.content.decode('utf-8')
    
17.         return html
    
18.     def parse_html(self,html):
    
19.         target = etree.HTML(html)
    
20.         links = target.xpath('//h2[@class="result_title"]/a/@href')
    
21.         host = links[0]
    
22.         res = requests.get(host,headers=self.headers)
    
23.         con = res.content.decode('utf-8')
    
24.         new_html = etree.HTML(con)
    
25.         # first_select = int(input('1.电视剧\n2.电影\n'))
    
26.         first_select = 1
    
27.         pattern = re.compile('https://v.qq.com/x/cover/(.*?).html')
    
28.         cid = pattern.findall(host)[0]
    
29.         if first_select == 1:
    
30.             #获取电视剧集链接
    
31.             url_link ='https://pbaccess.video.qq.com/trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2'
    
32.              data = {
    
33.                 'cid': cid,
    
34.                 'id_type': "1",
    
35.                 'lid': "",
    
36.                 'page_context': "",
    
37.                 'page_id': "vsite_episode_list",
    
38.                 'page_num': "",
    
39.                 'page_size': "30",
    
40.                 'page_type': "detail_operation",
    
41.                 'req_from': "web",
    
42.                 'vid': "d0027j9renh"
    
43.             }
    
44.             res_series = requests.post(url=url_link,headers=self.headers,data=data).json()
    
45.             print(res_series)
    
46.             #运行不下去了~~~~~~~
    
47.             select = int(input('需要哪一集：'))
    
48. 
    
49.             # last_host = 'https://api.akmov.net/?url='+ new_link
    
50.         else:
    
51.             # 电影是直接可以得到链接地址
    
52.             last_host =  host
    
53.         self.driver = webdriver.Edge()
    
54.         self.driver.get(last_host)
    
55. 
    
56.     def main(self):
    
57.         # name = input('请输入电视局名或电影名：')
    
58.         name = '沙海'
    
59.         query  = {'wd':name}
    
60.         name_link = parse.urlencode(query)
    
61.         url = 'https://v.qq.com/x/search/?q={}&stag=0&smartbox_ab='.format(name_link)
    
62.         html = self.get_html(url)
    
63.         self.parse_html(html)
    
64. if __name__ == '__main__':
    
65.     spider=tencent_movie()
    
66.     spider.main()

复制代码

代码到了这里时就运行不下去了

1.   
   
2. url_link = 'https://pbaccess.video.qq.com/trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2'
   
3.              data = {
   
4.                 'cid': cid,
   
5.                 'id_type': "1",
   
6.                 'lid': "",
   
7.                 'page_context': "",
   
8.                 'page_id': "vsite_episode_list",
   
9.                 'page_num': "",
   
10.                 'page_size': "30",
    
11.                 'page_type': "detail_operation",
    
12.                 'req_from': "web",
    
13.                 'vid': "d0027j9renh"
    
14.             }
    
15.             res_series = requests.post(url=url_link,headers=self.headers,data=data).json()
    
16.             print(res_series)
    
17.             #运行不下去了~~~~~~~

复制代码

因为得到的 res_series = {'ret': 35013, 'msg': 'unknow error.'}
不是正常的数据
求大神帮忙看看，问题时在哪里？
是data错了，还是腾讯视频有什么反爬机制？