[已解决]又尝试了很多天，js动态链接问题

mudern

如题，python新人，刚学爬虫找个网页试手，就是js动态链接生成，（但还是用requests搞了点东西），距离上次发求助帖，弄了好久的selenium也没弄清楚如何获取js生成的动态链接(上次贴子https://fishc.com.cn/thread-176878-1-1.html)
网上找到的selenium爬取js动态生成链接的，也没有太看懂，求大佬指点指点
小白写的破烂代码,关于selenium部分的........
（勿喷..............）
driver=webdriver.Firefox()
get_=driver.get("http://www.mangabz.com/m19894/")
#element = driver.find_element_by_xpath("//*[@id='cp_image']")
html=driver.page_source
                刚刚发完这个贴子，又去翻了一遍html，终于找到链接了（2天了，终于），那就问问大佬们的bs，xpath和正则是怎么学的，有什么好的视频或者资料分享吗？？？

最佳答案

月排行榜 / 总排行榜

Stubborn

2020-8-9 22:02:01

[img]http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
[img]http://image.mangabz.com/1/430/19894/5_4982.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
[img]http://image.mangabz.com/1/430/19894/6_2343.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=

这都是一条条chiluo的图片链接呀，最主要就是每个链接的变化怎么来的，抓包发现是一个js生成的。
js的请求链接参数以及响应：

1. http://www.mangabz.com/m19894/chapterimage.ashx?cid=19894&page=8&key=&_cid=19894&_mid=430&_dt=2020-08-09+21%3A46%3A28&_sign=2c617649c5b75aefa56a28c91cd6ad1c

复制代码

1. class mangabz:
   
2.     url = "http://image.mangabz.com/1/430/19894/{}" # {}缺少页码编号
   
3.     jpg_params = {
   
4.         "cid": "19894",
   
5.         "key": "40b7dead39f489ec4b0c2212e793b1f2",
   
6.         "uk": ""
   
7.     }
   
8. 
   
9.     ajax_api = "http://www.mangabz.com/m19894/chapterimage.ashx?"
   
10.     api_params = {
    
11.         "cid": "19894",
    
12.         "page": "0",
    
13.         "key": "",
    
14.         "_cid": "19894",
    
15.         "_mid": "430",
    
16.         "_dt": "2020-08-09 21:46:28",
    
17.         "_sign": "2c617649c5b75aefa56a28c91cd6ad1c"
    
18.     }
    
19. 
    
20.     def get_nex_page(self, page):
    
21.         # 根据页码，获取当前页码的编号，以及下一个页码的编码
    
22.         self.api_params["page"] = page
    
23.         response = requests.get(self.ajax_api, params=self.api_params)
    
24.         pages = re.findall("\d{1,2}_\d{4,5}", response.text)
    
25.         self.pt_jpg_url(pages)
    
26. 
    
27.     def pt_jpg_url(self, pages):
    
28.         on, next = pages
    
29.         print(self.url.format(on))
    
30.         print(self.url.format(next))
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.     t = mangabz()
    
35.     t.get_nex_page(1)

复制代码

跳转到最佳答案楼层

suchocolate

买专讲爬虫的书

nahongyan1997

小甲鱼的 python 教程里有四集专门教正则表达式的，xpath 比较简单，你可以下载别人的代码看一看就能学会，

bs 我不会。。。。。。

Stubborn

[img]http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
[img]http://image.mangabz.com/1/430/19894/5_4982.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
[img]http://image.mangabz.com/1/430/19894/6_2343.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=

这都是一条条chiluo的图片链接呀，最主要就是每个链接的变化怎么来的，抓包发现是一个js生成的。
js的请求链接参数以及响应：

1. http://www.mangabz.com/m19894/chapterimage.ashx?cid=19894&page=8&key=&_cid=19894&_mid=430&_dt=2020-08-09+21%3A46%3A28&_sign=2c617649c5b75aefa56a28c91cd6ad1c

复制代码

1. class mangabz:
   
2.     url = "http://image.mangabz.com/1/430/19894/{}" # {}缺少页码编号
   
3.     jpg_params = {
   
4.         "cid": "19894",
   
5.         "key": "40b7dead39f489ec4b0c2212e793b1f2",
   
6.         "uk": ""
   
7.     }
   
8. 
   
9.     ajax_api = "http://www.mangabz.com/m19894/chapterimage.ashx?"
   
10.     api_params = {
    
11.         "cid": "19894",
    
12.         "page": "0",
    
13.         "key": "",
    
14.         "_cid": "19894",
    
15.         "_mid": "430",
    
16.         "_dt": "2020-08-09 21:46:28",
    
17.         "_sign": "2c617649c5b75aefa56a28c91cd6ad1c"
    
18.     }
    
19. 
    
20.     def get_nex_page(self, page):
    
21.         # 根据页码，获取当前页码的编号，以及下一个页码的编码
    
22.         self.api_params["page"] = page
    
23.         response = requests.get(self.ajax_api, params=self.api_params)
    
24.         pages = re.findall("\d{1,2}_\d{4,5}", response.text)
    
25.         self.pt_jpg_url(pages)
    
26. 
    
27.     def pt_jpg_url(self, pages):
    
28.         on, next = pages
    
29.         print(self.url.format(on))
    
30.         print(self.url.format(next))
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.     t = mangabz()
    
35.     t.get_nex_page(1)

复制代码

xhs.get

找到要爬的东西右键就有copy xpath 或css 等路径给你了。看re的话看崔庆才吧

mudern

suchocolate 发表于 2020-8-9 10:16
买专讲爬虫的书

好烦，买的书都是关于scrapy框架的用法

mudern

Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...

膜拜大佬，为了实现学了好多正则，肩膀剧痛。最后因为不熟悉用了字符串查找想先实现看看，还是要多多学习大佬操作

mudern

xhs.get 发表于 2020-8-9 22:23
找到要爬的东西右键就有copy xpath 或css 等路径给你了。看re的话看崔庆才吧

xpath是真的方便....

mudern

Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...

通过抓包，看到生成这些图片的js链接，然后拿着数据，直接向这个链接请求，然后这个链接会返回图片链接（小白疑惑发问）（可惜我不会js，也不会抓包看生成这些链接的地址，还是要继续学习）

mudern

Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...

又研究了一遍大佬的代码，ajax_api这个网址，我在network中看到了这个请求，我想应该是页码(但是还是想请问大佬是怎么知道他有页码信息的，是通过event么，)（这个链接是可以生成图片链接么，大佬是怎么找出这个链接的呢？）

Stubborn

mudern 发表于 2020-8-11 03:07
又研究了一遍大佬的代码，ajax_api这个网址，我在network中看到了这个请求，我想应该是页码(但是还是想请 ...

是通过event，再翻页的时候，没有看到有关于翻页的‘页码’信息，所以在请求里面搜了一下，找到这个链接，判定是这个链接生成的‘页码’url   页码指：“6_2343.jpg?” “5_4982”