又尝试了很多天，js动态链接问题
本帖最后由 mudern 于 2020-8-8 19:08 编辑如题，python新人，刚学爬虫找个网页试手，就是js动态链接生成，（但还是用requests搞了点东西），距离上次发求助帖，弄了好久的selenium也没弄清楚如何获取js生成的动态链接(上次贴子https://fishc.com.cn/thread-176878-1-1.html)
网上找到的selenium爬取js动态生成链接的，也没有太看懂，求大佬指点指点
小白写的破烂代码,关于selenium部分的........
（勿喷..............）
driver=webdriver.Firefox()
get_=driver.get("http://www.mangabz.com/m19894/")
#element = driver.find_element_by_xpath("//*[@id='cp_image']")
html=driver.page_source
刚刚发完这个贴子，又去翻了一遍html，终于找到链接了（2天了，终于），那就问问大佬们的bs，xpath和正则是怎么学的，有什么好的视频或者资料分享吗？？？ 买专讲爬虫的书 小甲鱼的 python 教程里有四集专门教正则表达式的，xpath 比较简单，你可以下载别人的代码看一看就能学会，
bs 我不会。。。。。。 本帖最后由 Stubborn 于 2020-8-9 22:46 编辑
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
http://image.mangabz.com/1/430/19894/5_4982.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
http://image.mangabz.com/1/430/19894/6_2343.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
这都是一条条chiluo的图片链接呀，最主要就是每个链接的变化怎么来的，抓包发现是一个js生成的。
js的请求链接参数以及响应：
http://www.mangabz.com/m19894/chapterimage.ashx?cid=19894&page=8&key=&_cid=19894&_mid=430&_dt=2020-08-09+21%3A46%3A28&_sign=2c617649c5b75aefa56a28c91cd6ad1c
class mangabz:
url = "http://image.mangabz.com/1/430/19894/{}" # {}缺少页码编号
jpg_params = {
"cid": "19894",
"key": "40b7dead39f489ec4b0c2212e793b1f2",
"uk": ""
}
ajax_api = "http://www.mangabz.com/m19894/chapterimage.ashx?"
api_params = {
"cid": "19894",
"page": "0",
"key": "",
"_cid": "19894",
"_mid": "430",
"_dt": "2020-08-09 21:46:28",
"_sign": "2c617649c5b75aefa56a28c91cd6ad1c"
}
def get_nex_page(self, page):
# 根据页码，获取当前页码的编号，以及下一个页码的编码
self.api_params["page"] = page
response = requests.get(self.ajax_api, params=self.api_params)
pages = re.findall("\d{1,2}_\d{4,5}", response.text)
self.pt_jpg_url(pages)
def pt_jpg_url(self, pages):
on, next = pages
print(self.url.format(on))
print(self.url.format(next))
if __name__ == '__main__':
t = mangabz()
t.get_nex_page(1) 找到要爬的东西右键就有copy xpath 或css 等路径给你了。看re的话看崔庆才吧 suchocolate 发表于 2020-8-9 10:16
买专讲爬虫的书
好烦，买的书都是关于scrapy框架的用法{:10_266:} Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...
膜拜大佬，为了实现学了好多正则，肩膀剧痛。最后因为不熟悉用了字符串查找想先实现看看，还是要多多学习大佬操作{:10_250:} xhs.get 发表于 2020-8-9 22:23
找到要爬的东西右键就有copy xpath 或css 等路径给你了。看re的话看崔庆才吧
xpath是真的方便.... Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...
通过抓包，看到生成这些图片的js链接，然后拿着数据，直接向这个链接请求，然后这个链接会返回图片链接（小白疑惑发问）（可惜我不会js，也不会抓包看生成这些链接的地址，还是要继续学习） Stubborn 发表于 2020-8-9 22:02
http://image.mangabz.com/1/430/19894/4_3147.jpg?cid=19894&key=40b7dead39f489ec4b0c2212e793b1f2&uk=
...
又研究了一遍大佬的代码，ajax_api这个网址，我在network中看到了这个请求，我想应该是页码(但是还是想请问大佬是怎么知道他有页码信息的，是通过event么，)（这个链接是可以生成图片链接么，大佬是怎么找出这个链接的呢？） mudern 发表于 2020-8-11 03:07
又研究了一遍大佬的代码，ajax_api这个网址，我在network中看到了这个请求，我想应该是页码(但是还是想请 ...
是通过event，再翻页的时候，没有看到有关于翻页的‘页码’信息，所以在请求里面搜了一下，找到这个链接，判定是这个链接生成的‘页码’url 页码指：“6_2343.jpg?” “5_4982”
页:
[1]