[已解决]python爬虫

天边一抹灬红 · 发表于 2020-9-17 15:54:05

登录/注册后可看大图

我想爬取每篇文章的链接,但是每次刷新页面链接都会跟着变要怎么处理

最佳答案

2483967924

2020-9-17 15:54:06

天边一抹灬红发表于 2020-9-18 09:16
我提取到链接了就是不知道怎么解码

https://blog.csdn.net/qq_42636010/article/details这里写的就是针对那网址的URL解码的，因为是19年的不知道还是否有效，我也还没来得及试，可以看看学个思路

天边一抹灬红 · 发表于 2020-9-17 15:54:38

这个是地址https://weixin.sogou.com/weixin?query=%E4%BC%81%E4%B8%9A%E6%96%87%E5%8C%96&_sug_type_=&s_from=input&_sug_=n&type=2&page=1&ie=utf8

天边一抹灬红 · 发表于 2020-9-18 09:16:42

2483967924 发表于 2020-9-18 07:18
刚刚看了一下，链接都是放在h3里的a标签里，用正则表达式或者xpaht提取一下内容就是文章链接了，不过得解码 ...

我提取到链接了就是不知道怎么解码

天边一抹灬红 · 发表于 2020-9-19 09:48:33

2483967924 发表于 2020-9-18 17:34
https://blog.csdn.net/qq_42636010/article/details这里写的就是针对那网址的URL解码的，因为是19年的不 ...

页面404了

账号		自动登录	找回密码
密码			立即注册