[已解决]关于爬图片更换page的疑问

zjh100

我企图爬百度贴吧，代码在单一page 已经可以运行，然而一面只有30张图
我需要更换page
但是无论在搜索引擎上看第二页网址，还是通过审查元素去看，都好像与第一页没有区别
求教

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-5-30 10:04:16

用for循环，50*page 作为url 来访问

给你看下当时我爬的代码：

1. from urllib.request import Request,urlopen
   
2. from urllib.parse import urlencode
   
3. from fake_useragent import UserAgent
   
4. 
   
5. def get_html(url):
   
6.     headers = {
   
7.         'User-Agent':UserAgent().chrome
   
8.     }
   
9.     request = Request(url,headers=headers)
   
10.     response = urlopen(request)
    
11.     return response.read()
    
12. 
    
13. def save_html(filename,html_bytes):
    
14. 
    
15.     with open(filename,'wb') as f :
    
16.         f.write(html_bytes)
    
17. 
    
18. 
    
19. def main():
    
20.     content = input('请输入要下载的内容：')
    
21.     while True:
    
22.         try:
    
23.             num = int(input('请输入要下载多少页：'))
    
24.             break
    
25.         except TypeError:
    
26.             print('你输入的页数不是整数！请重新输入！')
    
27.     base_url = 'https://tieba.baidu.com/f?ie=utf-8&{}'
    
28.     for pn in range(num):
    
29.         args = {
    
30.             'pn':pn*50,
    
31.             'kw':content,
    
32.         }
    
33.         filename = '第'+str(pn + 1)+'页.html'
    
34.         args = urlencode(args)
    
35.         print('正在下载'+filename)
    
36.         html_bytes = get_html(base_url.format(args))
    
37.         save_html(filename,html_bytes)
    
38. 
    
39. 
    
40. 
    
41. if __name__ == '__main__' :
    
42.     main()

复制代码

跳转到最佳答案楼层

Twilight6

用for循环，50*page 作为url 来访问

给你看下当时我爬的代码：

1. from urllib.request import Request,urlopen
   
2. from urllib.parse import urlencode
   
3. from fake_useragent import UserAgent
   
4. 
   
5. def get_html(url):
   
6.     headers = {
   
7.         'User-Agent':UserAgent().chrome
   
8.     }
   
9.     request = Request(url,headers=headers)
   
10.     response = urlopen(request)
    
11.     return response.read()
    
12. 
    
13. def save_html(filename,html_bytes):
    
14. 
    
15.     with open(filename,'wb') as f :
    
16.         f.write(html_bytes)
    
17. 
    
18. 
    
19. def main():
    
20.     content = input('请输入要下载的内容：')
    
21.     while True:
    
22.         try:
    
23.             num = int(input('请输入要下载多少页：'))
    
24.             break
    
25.         except TypeError:
    
26.             print('你输入的页数不是整数！请重新输入！')
    
27.     base_url = 'https://tieba.baidu.com/f?ie=utf-8&{}'
    
28.     for pn in range(num):
    
29.         args = {
    
30.             'pn':pn*50,
    
31.             'kw':content,
    
32.         }
    
33.         filename = '第'+str(pn + 1)+'页.html'
    
34.         args = urlencode(args)
    
35.         print('正在下载'+filename)
    
36.         html_bytes = get_html(base_url.format(args))
    
37.         save_html(filename,html_bytes)
    
38. 
    
39. 
    
40. 
    
41. if __name__ == '__main__' :
    
42.     main()

复制代码

zjh100

Twilight6 发表于 2020-5-30 10:04
用for循环，50*page 作为url 来访问

给你看下当时我爬的代码：

这个pn在哪里看啊？还是都是50一面？

Twilight6

zjh100 发表于 2020-5-30 11:31
这个pn在哪里看啊？还是都是50一面？

直接在页码那右击审核元素，它直接会现实到相应位置的  从链接可以看出 50 是第一页   100就是第二页 这种规律

zjh100

Twilight6 发表于 2020-5-30 10:04
用for循环，50*page 作为url 来访问

给你看下当时我爬的代码：

我知道咋回事了，我找到了pn,办成了，但是我还没用正则表达式，完全运用list,一旦图片大了，修改了格式就不行，这就去学（为啥每次都是DL你为我解惑）谢谢啦

Twilight6

zjh100 发表于 2020-5-30 11:52
我知道咋回事了，我找到了pn,办成了，但是我还没用正则表达式，完全运用list,一旦图片大了，修改了格式就 ...

能帮助到你就好~

                               
登录/注册后可看大图