[已解决]爬虫翻页问题？

kelby

……

最佳答案

月排行榜 / 总排行榜

空青

2019-7-15 11:20:03

点击翻页的时候url类似http://www.example.com/xxx?page_a01，http://www.example.com/xxx?page_a02这样的，直接去遍历吧。
既然你说了，第一页地址最后面是a01,第二页是a02,a03...a20...，那我可以理解你这个总页数没有超过100，如果是a1,a2....a99，可以直接遍历，但是a后面的数字被填充到2位，如果不足两位，前面的用0填充。

举个例子，比如现在有20页

第一种方法，在循环中加入判断，如果页数在10以内(不含10)，前面加个0，否则不做改变

1. import requests
   
2. 
   
3. base_url = 'http://www.example.com/xxx?page_a{}'
   
4. for page in range(1,21):
   
5.     if len(str(page)) == 1:
   
6.         url = base_url.format('0' + str(page))
   
7.     else:
   
8.         url = base_url.format(str(page))
   
9.     try:
   
10.         r = requests.get(url)
    
11.         r.encoding = r.apparent_encoding
    
12.         print(r.text)
    
13.     except Exception as e:
    
14.         print(e)

复制代码

第二种方法，使用zfil()函数进行填充

1. import requests
   
2. 
   
3. base_url = 'http://www.example.com/xxx?page_a%s'
   
4. for page in range(1,21):
   
5.     page = str(page).zfill(2)
   
6.     url = base_url % page
   
7.     try:
   
8.         r = requests.get(url)
   
9.         r.encoding=r.apparent_encoding
   
10.     except Exception as e:
    
11.         print(e)

复制代码

好了，希望对你有帮助。

跳转到最佳答案楼层

空青

点击翻页的时候url类似http://www.example.com/xxx?page_a01，http://www.example.com/xxx?page_a02这样的，直接去遍历吧。
既然你说了，第一页地址最后面是a01,第二页是a02,a03...a20...，那我可以理解你这个总页数没有超过100，如果是a1,a2....a99，可以直接遍历，但是a后面的数字被填充到2位，如果不足两位，前面的用0填充。

举个例子，比如现在有20页

第一种方法，在循环中加入判断，如果页数在10以内(不含10)，前面加个0，否则不做改变

1. import requests
   
2. 
   
3. base_url = 'http://www.example.com/xxx?page_a{}'
   
4. for page in range(1,21):
   
5.     if len(str(page)) == 1:
   
6.         url = base_url.format('0' + str(page))
   
7.     else:
   
8.         url = base_url.format(str(page))
   
9.     try:
   
10.         r = requests.get(url)
    
11.         r.encoding = r.apparent_encoding
    
12.         print(r.text)
    
13.     except Exception as e:
    
14.         print(e)

复制代码

第二种方法，使用zfil()函数进行填充

1. import requests
   
2. 
   
3. base_url = 'http://www.example.com/xxx?page_a%s'
   
4. for page in range(1,21):
   
5.     page = str(page).zfill(2)
   
6.     url = base_url % page
   
7.     try:
   
8.         r = requests.get(url)
   
9.         r.encoding=r.apparent_encoding
   
10.     except Exception as e:
    
11.         print(e)

复制代码

好了，希望对你有帮助。

chxchxkkk

replace('a01', 'a02')

空青

import requests

base_url = 'http://www.example.com/xxx?page_a%s'
for page in range(1,21):
    page = str(page).zfill(2)
    url = base_url % page
    #print(url)
    try:
        r = requests.get(url)
        r.encoding=r.apparent_encoding
    except Exception as e:
        print(e)