[已解决]爬虫网页分页的问题

狗宁

这是我写的爬站长素材的模板的爬虫，首页的url是这样的
url = 'http://sc.chinaz.com/jianli/free.html'
然后从第二页开始就变成了
url = 'http://sc.chinaz.com/jianli/free_2.html'
url = 'http://sc.chinaz.com/jianli/free_3.html'
问一下有没有好的办法能解决这个通用url的方法，想了好久也没想出来~~~

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-9 10:30:23

1. base_url = 'http://sc.chinaz.com/jianli/free'
   
2. for i in range(1,100):
   
3.         if i == 1:
   
4.                 url = base_url + '.html'
   
5.         else:
   
6.                 url = base_url + '_' + str(i) + '.html'
   
7.         # your code

复制代码

跳转到最佳答案楼层

狗宁

从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？

狗宁

碰到好多网站都是这样的url

zltzlt

1. page = 1    # 页码默认为 1
   
2. if page == 1:
   
3.     url = 'http://sc.chinaz.com/jianli/free.html'
   
4. else:
   
5.     url = f'http://sc.chinaz.com/jianli/free_{page}.html'

复制代码

suchocolate

1. base_url = 'http://sc.chinaz.com/jianli/free'
   
2. for i in range(1,100):
   
3.         if i == 1:
   
4.                 url = base_url + '.html'
   
5.         else:
   
6.                 url = base_url + '_' + str(i) + '.html'
   
7.         # your code

复制代码

Twilight6

狗宁 发表于 2020-8-9 10:26
从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？

这样可行不：

1. for i in range(1,10):   # 共有几页自己改改就行了~
   
2.     if i == 1:
   
3.         url = 'http://sc.chinaz.com/jianli/free.html'
   
4.         continue
   
5.     url = f'http://sc.chinaz.com/jianli/free_{i}.html'

复制代码