[已解决]爬虫网页分页的问题

狗宁

这是我写的爬站长素材的模板的爬虫，首页的url是这样的
url = 'http://sc.chinaz.com/jianli/free.html'
然后从第二页开始就变成了
url = 'http://sc.chinaz.com/jianli/free_2.html'
url = 'http://sc.chinaz.com/jianli/free_3.html'
问一下有没有好的办法能解决这个通用url的方法，想了好久也没想出来~~~

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-9 10:30:23

base_url = 'http://sc.chinaz.com/jianli/free'
for i in range(1,100):
        if i == 1:
                url = base_url + '.html'
        else:
                url = base_url + '_' + str(i) + '.html'
        # your code

跳转到最佳答案楼层

狗宁

从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？

狗宁

碰到好多网站都是这样的url

zltzlt

page = 1    # 页码默认为 1
if page == 1:
    url = 'http://sc.chinaz.com/jianli/free.html'
else:
    url = f'http://sc.chinaz.com/jianli/free_{page}.html'

suchocolate

base_url = 'http://sc.chinaz.com/jianli/free'
for i in range(1,100):
        if i == 1:
                url = base_url + '.html'
        else:
                url = base_url + '_' + str(i) + '.html'
        # your code

Twilight6

狗宁 发表于 2020-8-9 10:26
从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？

这样可行不：

for i in range(1,10):   # 共有几页自己改改就行了~
    if i == 1:
        url = 'http://sc.chinaz.com/jianli/free.html'
        continue
    url = f'http://sc.chinaz.com/jianli/free_{i}.html'