狗宁 发表于 2020-8-9 10:26:07

爬虫网页分页的问题

这是我写的爬站长素材的模板的爬虫，首页的url是这样的
url = 'http://sc.chinaz.com/jianli/free.html'
然后从第二页开始就变成了
url = 'http://sc.chinaz.com/jianli/free_2.html'
url = 'http://sc.chinaz.com/jianli/free_3.html'
问一下有没有好的办法能解决这个通用url的方法，想了好久也没想出来~~~

狗宁 发表于 2020-8-9 10:26:42

从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？

狗宁 发表于 2020-8-9 10:27:24

碰到好多网站都是这样的url

zltzlt 发表于 2020-8-9 10:27:41

page = 1    # 页码默认为 1
if page == 1:
    url = 'http://sc.chinaz.com/jianli/free.html'
else:
    url = f'http://sc.chinaz.com/jianli/free_{page}.html'

suchocolate 发表于 2020-8-9 10:30:23

base_url = 'http://sc.chinaz.com/jianli/free'
for i in range(1,100):
      if i == 1:
                url = base_url + '.html'
      else:
                url = base_url + '_' + str(i) + '.html'
      # your code

Twilight6 发表于 2020-8-9 10:30:49

狗宁 发表于 2020-8-9 10:26
从第二页开始我知道用for循环写，但是从第一页到第二页怎么写呢？


这样可行不：

for i in range(1,10):   # 共有几页自己改改就行了~
    if i == 1:
      url = 'http://sc.chinaz.com/jianli/free.html'
      continue
    url = f'http://sc.chinaz.com/jianli/free_{i}.html'
页: [1]
查看完整版本: 爬虫网页分页的问题