为什么只能爬取第一页的图片就停滞了

塞在背包里的人

1. import os
   
2. baseurl = "http://sc.chinaz.com/tupian/renwutupian"
   
3. headers = {
   
4.      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
   
5. }
   
6. # 获取整页数据
   
7. for i in range(1,30):
   
8.     if i ==1:
   
9.         url=baseurl+'.html'
   
10.     else:
    
11.         url=baseurl+'_'+str(i)+'.html'
    
12.     response = requests.get(url=url,headers=headers)
    
13.     page_text = response.text
    
14.     print(url)
    
15.     # 获取网页中的图片
    
16.     path = os.getcwd()
    
17.     tree = etree.HTML(page_text)
    
18.     img_list  = tree.xpath('//*[@id="container"]/div')
    
19.     for i in img_list:
    
20.         img = i.xpath('./div/a/img/@src2')  # 图片懒加载，src2为实际地址，这个在有些地方需要注意
    
21.         img_url = "".join(img)
    
22.         img_data = requests.get(url=img_url,headers=headers).content  # 生成图片
    
23.         # 生成图片名称
    
24.         img_name = img_url.split('/')[-1]  # 以图片链接最后的部分作为名字
    
25.         print(img_name)
    
26.          # 图片存储的路径
    
27.         img_path = path+'\\mm\\'+img_name
    
28.         with open(img_path,'wb')  as fp:
    
29.             fp.write(img_data)
    
30.             print(img_name,"下载成功")

复制代码

酒醉三分醒

试试把28行的写入模式 'wb' 改成 'ab' ，即追加写入。
'wb' 模式会让你循环一次覆盖一次之前的文件，所以实际上你获取的应该是最后一页的图片。

兢兢

动态加载网页，只有一页