[已解决]爬取贴吧多页图片！

黑猪儿

为什么文件夹里只有第一页的图片，
第二页也下载成功了啊

最佳答案

月排行榜 / 总排行榜

和vvv

2017-9-6 22:15:44

我知道你这个是什么问题了，其实你已经下载成功了。只是有些图片由于文件名相同被覆盖了。

下载的图片命名有问题，每一轮下载完之后，因此出现同文件名的图片会被覆盖。
你的图片下载过程并没有问题，只是保存时有些图片被覆盖。你要确保下载的图片名称不同，可以自己命名，也可以想其他办法。

这样修改是一种方法：

1. import urllib.request
   
2. import re,os
   
3. os.mkdir("远方")
   
4. os.chdir(os.path.join(os.getcwd(),"远方"))
   
5. #page 表示爬取页数
   
6. def getimg(url,page):
   
7.         for k in range(1,page+1):
   
8.                 ul = url+str(k)
   
9.                 html = urllib.request.urlopen(ul).read().decode('utf-8')
   
10.                 a = r'src="(.*?\.jpg)" size'
    
11.                 req = re.compile(a)
    
12.                 imglist = re.findall(req,html)
    
13.                 for i in range(len(imglist)):
    
14.                         urllib.request.urlretrieve(imglist[i],"%s.jpg" % (str(i)+str(k)) )
    
15.                         print('下载成功'+str(k)+str(i)+'.jpg')
    
16. 
    
17. if __name__ == '__main__':
    
18.         url = 'https://tieba.baidu.com/p/5113603072?pn='
    
19.         getimg(url,10)

复制代码

这是效果：

跳转到最佳答案楼层

和vvv

能不能发个代码呢或者链接，这个直接看好像没问题。

tich

这个我做过
https://github.com/LewisTian/Python#tieba

黑猪儿

和vvv 发表于 2017-9-6 18:27
能不能发个代码呢或者链接，这个直接看好像没问题。

1. import urllib.request
   
2. import re,os
   
3. os.chdir('E:\python练习\贴吧')
   
4. os.mkdir("远方")
   
5. os.chdir(os.path.join(os.getcwd(),"远方"))
   
6. def getimg(url,x):
   
7.     html = urllib.request.urlopen(url).read().decode('utf-8')
   
8.     a = r'src="(.*?\.jpg)" size'
   
9.     req = re.compile(a)
   
10.     imglist = re.findall(req,html)
    
11.     for i in imglist:
    
12.         x += 1
    
13.         urllib.request.urlretrieve(i,"%s.jpg" % x)
    
14.         print('下载成功', x)
    
15. x = 0
    
16. url = 'https://tieba.baidu.com/p/5113603072?pn='
    
17. for k in range(1,20):
    
18.     ul = url + str(k)
    
19.     print(ul)
    
20.     print(getimg(ul,x))

复制代码

求解答！

和vvv

我知道你这个是什么问题了，其实你已经下载成功了。只是有些图片由于文件名相同被覆盖了。

下载的图片命名有问题，每一轮下载完之后，因此出现同文件名的图片会被覆盖。
你的图片下载过程并没有问题，只是保存时有些图片被覆盖。你要确保下载的图片名称不同，可以自己命名，也可以想其他办法。

这样修改是一种方法：

1. import urllib.request
   
2. import re,os
   
3. os.mkdir("远方")
   
4. os.chdir(os.path.join(os.getcwd(),"远方"))
   
5. #page 表示爬取页数
   
6. def getimg(url,page):
   
7.         for k in range(1,page+1):
   
8.                 ul = url+str(k)
   
9.                 html = urllib.request.urlopen(ul).read().decode('utf-8')
   
10.                 a = r'src="(.*?\.jpg)" size'
    
11.                 req = re.compile(a)
    
12.                 imglist = re.findall(req,html)
    
13.                 for i in range(len(imglist)):
    
14.                         urllib.request.urlretrieve(imglist[i],"%s.jpg" % (str(i)+str(k)) )
    
15.                         print('下载成功'+str(k)+str(i)+'.jpg')
    
16. 
    
17. if __name__ == '__main__':
    
18.         url = 'https://tieba.baidu.com/p/5113603072?pn='
    
19.         getimg(url,10)

复制代码

这是效果：