爬虫爬取图片求助
求助下大佬们 我的代码能正常运行 但是有时爬着爬着就不动了 是我电脑的问题吗 还是代码哪里出问题了呢 试了好几次 只有两次是到最后了 最近一次才下了三个就不动了enter start page:1
enter end page:1
正在下载第1页图片
ZZC6Q772XFYKTK71.jpg 下载成功!!!
T2SQ9T7X04U1JAML.jpg 下载成功!!!
3QFEQKZJVGG7VD0C.jpg 下载成功!!!
import requests
import re
import os
if __name__ == "__main__":
url = 'https://www.qiushibaike.com/imgrank/page/%d/'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}
#指定起始也结束页码
page_start = int(input('enter start page:'))
page_end = int(input('enter end page:'))
#创建文件夹
if not os.path.exists('./images'):
os.mkdir('./images')
#循环解析且下载指定页码中的图片数据
for page in range(page_start,page_end+1):
print('正在下载第%d页图片'%page)
new_url = format(url % page)
response = requests.get(url=new_url,headers=headers).text
#解析response中的图片链接
e = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
image_urls = re.findall(e,response,re.S)
# 循环下载该页码下所有的图片数据
for image_url in image_urls:
image_url = 'https:' + image_url
image_name = image_url.split('/')[-1]
image_path = './images/' + image_name
image_data = requests.get(url=image_url, headers=headers).content
with open(image_path, 'wb') as fp:
fp.write(image_data)
print(image_name, '下载成功!!!')
页:
[1]