拿去好好参考吧。
import urllib.request,urllib
import re
#头信息
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
myheader={'User-Agent':user_agent,
'Host':'jandan.net'}
def get_img_url(page_url): #得到页面所有图片链接
request = urllib.request.Request(page_url, headers = myheader) #生成request对象
reference = urllib.request.urlopen(request) #获取页面对象
page = reference.read() #读取页面
print(type(page))#此时为bytes类型
print(page.decode('utf-8'))#需要进行类型转换才能正常显示在python中
print(type(page.decode('utf-8')))#返回解码后的类型,此时为str类型
regex = r'<img. *?class ="BDE_Image" src="(.*?)".* ? >' # 编译正则匹配模式字符串
img_url_list=re.findall(regex,page.decode('utf-8')) #匹配所有图片链接生成列表
return img_url_list
def downloda_img(url_list,img_path):
for img_url in url_list:
urllib.request.urlretrieve(img_url, '%s%s.gif'%(img_path,img_url[-8:-5])) #下载图片
print('done!')
url = 'http://jandan.net/ooxx/page-194#comments' #爬虫页面
path = r'C:\Users\Administrator\Desktop' #存放路径
urllist = get_img_url(url)
downloda_img(urllist,path)
|