[已解决]刚学完爬虫妹子图，想爬其他网站的图，结果失败了

wxkang15

1. import urllib.request
   
2. import os
   
3. 
   
4. # 把打开网页的过程封装成函数（伪装用浏览器）
   
5. def url_open(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0')
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10.     return html
    
11. 
    
12. 
    
13. # 将每个图片的地址封装到img_addrs列表
    
14. def find_img(url):
    
15.     html = url_open(url).decode('utf-8')
    
16.     img_addrs = []
    
17. 
    
18.     a = html.find('data-imgurl=')
    
19.     while a != -1:
    
20.         b = html.find('.jpg', a, a + 255)
    
21.         if b != -1:
    
22.             img_addrs.append(html[a + 13:b + 4])
    
23.         else:
    
24.             b = a + 13
    
25.         a = html.find('data-imgurl=', b)
    
26.         print(html[a + 13:b + 4])
    
27. 
    
28.     return img_addrs
    
29. 
    
30. #将图片保存到文件中
    
31. def save_imgs(folder, img_addrs):
    
32.     for each in img_addrs:
    
33.         filename = each.split('/')[-1]
    
34.         with open(filename, 'wb') as f:
    
35.             img = url_open(each)
    
36.             f.write(img)
    
37. 
    
38. #主函数，保存图片
    
39. def download_mm(folder='hawaii'):
    
40.     os.mkdir(folder)
    
41.     os.chdir(folder)
    
42. 
    
43.     url = 'http://image.baidu.com/search/index?ct=201326592&cl=2&lm=-1&tn=baiduimage&ie=utf-8&word=%E5%A4%8F%E5%A8%81%E5%A4%B7'
    
44.     img_addrs = find_img(url)
    
45.     save_imgs(folder,img_addrs)
    
46. 
    
47. if __name__ == '__main__':
    
48.     download_mm()
    

复制代码

运行后文件夹创建，但里面不导出图片。在find_img函数下面用print(img_addrs)测试了下结果没有打印也没有报错。问题应该就出在这个函数这里，但是不知道哪里错了，求助各位大佬。

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-4-16 14:29:58

我帮你改了2个地方，试过了可以得到图片
看代码

1. import urllib.request
   
2. import os
   
3. import re     #引入正则表达式--------------------改动1
   
4. 
   
5. # 把打开网页的过程封装成函数（伪装用浏览器）
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. 
    
14. # 将每个图片的地址封装到img_addrs列表
    
15. def find_img(url):
    
16.     html = url_open(url).decode('utf-8')
    
17.     img_addrs = []
    
18.     # 选择图片并把链接放入列表中--------------改动2
    
19.     img = re.findall("(http:.*?\.jpg)", html)
    
20.     for i in img:
    
21.         if "baidu.com" in i:
    
22.             img_addrs.append(i)
    
23.     return img_addrs
    
24. 
    
25. #将图片保存到文件中
    
26. def save_imgs(folder, img_addrs):
    
27.     for each in img_addrs:
    
28.         filename = each.split('/')[-1]
    
29.         with open(filename, 'wb') as f:
    
30.             img = url_open(each)
    
31.             f.write(img)
    
32. 
    
33. #主函数，保存图片
    
34. def download_mm(folder='hawaii'):
    
35.     os.mkdir(folder)
    
36.     os.chdir(folder)
    
37. 
    
38.     url = 'http://image.baidu.com/search/index?ct=201326592&cl=2&lm=-1&tn=baiduimage&ie=utf-8&word=%E5%A4%8F%E5%A8%81%E5%A4%B7'
    
39.     img_addrs = find_img(url)
    
40.     save_imgs(folder,img_addrs)
    
41. 
    
42. if __name__ == '__main__':
    
43.     download_mm()

复制代码

由于网页是动态生成的，所以下载到的图片与你实际能看到的图片数量是有差异的，关于动态网页的信息爬取的话有点复杂，你这个实现不了

跳转到最佳答案楼层

lumber2388779

你直接抄煎蛋那个代码的吧，这个代码不一定适用所有网站，你要自己审查元素进行修改
还有另外原因是因为这个是一个动态网站，你这种方法是无法下载到图片的

gopythoner

你应该先打印一下你请求的这个html.
看看能不能找到'data-imgurl='
目测打印出来的应该找不到这个，所以你只能得到一个空列表，当然就没有图片
建议你用正则表达式去提取图片链接
比如我这个就可以提取到一些图片
只要来源是baidu.com的图片，其他广告图片都不要

1. img = re.findall("(http:.*?\.jpg)",html)
   
2. for i in img:
   
3.     if "baidu.com" in i:
   
4.         print(i)

复制代码

gopythoner

我帮你改了2个地方，试过了可以得到图片
看代码

1. import urllib.request
   
2. import os
   
3. import re     #引入正则表达式--------------------改动1
   
4. 
   
5. # 把打开网页的过程封装成函数（伪装用浏览器）
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. 
    
14. # 将每个图片的地址封装到img_addrs列表
    
15. def find_img(url):
    
16.     html = url_open(url).decode('utf-8')
    
17.     img_addrs = []
    
18.     # 选择图片并把链接放入列表中--------------改动2
    
19.     img = re.findall("(http:.*?\.jpg)", html)
    
20.     for i in img:
    
21.         if "baidu.com" in i:
    
22.             img_addrs.append(i)
    
23.     return img_addrs
    
24. 
    
25. #将图片保存到文件中
    
26. def save_imgs(folder, img_addrs):
    
27.     for each in img_addrs:
    
28.         filename = each.split('/')[-1]
    
29.         with open(filename, 'wb') as f:
    
30.             img = url_open(each)
    
31.             f.write(img)
    
32. 
    
33. #主函数，保存图片
    
34. def download_mm(folder='hawaii'):
    
35.     os.mkdir(folder)
    
36.     os.chdir(folder)
    
37. 
    
38.     url = 'http://image.baidu.com/search/index?ct=201326592&cl=2&lm=-1&tn=baiduimage&ie=utf-8&word=%E5%A4%8F%E5%A8%81%E5%A4%B7'
    
39.     img_addrs = find_img(url)
    
40.     save_imgs(folder,img_addrs)
    
41. 
    
42. if __name__ == '__main__':
    
43.     download_mm()

复制代码

由于网页是动态生成的，所以下载到的图片与你实际能看到的图片数量是有差异的，关于动态网页的信息爬取的话有点复杂，你这个实现不了

wxkang15

gopythoner 发表于 2017-4-16 14:29
我帮你改了2个地方，试过了可以得到图片
看代码

谢谢你啊，可是我还没学到正则表达式。等我再过几节课再来看一下。