056轮一只爬虫的自我修养4：OOXX 程序运行正常，但是文件夹里未下载到图片

木鱼加小鱼

程序运行正常，但是文件夹里没有下载图片，求大神看看

ba21

图片地址已加密。再说了，你都是按部就班，没有查看源代码分析。换个网站测试

ド゛゜范

换个网站

zjd_9

ba21 发表于 2017-12-29 17:32
图片地址已加密。再说了，你都是按部就班，没有查看源代码分析。换个网站测试

请问，像这种网站加密处理后，这种情况就无法爬取了吗？或者说有什么别的方法？

°蓝鲤歌蓝

zjd_9 发表于 2018-1-15 20:03
请问，像这种网站加密处理后，这种情况就无法爬取了吗？或者说有什么别的方法？

办法肯定是有的，不过你换个网站吧，那都是以后的事了。

°蓝鲤歌蓝

°蓝鲤歌蓝 发表于 2018-1-15 21:35
办法肯定是有的，不过你换个网站吧，那都是以后的事了。

http://www.meizitu.com/ 提供一个网址

ba21

zjd_9 发表于 2018-1-15 20:03
请问，像这种网站加密处理后，这种情况就无法爬取了吗？或者说有什么别的方法？

别的方法当然有。不过建议你换个能正常爬的网站

杂草

网站不是访问不了吗？楼主还可以程序正常运行？没出错吗？

cbs

图片地址格式变了，你还用原来的是find_img是找不到的，改一下

teribsandy

cbs 发表于 2018-1-18 12:46
图片地址格式变了，你还用原来的是find_img是找不到的，改一下

<img src="http://wx3.sinaimg.cn/mw600/0076BSS5ly1fqjjkv6w6rj30p00go0u3.jpg" style="max-width: 480px; max-height: 750px;">

1. import os
   
2. import urllib2
   
3. import random
   
4. 
   
5. def url_open(url):
   
6.         request=urllib2.Request(url)
   
7.         request.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36')
   
8.        
   
9.         '''
   
10.         如果使用代理的话，下载的不是妹子图，而是乱七八糟的图片
    
11.         proxies=['60.190.199.68:808','183.159.82.206:18118','222.186.45.127:55336']
    
12.         proxy=random.choice(proxies)
    
13.         proxy_support=urllib2.ProxyHandler({'https':proxy})
    
14.         opener=urllib2.build_opener(proxy_support)
    
15.         urllib2.install_opener(opener)
    
16.         '''
    
17. 
    
18.         response=urllib2.urlopen(request)
    
19.         html=response.read()
    
20.         print url
    
21.         return html
    
22. 
    
23. def get_pagenumber(url):
    
24.         html=url_open(url).decode('utf-8')
    
25. 
    
26.         a=html.find('current-comment-page')+23
    
27.         b=html.find(']',a)
    
28. 
    
29.         return html[a:b]
    
30. 
    
31. def find_image(url):
    
32.         html=url_open(url).decode('utf-8')
    
33.         image_address=[]
    
34. 
    
35.         a=html.find('img src=')
    
36.         while a!=-1:
    
37.                 b=html.find('.jpg',a,a+255)
    
38.                 if b != -1:
    
39.                         image_address.append(html[a+9:b+4])
    
40.                 else:
    
41.                         b=a+9
    
42. 
    
43.                 a=html.find('img src=',b)
    
44. 
    
45.         return image_address
    
46. 
    
47. def save_image(folder,image_address):
    
48.         for each in image_address:
    
49.                 filename=each.split('/')[-1]
    
50.                 with open(filename,'wb') as f:
    
51.                         image=url_open(each)
    
52.                         f.write(image)
    
53.        
    
54. 
    
55. def download_mm(folder='OOXX',pages=10):
    
56.         os.mkdir(folder)
    
57.         os.chdir(folder)
    
58. 
    
59.         url='http://jandan.net/ooxx'
    
60.         page_num=int(get_pagenumber(url))
    
61. 
    
62.         for i in range(pages):
    
63.                 page_num-=1
    
64.                 page_url=url+'/page-'+str(page_num)+'#comments'
    
65.                 image_address=find_image(page_url)
    
66.                 save_image(folder,image_address)
    
67. 
    
68. if __name__=='__main__':
    
69.         download_mm()

复制代码

和楼主的问题一样，代码正常执行，但OOXX文件为空。图片地址的格式还是一样的，没有变啊，感觉问题出现在find_image()方法上，image_address这个列表没有成功存放进图片的地址。但不知道为什么？还是说find_image()方法也是对的，原因是图片地址加密了？求大神解答～～～～

liubosong

相同的问题

有理想的咸鱼_超

相同的问题 应该是加密了

有理想的咸鱼_超

teribsandy 发表于 2018-4-21 23:09
和楼主的问题一样，代码正常执行，但OOXX文件为空。图片地址的格式还是一样的，没有变啊，感觉问 ...

请问你解决了吗  是图片加密了的原因吗