爬代理IP时出现的错误

zhujianxiao

报错和代码如下,求助大侠

Traceback (most recent call last):
  File "C:\Python27\test\download_mm.py", line 138, in <module>
    download_ip()
  File "C:\Python27\test\download_mm.py", line 26, in download_ip
    str_ip=re.search(r'(([01]?\d?\d|2[0-4]\d|25[0-5])\.){3}([01]?\d?\d|2[0-4]\d|25[0-5])',html).group()
AttributeError: 'NoneType' object has no attribute 'group'

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. 
   
4. import urllib2
   
5. import os
   
6. import os.path
   
7. import random
   
8. import datetime
   
9. import re
   
10. 
    
11. #获取代理ip将它保存在本地ini文档中
    
12. def download_ip(folder='AGENT_IP'):
    
13.     if os.path.exists('C:\\Python27\\test\\'+folder)==False:
    
14.         os.mkdir(folder)    #创建文件夹
    
15.     os.chdir(folder)    #切换至当前文件夹
    
16.     #ini文档以日期格式命名
    
17.     today=datetime.date.today()
    
18.     if os.path.isfile('C:\\Python27\\test\\'+folder+'\\'+str(today)+'.ini')==False:
    
19.         url='http://www.kuaidaili.com/'
    
20.         html=url_open(url).decode('utf-8','ignore')
    
21.         
    
22.         #匹配IP地址
    
23.         ip_addrs=[]
    
24.         a=0
    
25.         while a!=-1:
    
26.             str_ip=re.search(r'(([01]?\d?\d|2[0-4]\d|25[0-5])\.){3}([01]?\d?\d|2[0-4]\d|25[0-5])',html).group()
    
27.             print str_ip
    
28.             a=html.find(str_ip)
    
29.             str_port=re.search(r'[0-9]{2,4}',html[a+20:]).group()
    
30.             ip_addrs.append(str_ip+':'+str_port)
    
31.             html=html[a+80:]
    
32. 
    
33.         for each_ip in ip_addrs:
    
34.             print each_ip
    
35.         #打开文档并写入
    
36.         '''
    
37.         f=open(file_name,'wb')
    
38.         f.write(ip_addrs)
    
39.         f.close
    
40.         '''
    
41. 
    
42. def url_open_agent(url):
    
43.     req=urllib2.Request(url)
    
44.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0')   #伪装成浏览器访问
    
45. 
    
46.     #加入代理IP
    
47.     '''
    
48.     proxy=['120.195.202.189:80']
    
49.     proxy=random.choice(proxy)
    
50.     proxy_support=urllib2.ProxyHandler({'http':proxy})
    
51.     opener=urllib2.build_opener(proxy_support)
    
52.     urllib2.install_opener(opener)
    
53.     '''
    
54.     response=urllib2.urlopen(req)   
    
55.     html=response.read()    #因图片和字符全部调用此函数访问,返回图片时不可以用decode解码,所以字符的解码放在具体的调用函数里
    
56.     return html
    
57. 
    
58. def url_open(url):
    
59.     req=urllib2.Request(url)
    
60.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0')   #伪装成浏览器访问
    
61. 
    
62.     #加入代理IP
    
63.     '''
    
64.     proxy=['120.195.202.189:80']
    
65.     proxy=random.choice(proxy)
    
66.     proxy_support=urllib2.ProxyHandler({'http':proxy})
    
67.     opener=urllib2.build_opener(proxy_support)
    
68.     urllib2.install_opener(opener)
    
69.     '''
    
70.     response=urllib2.urlopen(req)   
    
71.     html=response.read()    #因图片和字符全部调用此函数访问,返回图片时不可以用decode解码,所以字符的解码放在具体的调用函数里
    
72.     return html
    
73. 
    
74. def get_page(url):
    
75.     #pass
    
76.     html=url_open(url).decode('utf-8')
    
77.     a=html.find('current-comment-page')+23
    
78.     b=html.find(']',a)  #从a开始第一次出']'的位置
    
79.     #print(html[a:b])
    
80.     return html[a:b]
    
81. 
    
82. def find_imgs(url): #获取地址时怎么去掉广告图片？？？
    
83.     #pass
    
84.     html=url_open(url).decode('utf-8')
    
85.     img_addrs=[]
    
86.     a=html.find('img src=')
    
87.     while a!=-1:
    
88.         #b=html.find('.jpg',a,a+255)
    
89.         
    
90.         c=html.find('sinaimg',a,a+50)
    
91.         if c!=-1:
    
92.             b=html.find('.jpg',a,a+255)   #正则表达式可以更好地解决此问题,可以找任意格式的图片
    
93.         else:
    
94.             b=-1
    
95.    
    
96.         if b!=-1:
    
97.             img_addrs.append(html[a+9:b+4])
    
98.         else:
    
99.             b=a+9
    
100.         a=html.find('img src=',b)
     
101.         
     
102.    
     
103. 
     
104.     '''
     
105.     for each in img_addrs:
     
106.         print(each)
     
107.     '''
     
108.     return img_addrs
     
109. 
     
110. def save_imgs(folder,img_addrs):
     
111.     #pass
     
112.     for each in img_addrs:
     
113.         filename=each.split('/')[-1]    #分割,去除路径,只获取文件名
     
114.         with open(filename,'wb') as f:
     
115.             img=url_open(each)
     
116.             f.write(img)
     
117. 
     
118. def download_mm(folder='OOXX',pages=10):
     
119.     if os.path.exists('C:\\Python27\\test\\'+folder)==False:
     
120.         os.mkdir(folder)    #创建文件夹
     
121.     os.chdir(folder)    #切换至当前文件夹
     
122.    
     
123.     url='http://jandan.net/ooxx/'
     
124. 
     
125.     page_num=int(get_page(url)) #抓取网页中的数字代码
     
126. 
     
127.     for i in range(pages):
     
128.         page_num-=i
     
129.         page_url=url+'page-'+str(page_num)+'#comments'
     
130.         img_addrs=find_imgs(page_url)   #获取图片地址,保存成列表
     
131.         save_imgs(folder,img_addrs)
     
132. 
     
133. if __name__=='__main__':
     
134.     #获取代理ip将它保存在本地ini文档中
     
135.     download_ip()
     
136.     #download_mm()
     
137.         
     

复制代码

小甲鱼

正则表达式匹配不到ip地址，修改下你的正则表达式。