[已解决]请帮我排除一下bug，确实搞不定了。

柠檬树宝宝

第一次学写程序，请高手帮我找解决bug, 希望能告诉我到底错在哪里，而不是重写，学习阶段过程比结果重要。
谢谢了。

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. import re
   
5. import random
   
6. 
   
7. #将可重复使用的功能放到一起。
   
8. 
   
9. class Getweb:
   
10. # 统一定义user_Agent. 可复用
    
11.     def __init__(self):
    
12.         self.header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'}
    
13. 
    
14. # 统一定义网页获取，将反复使用。
    
15.     def getrep(self, url):
    
16.         req = urllib.request.Request(url,headers=self.header)
    
17.         resp = urllib.request.urlopen(req, timeout=5)
    
18.         content = resp.read()
    
19.         return content
    
20. 
    
21. # 定义一个查询当前ip的方法，用于验证当前访问的ip
    
22.     def getip(self,url):
    
23.         print(url)
    
24. #发现第二个错误，类里面的函数，如果需要调用，需要增加对象指针，此处，调用getrep（）时，需要增加一个self.
    
25. #发现第四个错误，获取的数据进行解码。
    
26.         content = self.getrep(url).decode('utf-8')
    
27.         r = r'<h2>(.*?)</h2>'
    
28.         ipdz = re.findall(r,content)
    
29.         return ipdz
    
30. 
    
31. 
    
32. #获代理网站的免费IP数据，放到代理IP池
    
33. class Xiciip:
    
34.    
    
35. #使用西祠ip代理. 抓取后的放到pool里面
    
36.     def __init__(self, url):
    
37.         self.pool = []
    
38.         self.url = url
    
39.         self.gethtml = Getweb()  #由于要复用公共类里面打开网页的方法，所以实例化一个对象处理。
    
40. 
    
41. 
    
42. # 获取ip代理，放到pool里面， 其中复用了公共类里面打开网页的方法 getrep()
    
43.     def find(self):
    
44.         for i in range(1, 2):
    
45.             content = self.gethtml.getrep(self.url + str(i))
    
46.             soup = BeautifulSoup(content,'html.parser')
    
47.             ips = soup.findAll('tr')
    
48.             for x in range(2, len(ips)):
    
49.                 ip = ips[x]
    
50.                 tds = ip.findAll("td")
    
51.                 if tds == []:
    
52.                     continue
    
53.                 ip_temp = tds[1].contents[0] + ":" + tds[2].contents[0]
    
54.                 self.pool.append(ip_temp)
    
55.         time.sleep(1)
    
56.         return  self.pool
    
57. 
    
58. 
    
59. 
    
60. #提供一个清洗IP数据方法，剔除不能使用的代理IP
    
61. class Iptest:
    
62. #  初始化，用whatismyip网站，查询当前访问ip. 要使用了公共类Getweb里面的getip（）方法 和 getrep（）方法
    
63.   def __init__(self):
    
64. #发现第三个错误，地址写错了，打一下耳光。
    
65.         self.testurl ='http://www.whatismyip.com.tw'
    
66. #发现一个错误，实例化类对象时候，无论类是否有参数，都需要加括号。即使定义类的时候没有括号。切记，切记！！
    
67.         self.gethtml = Getweb()
    
68.         print(self.testurl)
    
69. 
    
70. # 测试ip的方法。要传入一个ip， 分别直接ip访问，获得本机ip, 然后用传入的ip访问，获得传入的ip.  如果能够访问，而且得到两个ip不同，则说明传入的代理ip可用。返回ture
    
71.     def testip(self,ip):
    
72.         myip = self.gethtml.getip(self.testurl)
    
73.         try:
    
74.             for i in range(2):
    
75.                 proxy_support = urllib.request.ProxyHandler({"http": ip})
    
76.                 opener = urllib.request.build_opener(proxy_support)
    
77.                 urllib.request.install_opener(opener)
    
78.                 dlip = self.gethtml.getip(self.testurl)
    
79. 
    
80.                 if dlip != myip:
    
81.                     return True
    
82.         except:#
    
83.             return False
    
84. 
    
85. 
    
86. #对得到代理IP数据进行清洗后，分别提供单个IP输出、批量输出、按文件持久化存储
    
87. class IPpool:
    
88. # 初始化，需要传入一个ip pool （代理ip列表），由于要测试，所以实例化一个Iptest类的对象。
    
89.     def __init__(self,pool):
    
90.         self.pool = pool
    
91.         self.test = Iptest()
    
92. 
    
93. # 将传入的列表pool中的ip 分别拿到Iptest类的testip()方法进行测试. 不通过的剔除，得到一个新的 pool.
    
94.     def get_ips(self):
    
95.         for ip in self.pool:
    
96.             if self.test.testip(ip):
    
97.                 continue
    
98.             else:
    
99.                 self.pool.remove(ip)
    
100.         return self.pool
     
101. 
     
102. # 从pool 中随机拿一个ip来用。
     
103.     def getoneip(self):
     
104.         return random.choice(self.pool)
     
105. 
     
106. #将pool 通过文件持久化存起来。 此方法暂时不用。
     
107.     def writeToTxt(self,file_path):
     
108.         try:
     
109.             fp = open(file_path, "w+")
     
110.             for item in self.pool:
     
111.                 fp.write(str(item) + "\n")
     
112.             fp.close()
     
113.         except IOError:
     
114.             print("fail to open file")
     
115. 
     
116. 
     
117. 
     
118. 
     
119. ——————————————————————————————————————————————————————————————————————————
     
120. 
     
121. import ipproxy as proxy
     
122. #导入上面的模块
     
123. import urllib.parse
     
124. import urllib.request
     
125. import json
     
126. 
     
127. # 定义爬取有道词典网站的在线翻译服务，需要使用代理IP
     
128. class Fanyi:
     
129.    
     
130. #初始化一下翻译的类
     
131. 
     
132. def __init__(self,ipurl):
     
133. #接受代理ip网站的url传入
     
134.         self.ipurl = ipurl
     
135. #复用公共类的方法，先实例一个对象出来。
     
136.         self.header = proxy.Getweb()
     
137. #调用实例化西祠类对象。
     
138.         self.getdl = proxy.Xiciip(self.ipurl)
     
139. #实例化一个Ippool类对象，通过将西祠类对象执行find()方法，得到pool，并作为参数传递进去
     
140.         self.getip = proxy.IPpool(self.getdl.find())
     
141. #再次实例化一个Ippool类对象，但是是将上一个Ippool类对象self.getip，再执行get_ips（）方法后，得到的新pool传进去。后面代码从这个对象中执行getoneip()方法，拿ip用。
     
142.         self.iproxy = proxy.IPpool(self.getip.get_ips())
     
143. 
     
144. 
     
145. #抓起翻译网站服务的方法
     
146.     def fanyi(self,yourtext):
     
147.         youdao = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
     
148.         data = {'from': 'AUTO', 'to': 'AUTO', 'client': 'fanyideskweb', 'smartresult': 'dict', 'doctype': 'json',
     
149.                 'version': '2.1', 'keyfrom': 'fanyi.web', 'action': 'FY_BY_REALTIME', 'typoResult': 'false',
     
150.                 'i': yourtext}
     
151.         data = urllib.parse.urlencode(data).encode('utf-8')
     
152. 
     
153. #这里使用代理ip,  self.iproxy.getoneip()
     
154.         proxy_support = urllib.request.ProxyHandler({"http": self.iproxy.getoneip()})
     
155.         opener = urllib.request.build_opener(proxy_support)
     
156.         urllib.request.install_opener(opener)
     
157. # 这里使用了公共类的header.   self.header已经申明是Getweb()类一个实例。它取该类的header属性。
     
158.         req = urllib.request.Request(youdao, data,headers=self.header.header )
     
159.         resp = urllib.request.urlopen(req, timeout=5)
     
160.         fankui = resp.read().decode('utf-8')
     
161.         target = json.loads(fankui)
     
162.         translateResult = target["translateResult"][0][0]['tgt']
     
163.         return translateResult
     
164. 
     
165. 
     
166. #生成本地化的实时翻译应用
     
167. 
     
168. xici='http://www.xicidaili.com/wn/'
     
169. #实例化 Fanyi 类，传入代理ip网站地址
     
170. lemon = Fanyi(ipurl = xici)
     
171. a = ''
     
172. #定义程序结束命令
     
173. c = ['退出', 'exit', 'Exit', 'EXIT']
     
174. while a not in (c):
     
175.     a = input('爸爸说：')
     
176.     if a in (c):
     
177.         break
     
178. #执行Fanyi 类的方法，传入值，得到翻译值。
     
179.     b = lemon.fanyi(yourtext = a)
     
180.     print('柠檬宝宝翻译：' + b)
     
181. print('谢谢使用！')
     

复制代码

最佳答案

月排行榜 / 总排行榜

JAY饭

2018-2-27 20:48:22

这里要解码，不然不能用正则表达式搜索

跳转到最佳答案楼层

°蓝鲤歌蓝

1. req = urllib.request.Request(url=youdao, data=data,headers=self.header.header )

复制代码

这一句写错了。
我就随便看了一下。

建议你运行一次报错了不明白再来问吧。
代码这么多又没有注释，别人要看完你的代码很麻烦的。

柠檬树宝宝

  self.iproxy = proxy.IPpool(self.getip.get_ips())   这句有问题。执行有问题。getip() 缺少url参数，但是在
myip = self.gethtml.getip(self.testurl)  执行之前，self.testurl 是可以打印输出的。

也就是说，如果直接拿爬到ip池去getoneip()，可以运行，不过可能会因为ip失效而报错。 增加这句，是想在得到的ip 池基础上，过滤一下无效的ip。通过先是get_ips(), 得到新的pool ,   然后再getoneip()

柠檬树宝宝

拿爬来的ip pool 作为参数，实例化一个对象getip,  然后用getip 执行 get_ips() 方法，得到过滤后的pool
拿过滤后的pool作为参数 ，再实体化一个对象ipproxy .    最后执行取ip的操作。 ipproxy.getoneip()

报错是说，get_ips（），方式执行时，调用myip = self.gethtml.getip(self.testurl)  没有传入uir参数。self.testurl  是有值的。

柠檬树宝宝

已经找到两个错误，但是还是有bug, 请高手帮忙排查一下吧。

JAY饭

写成这样很厉害了，但是模块化思维是没错，你写的太过于繁琐，很多地方可以简洁一点，调试你这个程序思路还是很清晰，就是很累

JAY饭

你的测试IP函数方法出了问题，在打印myip时就已经打印不出来，说明你用正则表达式查找ip那一段错了

柠檬树宝宝

headers 字典中，需要有Referer ：url  吗？  open里面不是已经传了url 了吗，是不是重复了。

waitforlove

赶紧去看极客之速率革命，第三方模块，该有的的功能都有

柠檬树宝宝

waitforlove 发表于 2018-2-27 20:17
赶紧去看极客之速率革命，第三方模块，该有的的功能都有

结果不重要，过程最重要。如果运行成功，我就把他删掉。

JAY饭

你这个whatsmyip的地址，前面居然是4个w，怪不得

JAY饭

这里要解码，不然不能用正则表达式搜索

柠檬树宝宝

已修正，但是运行，循环输出whatsmyip的地址

柠檬树宝宝

打印html 结构和书上的不一样，立即修改抓取ip的方法。

JAY饭

帮你重写了一下正则表达式，获取ip的方法，然后下面是获取的有用的ip，另外你每一次筛选都要调用一次
查询自我真实ip这很啰嗦，我就把它调到__init__里面去了
好累，后面的你自己搞定吧