代理IP获取器（之前小甲鱼使用的代理已经不再使用）

无符号整形

这个获取器能获取1000个代理，够用了

回复可见代码~

游客，如果您要查看本帖隐藏内容请回复

w298102526

看看代码怎么写

SixPy

回复可见代码~

无符号整形

SixPy 发表于 2016-7-22 10:23
回复可见代码~

其实它每页只会爬一个。。。

SixPy

光要个IP有什么用？
端口号也要的啊~
协议类型也要的啊~

SixPy

无符号整形 发表于 2016-7-22 11:02
其实它每页只会爬一个。。。

你这样做效率太低
其实只要把 table 标签里的数据抓出来，变成二维list就行了。

SixPy

http://bbs.fishc.com/forum.php?mod=redirect&goto=findpost&ptid=74010&pid=2614410

这里有 处理Table 的 正则表达式

无符号整形

SixPy 发表于 2016-7-22 11:27
你这样做效率太低
其实只要把 table 标签里的数据抓出来，变成二维list就行了。

正如小甲鱼所说，改了代码怎么办？

SixPy

无符号整形 发表于 2016-7-22 11:36
正如小甲鱼所说，改了代码怎么办？

改毛线~
网站该代码容易，还是 你改正则容易？

无符号整形

SixPy 发表于 2016-7-22 11:38
改毛线~
网站该代码容易，还是 你改正则容易？

好吧我服了你

kit1858644

其實爬蟲這東西, 除非你有網站的API, 否則都是要不停改的。

1812810219

谢谢楼主啊！

lileiwan

分享感谢

无符号整形

SixPy 发表于 2016-7-22 11:38
改毛线~
网站该代码容易，还是 你改正则容易？

已经可以获取协议和端口了
不过正则表达式很难弄，我弄不了。。。
用最传统的find方式的。。。

拈花小仙

支持下，版主大人，另外，您啥时能开发点有用的程序呀~

无符号整形

注意一下：这个IP过段时间会失效的

SixPy

无符号整形 发表于 2016-7-22 14:55
已经可以获取协议和端口了
不过正则表达式很难弄，我弄不了。。。
用最传统的find方式的。。 ...

给你一个 正则的例子

1. import requests as req
   
2. import re
   
3. import pprint as pp
   
4. 
   
5. heads={
   
6.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   
7.     'Accept-Encoding':'gzip,deflate,sdch',
   
8.     'Accept-Language':'zh-CN,zh;q=0.8',
   
9.     'Cache-Control':'max-age=0',
   
10.     'Connection':'keep-alive',
    
11.     'Host':'www.kuaidaili.com',
    
12.     'User-Agent':'Mozilla/5.0 (Windows NT 5.1)'
    
13. }
    
14. ssn = req.Session()
    
15. ssn.headers = heads
    
16. 
    
17. ptn表=re.compile(r'<div[^>]*?id="list".*?'
    
18.                 r'(<table[^>]*>.*?</table>)',
    
19.                 re.X|re.S)
    
20. ptn行=re.compile(r'<tr[^>]*>.*?</tr>',re.S)
    
21. ptn格=re.compile(r'<td[^>]*>(.*?)</td>',re.S)
    
22. 
    
23. url = "http://www.kuaidaili.com/free/inha/"
    
24. Proxys=[['IP','PORT','类型','响应速度','最后验证时间']]
    
25. for i in range(1,6): # 抓取 5 页
    
26.     rsp = ssn.get(url+str(i))
    
27.     rsp.encodeing='utf-8'
    
28.     html = rsp.text
    
29.     表=ptn表.findall(html)
    
30.     行=ptn行.findall(表[0])
    
31.     for td in 行[1:] :
    
32.         td=ptn格.findall(td)
    
33.         td.pop(4)
    
34.         td.pop(2)
    
35.         Proxys.append(td)
    
36.    
    
37. pp.pprint(Proxys)
    
38. input('暂停')
    

复制代码

SixPy

结果：

无符号整形

SixPy 发表于 2016-7-22 21:18
结果：

额，正则还是太难，find好用些、、、
我除非在find用不上才会用正则

弧矢七

学习学习