【爬虫初体验】爬取免费IP代理~

Twilight6

看小甲鱼课程爬IP，我就模仿着他写了~~
第一次写爬虫，嘿嘿~~~
爬成功了！虽然现在还是非常基础，不过还是感觉很有成就感！


顺便弱弱的问下，课后作业到53讲之后怎么没得了？

1. from urllib.request import Request,urlopen
   
2. import re
   
3. 
   
4. headers = {'User-Agent':"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:24.0) Gecko/20100101 Firefox/24.0"}
   
5. # 访问页面
   
6. 
   
7. def open_url(url):
   
8. 
   
9.     request = Request(url,headers=headers)
   
10.     response = urlopen(request)
    
11.     html = response.read().decode()
    
12. 
    
13.     return html
    
14. 
    
15. # 获取IP地址
    
16. def get_ip_data(html):
    
17. 
    
18.     ip_list = re.findall(r'(\d+\.\d+\.\d+\.\d+)',html)
    
19.     ip_port = re.findall(r'<td data-title="PORT">(\d+)</td>',html)
    
20.     ip_type = re.findall(r'<td data-title="类型">(\w+)</td>',html)
    
21.     ip_anonymous_degrees = re.findall(r'<td data-title="匿名度">(.+)</td>',html)
    
22.     ip_final_time = re.findall(r'<td data-title="最后验证时间">(.+)</td>',html)
    
23. 
    
24.     for i in range(len(ip_list)):
    
25.         print('IP:{0:^15}|PORT:{1:^10}|类型:{2:^10}|匿名度:{3:^10}|最后验证时间:{4:^25}|'.format(ip_list[i],ip_port[i],ip_type[i],ip_anonymous_degrees[i],ip_final_time[i]))
    
26. 
    
27. if __name__=='__main__':
    
28.     url = 'https://www.kuaidaili.com/free/'
    
29.     get_ip_data(open_url(url))

复制代码

qiuyouzhi

是的，53讲后面就没了

小吉吉0

我也纳闷为什么53讲之后没了，虽然我才看到20多讲哈哈

_2_

不错啊

老八秘制

对，53之后确实没了

Twilight6

_2_ 发表于 2020-4-22 13:44
不错啊

谢谢谷粒~

Twilight6

qiuyouzhi 发表于 2020-4-22 13:39
是的，53讲后面就没了

那之后一半的视频拿什么锻炼

qiuyouzhi

Twilight6 发表于 2020-4-22 13:56
那之后一半的视频拿什么锻炼

自己写呗
不能光靠着课后作业

罗巴乔

优秀

Twilight6

qiuyouzhi 发表于 2020-4-22 14:00
自己写呗
不能光靠着课后作业

好趴

Twilight6

罗巴乔 发表于 2020-4-22 15:14
优秀

（得意的尾巴翘贼高）

Twilight6

Twilight6 发表于 2020-4-22 15:55
（得意的尾巴翘贼高）

@Xiaolo66

用PyCharm   ——》》》搓我

东方优源

不错，可以加个采集下一页，所有页面，然后保存txt

青出于蓝

大佬nb啊，不过说实在的，这个Pytharm（看着楼主好像是用的这个）不是非常好用

Twilight6

青出于蓝 发表于 2020-5-19 21:01
大佬nb啊，不过说实在的，这个Pytharm（看着楼主好像是用的这个）不是非常好用

Pycharm 适合做大项目，也是python最火的编译器之一，初学者用不习惯，掌握了一定技巧就很非常好用了~(我一开始就是用PyCharm，现在跳不出这个坑了)

青出于蓝

Twilight6 发表于 2020-5-19 21:07
Pycharm 适合做大项目，初学者用不习惯，掌握了一定技巧就很非常好用了~

我也用过，主要是做web，py在哪总是不好操作，容易混了

Twilight6

青出于蓝 发表于 2020-5-19 21:08
我也用过，主要是做web，py在哪总是不好操作，容易混了

web 我不怎么清楚，没学哈哈

青出于蓝

Twilight6 发表于 2020-5-19 21:09
web 我不怎么清楚，没学哈哈

哈～大佬们还是对这种相应类的语言感兴趣～～～

Twilight6

青出于蓝 发表于 2020-5-19 21:11
哈～大佬们还是对这种相应类的语言感兴趣～～～

我现在只会Python的皮毛，其他语言一窍不通

青出于蓝

Twilight6 发表于 2020-5-19 21:12
我现在只会Python的皮毛，其他语言一窍不通

大佬目前对py的学习程度，教导我是没问题了