Python 爬取高匿 IP

qiuyouzhi

Python 爬取高匿 IP

网址：https://www.xicidaili.com/

需求：
爬取网页里的高匿IP和端口，

并保存进文件里。

用到的模块：

requests：把网页下载下来。

bs4: 解析利器，有了它，妈妈再也不用担心我不喜欢写正则了 ！


爬取思路

先导入模块：

1. from requests import get
   
2. from bs4 import BeautifulSoup as BS

复制代码

OK,然后写打开URL的函数open_url():

1. def open_url(url):
   
2.     # 写上 headers 好习惯
   
3.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
   
4.     res = get(url)
   
5.     return res

复制代码

写道这一步就差不多了，开始分析网页。

翻一翻网页源代码，很容易发现所有

的IP和端口都在<td>标签里面：



太简单了！直接写出get_IP():

1. def get_IP(res):
   
2.     soup = BS(res.text, "html.parser")
   
3.     target = soup.find_all("td") # 找出所有的td标签
   
4.     f = open("IP.txt", "w")
   
5.     for each in target:
   
6.         f.write(each.text) # 写入内容
   
7.     f.close()

复制代码

到了这一步就差不多了，直接写main吧：

1. def main():
   
2.     url = 'https://www.xicidaili.com/'
   
3.     res = open_url(url)
   
4.     get_IP(res)
   
5. 
   
6. if __name__ == "__main__":
   
7.     main()

复制代码

大功告成！可以看看文件啦！

wp231957

可惜  100个  有一个能用就不错了

qiuyouzhi

wp231957 发表于 2020-3-25 18:37
可惜  100个  有一个能用就不错了

你试试呗？
我也不知道，平常爬虫都不用代理的

qiuyouzhi

test

_2_

qiuyouzhi 发表于 2020-5-18 15:51
test

写正则不好吗……
re 在墙角哭泣……

qiuyouzhi

_2_ 发表于 2020-5-18 15:52
写正则不好吗……
re 在墙角哭泣……

真男人都写XPath

_2_

qiuyouzhi 发表于 2020-5-18 15:55
真男人都写XPath

不能靠实力写正则吗？
……那些写不出正则的弟弟
--来自Zi___Min

qiuyouzhi

_2_ 发表于 2020-5-18 15:56
不能靠实力写正则吗？
……那些写不出正则的弟弟
--来自Zi___Min

XPath可以直接复制的