[已解决]爬虫查看本地IP问题

Mikil

比如我现在要爬取本地IP地址，爬取的网站为：https://apis.baidu.com/store/aladdin/land?cardType=ipSearch

浏览器访问的结果如图：

                               
登录/注册后可看大图

直接使用requests方法不能获取到IP，所以使用浏览器自带的控制台进行XHR文件抓取，查看后发现有两个query文件

                               
登录/注册后可看大图

发现IP就是在里面

于是使用代码：

1. url = r'https://gwgp-kk6owjrbujz.i.bdcloudapi.com/aladdin/ip/query'
   
2. session = requests.Session()
   
3. header = {
   
4. 'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36',
   
5. }
   
6. params = {
   
7.     'Host': 'gwgp-kk6owjrbujz.i.bdcloudapi.com',
   
8.     'Origin': 'https://www.baidu.com',
   
9.     'Sec-Fetch-Dest': 'empty',
   
10.     'Sec-Fetch-Mode': 'cors',
    
11.     'Sec-Fetch-Site': 'cross-site',
    
12. }
    
13. res = session.get(url=url, headers=header)
    
14. print(res.status_code)
    
15. print(res.content)

复制代码

但返回的结果为：

1. 400
   
2. b'{"code":"InvalidTimestamp","message":"Parameter \'timestamp\' is invalid."}'

复制代码

继续打开文件，发现里面有个timestamp请求头，不知道如何组成。

                               
登录/注册后可看大图

请问这个IP要如何抓取？

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-3-29 18:53:52

换个专门查本机的网站吧，百度这个只是友情提示你的IP：

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.get-myip.com/'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     result = re.findall(r'Address is : (.*?)</h1', r.text)
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()

复制代码

跳转到最佳答案楼层

笨鸟学飞

建议换网站，比如IP138之类的，度娘自己就是一个最大的爬虫站，你爬他可能比较难

suchocolate

换个专门查本机的网站吧，百度这个只是友情提示你的IP：

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.get-myip.com/'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     result = re.findall(r'Address is : (.*?)</h1', r.text)
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()

复制代码