[已解决]python反爬虫

我吃饱了.

        各位大佬们，请问反爬虫怎么解决啊，是链家网的要人机验证的，新手小白刚入python实在不知道怎么搞，百度的又没有详细解决的过程，有没有大佬能帮帮忙啊。最好详细一点的，拜托了。感激不尽！！！

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-15 15:38:35

我吃饱了. 发表于 2021-11-15 15:28
这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

估计操作太频繁了，每次操作不要太频繁。
用下面的代码试了下，如果不加time.sleep, 15次之后就拿不到了，你的代码如果有重复的get操作，记得加time.sleep.

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. 
   
6. url = 'https://sz.fang.lianjia.com/loupan/'
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
   
9. 
   
10. for i in range(100):
    
11.     print('='*50, i, '='*50)
    
12.     time.sleep(0.3)
    
13.     r = requests.get(url, headers=headers)  # headers要调用
    
14.     money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
    
15.     print(money)
    

复制代码

跳转到最佳答案楼层

suchocolate

你的代码呢

我吃饱了.

suchocolate 发表于 2021-11-13 09:47
你的代码呢

import requests
import re
url='https://sz.fang.lianjia.com/loupan/'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
r=requests.get(url,headers)
print(r.status_code)
html=r.text
print(html)
money=re.findall(r'<span class="number">([^%]*?)</span>',html)
print(money)
就是这样的代码  用的正则的   链家的反爬虫是什么人机验证的

suchocolate

1. import requests
   
2. import re
   
3. 
   
4. url = 'https://sz.fang.lianjia.com/loupan/'
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
   
7. r = requests.get(url, headers=headers)  # headers要调用
   
8. money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
   
9. print(money)
   

复制代码

我吃饱了.

suchocolate 发表于 2021-11-13 16:29

这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

suchocolate

我吃饱了. 发表于 2021-11-15 15:28
这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

估计操作太频繁了，每次操作不要太频繁。
用下面的代码试了下，如果不加time.sleep, 15次之后就拿不到了，你的代码如果有重复的get操作，记得加time.sleep.

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. 
   
6. url = 'https://sz.fang.lianjia.com/loupan/'
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
   
9. 
   
10. for i in range(100):
    
11.     print('='*50, i, '='*50)
    
12.     time.sleep(0.3)
    
13.     r = requests.get(url, headers=headers)  # headers要调用
    
14.     money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
    
15.     print(money)
    

复制代码