python反爬虫
各位大佬们，请问反爬虫怎么解决啊，是链家网的要人机验证的，新手小白刚入python实在不知道怎么搞，百度的又没有详细解决的过程，有没有大佬能帮帮忙啊。最好详细一点的，拜托了。感激不尽！！！ 你的代码呢 suchocolate 发表于 2021-11-13 09:47你的代码呢
import requests
import re
url='https://sz.fang.lianjia.com/loupan/'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
r=requests.get(url,headers)
print(r.status_code)
html=r.text
print(html)
money=re.findall(r'<span class="number">([^%]*?)</span>',html)
print(money)
就是这样的代码用的正则的 链家的反爬虫是什么人机验证的 本帖最后由 suchocolate 于 2021-11-13 16:31 编辑
import requests
import re
url = 'https://sz.fang.lianjia.com/loupan/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
r = requests.get(url, headers=headers)# headers要调用
money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
print(money)
suchocolate 发表于 2021-11-13 16:29
这样是能爬出来但多爬几次就不行了。就有人机验证了我试了设置时间随机数也不行 我吃饱了. 发表于 2021-11-15 15:28
这样是能爬出来但多爬几次就不行了。就有人机验证了我试了设置时间随机数也不行
估计操作太频繁了，每次操作不要太频繁。
用下面的代码试了下，如果不加time.sleep, 15次之后就拿不到了，你的代码如果有重复的get操作，记得加time.sleep.
import requests
import re
import time
url = 'https://sz.fang.lianjia.com/loupan/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
for i in range(100):
print('='*50, i, '='*50)
time.sleep(0.3)
r = requests.get(url, headers=headers)# headers要调用
money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
print(money)
页:
[1]