[已解决]python反爬虫

我吃饱了.

        各位大佬们，请问反爬虫怎么解决啊，是链家网的要人机验证的，新手小白刚入python实在不知道怎么搞，百度的又没有详细解决的过程，有没有大佬能帮帮忙啊。最好详细一点的，拜托了。感激不尽！！！

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-15 15:38:35

我吃饱了. 发表于 2021-11-15 15:28
这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

估计操作太频繁了，每次操作不要太频繁。
用下面的代码试了下，如果不加time.sleep, 15次之后就拿不到了，你的代码如果有重复的get操作，记得加time.sleep.

import requests
import re
import time


url = 'https://sz.fang.lianjia.com/loupan/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}

for i in range(100):
    print('='*50, i, '='*50)
    time.sleep(0.3)
    r = requests.get(url, headers=headers)  # headers要调用
    money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
    print(money)

跳转到最佳答案楼层

suchocolate

你的代码呢

我吃饱了.

suchocolate 发表于 2021-11-13 09:47
你的代码呢

import requests
import re
url='https://sz.fang.lianjia.com/loupan/'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
r=requests.get(url,headers)
print(r.status_code)
html=r.text
print(html)
money=re.findall(r'<span class="number">([^%]*?)</span>',html)
print(money)
就是这样的代码  用的正则的   链家的反爬虫是什么人机验证的

suchocolate

import requests
import re

url = 'https://sz.fang.lianjia.com/loupan/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
r = requests.get(url, headers=headers)  # headers要调用
money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
print(money)

我吃饱了.

suchocolate 发表于 2021-11-13 16:29

这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

suchocolate

我吃饱了. 发表于 2021-11-15 15:28
这样是能爬出来  但多爬几次就不行了。就有人机验证了  我试了设置时间随机数也不行

估计操作太频繁了，每次操作不要太频繁。
用下面的代码试了下，如果不加time.sleep, 15次之后就拿不到了，你的代码如果有重复的get操作，记得加time.sleep.

import requests
import re
import time


url = 'https://sz.fang.lianjia.com/loupan/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}

for i in range(100):
    print('='*50, i, '='*50)
    time.sleep(0.3)
    r = requests.get(url, headers=headers)  # headers要调用
    money = re.findall(r'<span class="number">([^%]*?)</span>', r.text)
    print(money)