[已解决]新手小白学习爬虫，请求大佬指教一下

liubulong

想爬取链家网站上的房源信息，返回值为空，请求大佬解答一下问题，谢谢

代码如下：
import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.find_all('li', attrs={'a': 'title'})
house_list = []
for d in data:
    plist = d.find('a')['title']
    house_list.append(plist)
print(house_list)


输出值为：
E:\anaconda3\python.exe C:/Users/lyl/PycharmProjects/pythonProject1/dangdang/dangdang/spiders/lj.py
[]

Process finished with exit code 0

为何返回值为[]？麻烦解答一下，万分感谢~~

最佳答案

月排行榜 / 总排行榜

sfqxx

2023-4-25 20:42:20

可能的问题可能是网站使用了反爬虫机制，阻止了你的请求。可以尝试以下方法：

1. 检查URL是否正确。确保URL与实际要爬取的页面相符合。
2. 检查headers是否正确。如果headers被反爬虫系统检测到，则请求将被拒绝或返回错误内容。建议根据网站的实际情况进行修改。
3. 使用Selenium等自动化测试工具模拟真实的浏览器环境，这有助于模仿人类访问行为并规避反爬虫机制。
4. 要注意爬取频率不要过高，以免被服务器拉黑。

你可以在程序中添加一些异常捕获操作，看看是否有什么报错信息：

res = requests.get(url, headers=headers)
if res.status_code == 200:
    content = BeautifulSoup(res.text, "html.parser")
    data = content.find_all('li', attrs={'a': 'title'})
    # 省略其他代码
else:
    print(f'Request failed with status code {res.status_code}')

这样就能判断请求是否成功，并输出对应的状态码，方便定位问题。

另外，通过抓包分析请求和响应也是解决问题的好方法。

跳转到最佳答案楼层

isdkz

肯定是你获取元素不对所以获取不到，不明白你要获取什么，我给你改了一下代码，你看看是不是你想要的

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
    plist = d.text
    house_list.append(plist)
print(house_list)

liubulong

isdkz 发表于 2023-4-23 11:01
肯定是你获取元素不对所以获取不到，不明白你要获取什么，我给你改了一下代码，你看看是不是你想要的

我想要获取房源信息标题吧

isdkz

liubulong 发表于 2023-4-23 11:55
我想要获取房源信息标题吧

我给你的代码就可以获取到

liubulong

isdkz 发表于 2023-4-23 12:00
我给你的代码就可以获取到

我执行了，但是返回还是空值，不知道为何？

isdkz

liubulong 发表于 2023-4-23 14:13
我执行了，但是返回还是空值，不知道为何？

[b]可能是你爬取太多次被禁了，你可以换个网络，或者过会儿再试，你先在浏览器打开看看就知道是不是被禁了[/b]

liubulong

isdkz 发表于 2023-4-23 14:16
可能是你爬取太多次被禁了，你可以换个网络，或者过会儿再试，你先在浏览器打开看看就知道是不是被禁了

浏览器可以访问的，我可以打开看的

isdkz

liubulong 发表于 2023-4-23 14:22
浏览器可以访问的，我可以打开看的

那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看

liubulong

isdkz 发表于 2023-4-23 14:24
那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看

代码如下：
import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
    plist = d.text
    house_list.append(plist)
print(house_list)

liubulong

isdkz 发表于 2023-4-23 14:24
那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看

麻烦你看一下我的代码，我执行结果是空的

代码如下：
import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
    plist = d.text
    house_list.append(plist)
print(house_list)

结果如图所示：

isdkz

liubulong 发表于 2023-4-23 17:09
麻烦你看一下我的代码，我执行结果是空的

代码如下：

你用的是pychram？

isdkz

liubulong 发表于 2023-4-23 17:09
麻烦你看一下我的代码，我执行结果是空的

代码如下：

我这里没有问题，你执行这个截图给我看看：

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
print(res.status_code)
content = BeautifulSoup(res.text, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
    plist = d.text
    house_list.append(plist)
print(house_list)

liubulong

isdkz 发表于 2023-4-23 17:10
你用的是pychram？

是的，用pycharm写的

liubulong

isdkz 发表于 2023-4-23 17:13
我这里没有问题，你执行这个截图给我看看：

还是不行，返回为空值，我截图发你看一下，谢谢

isdkz

liubulong 发表于 2023-4-23 17:19
还是不行，返回为空值，我截图发你看一下，谢谢

奇怪了，感觉你是被限制了，可是状态码又没有问题，我这里执行是 ok 的



你打印获取到的源码出来看看

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
print(res.text)
content = BeautifulSoup(res.text, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
    plist = d.text
    house_list.append(plist)
print(house_list)

liubulong

isdkz 发表于 2023-4-23 17:22
奇怪了，感觉你是被限制了，可是状态码又没有问题，我这里执行是 ok 的

能够返回网页源码的，你看一下截图

sfqxx

可能的问题可能是网站使用了反爬虫机制，阻止了你的请求。可以尝试以下方法：

1. 检查URL是否正确。确保URL与实际要爬取的页面相符合。
2. 检查headers是否正确。如果headers被反爬虫系统检测到，则请求将被拒绝或返回错误内容。建议根据网站的实际情况进行修改。
3. 使用Selenium等自动化测试工具模拟真实的浏览器环境，这有助于模仿人类访问行为并规避反爬虫机制。
4. 要注意爬取频率不要过高，以免被服务器拉黑。

你可以在程序中添加一些异常捕获操作，看看是否有什么报错信息：

res = requests.get(url, headers=headers)
if res.status_code == 200:
    content = BeautifulSoup(res.text, "html.parser")
    data = content.find_all('li', attrs={'a': 'title'})
    # 省略其他代码
else:
    print(f'Request failed with status code {res.status_code}')

这样就能判断请求是否成功，并输出对应的状态码，方便定位问题。

另外，通过抓包分析请求和响应也是解决问题的好方法。

liubulong

sfqxx 发表于 2023-4-25 20:42
可能的问题可能是网站使用了反爬虫机制，阻止了你的请求。可以尝试以下方法：

1. 检查URL是否正确。确保 ...

好的，知道了，谢谢大佬帮助

sfqxx

liubulong 发表于 2023-4-26 09:37
好的，知道了，谢谢大佬帮助

给我个最佳吧

liubulong

sfqxx 发表于 2023-4-26 17:25
给我个最佳吧

嗯，好的，谢谢