新手小白学习爬虫，请求大佬指教一下
想爬取链家网站上的房源信息，返回值为空，请求大佬解答一下问题，谢谢代码如下：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.find_all('li', attrs={'a': 'title'})
house_list = []
for d in data:
plist = d.find('a')['title']
house_list.append(plist)
print(house_list)
输出值为：
E:\anaconda3\python.exe C:/Users/lyl/PycharmProjects/pythonProject1/dangdang/dangdang/spiders/lj.py
[]
Process finished with exit code 0
为何返回值为[]？麻烦解答一下，万分感谢~~ 肯定是你获取元素不对所以获取不到，不明白你要获取什么，我给你改了一下代码，你看看是不是你想要的
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
plist = d.text
house_list.append(plist)
print(house_list)
isdkz 发表于 2023-4-23 11:01
肯定是你获取元素不对所以获取不到，不明白你要获取什么，我给你改了一下代码，你看看是不是你想要的
我想要获取房源信息标题吧 liubulong 发表于 2023-4-23 11:55
我想要获取房源信息标题吧
我给你的代码就可以获取到 isdkz 发表于 2023-4-23 12:00
我给你的代码就可以获取到
我执行了，但是返回还是空值，不知道为何？ liubulong 发表于 2023-4-23 14:13
我执行了，但是返回还是空值，不知道为何？
可能是你爬取太多次被禁了，你可以换个网络，或者过会儿再试，你先在浏览器打开看看就知道是不是被禁了 isdkz 发表于 2023-4-23 14:16
可能是你爬取太多次被禁了，你可以换个网络，或者过会儿再试，你先在浏览器打开看看就知道是不是被禁了
浏览器可以访问的，我可以打开看的 liubulong 发表于 2023-4-23 14:22
浏览器可以访问的，我可以打开看的
那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看
isdkz 发表于 2023-4-23 14:24
那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看
代码如下：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
plist = d.text
house_list.append(plist)
print(house_list)
isdkz 发表于 2023-4-23 14:24
那不应该呀，我可以执行出结果，是不是你没有用我的代码？你放个截图来看看
麻烦你看一下我的代码，我执行结果是空的
代码如下：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers).text
content = BeautifulSoup(res, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
plist = d.text
house_list.append(plist)
print(house_list)
结果如图所示：
liubulong 发表于 2023-4-23 17:09
麻烦你看一下我的代码，我执行结果是空的
代码如下：
你用的是pychram？ liubulong 发表于 2023-4-23 17:09
麻烦你看一下我的代码，我执行结果是空的
代码如下：
我这里没有问题，你执行这个截图给我看看：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
print(res.status_code)
content = BeautifulSoup(res.text, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
plist = d.text
house_list.append(plist)
print(house_list) isdkz 发表于 2023-4-23 17:10
你用的是pychram？
是的，用pycharm写的 isdkz 发表于 2023-4-23 17:13
我这里没有问题，你执行这个截图给我看看：
还是不行，返回为空值，我截图发你看一下，谢谢
liubulong 发表于 2023-4-23 17:19
还是不行，返回为空值，我截图发你看一下，谢谢
奇怪了，感觉你是被限制了，可是状态码又没有问题，我这里执行是 ok 的
你打印获取到的源码出来看看
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
print(res.text)
content = BeautifulSoup(res.text, "html.parser")
data = content.select('#content > div.leftContent > ul > li > div.info.clear > div.title > a')
house_list = []
for d in data:
plist = d.text
house_list.append(plist)
print(house_list)
isdkz 发表于 2023-4-23 17:22
奇怪了，感觉你是被限制了，可是状态码又没有问题，我这里执行是 ok 的
能够返回网页源码的，你看一下截图
可能的问题可能是网站使用了反爬虫机制，阻止了你的请求。可以尝试以下方法：
1. 检查URL是否正确。确保URL与实际要爬取的页面相符合。
2. 检查headers是否正确。如果headers被反爬虫系统检测到，则请求将被拒绝或返回错误内容。建议根据网站的实际情况进行修改。
3. 使用Selenium等自动化测试工具模拟真实的浏览器环境，这有助于模仿人类访问行为并规避反爬虫机制。
4. 要注意爬取频率不要过高，以免被服务器拉黑。
你可以在程序中添加一些异常捕获操作，看看是否有什么报错信息：
res = requests.get(url, headers=headers)
if res.status_code == 200:
content = BeautifulSoup(res.text, "html.parser")
data = content.find_all('li', attrs={'a': 'title'})
# 省略其他代码
else:
print(f'Request failed with status code {res.status_code}')
这样就能判断请求是否成功，并输出对应的状态码，方便定位问题。
另外，通过抓包分析请求和响应也是解决问题的好方法。 sfqxx 发表于 2023-4-25 20:42
可能的问题可能是网站使用了反爬虫机制，阻止了你的请求。可以尝试以下方法：
1. 检查URL是否正确。确保 ...
好的，知道了，谢谢大佬帮助 liubulong 发表于 2023-4-26 09:37
好的，知道了，谢谢大佬帮助
给我个最佳吧 sfqxx 发表于 2023-4-26 17:25
给我个最佳吧
嗯，好的，谢谢
页:
[1]
2