爬虫求助，遇到报错，麻烦大神指点一下迷津，谢谢
想爬取二手房页面上的href链接，但是报错了，麻烦大佬帮忙解答一下，谢谢代码如下：
import requests
from bs4 import BeautifulSoup
import re
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
content = BeautifulSoup(res.text, "html.parser")
data=re.compile('<div.*?title href=(.*?)></div>',re.S)
result=re.findall(data,content)
print(result)
报错信息如下：
Traceback (most recent call last):
File "C:/Users/lyl/PycharmProjects/pythonProject1/dangdang/dangdang/spiders/lj.py", line 36, in <module>
result=re.findall(data,content)
File "E:\anaconda3\lib\re.py", line 241, in findall
return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object
Process finished with exit code 1
import requests
import re
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
data=re.compile('<div.*?title href=(.*?)></div>',re.S)
result=re.findall(data, res.text)
print(result) isdkz 发表于 2023-4-24 15:05
import requests
import re
返回值是空的，还有一个问题，为何这里result=re.findall(data,res.text)，res.text不能写content呢？？？
liubulong 发表于 2023-4-24 15:40
返回值是空的，还有一个问题，为何这里result=re.findall(data,res.text)，res.text不能写content呢？？ ...
关于返回值为空的问题，这是因为正则表达式可能没有正确匹配HTML中的内容。在这种情况下，建议使用BeautifulSoup库进行解析，这是一个专门用于解析HTML和XML文档的库。
关于`res.text`和`content`的问题，原因是re库的`findall()`函数期望接收一个字符串或类似字节的对象作为输入。`res.text`是原始HTML的纯文本表示，而`content`是一个BeautifulSoup对象。虽然BeautifulSoup对象也可以转换为字符串，但在这种情况下，我们应该直接将`res.text`传递给`re.findall()`函数。
这是一个使用BeautifulSoup来获取href链接的示例：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, "html.parser")
# 假设链接在class为"title"的div内的<a>标签中
result = []
for link in soup.find_all('div', class_='title'):
a_tag = link.find('a')
if a_tag:
href = a_tag.get('href')
if href:
result.append(href)
print(result)
注意：这个代码假设您想要爬取的链接是在class为"title"的div内的<a>标签中。请根据实际HTML结构进行调整。 isdkz 发表于 2023-4-24 16:01
关于返回值为空的问题，这是因为正则表达式可能没有正确匹配HTML中的内容。在这种情况下，建议使用Beauti ...
嗯，谢谢大佬指教{:5_110:}
页:
[1]