[已解决]爬虫求助，遇到报错，麻烦大神指点一下迷津，谢谢

liubulong

想爬取二手房页面上的href链接，但是报错了，麻烦大佬帮忙解答一下，谢谢

代码如下：
import requests
from bs4 import BeautifulSoup
import re


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
content = BeautifulSoup(res.text, "html.parser")
data=re.compile('<div.*?title href=(.*?)></div>',re.S)
result=re.findall(data,content)
print(result)

报错信息如下：
Traceback (most recent call last):
  File "C:/Users/lyl/PycharmProjects/pythonProject1/dangdang/dangdang/spiders/lj.py", line 36, in <module>
    result=re.findall(data,content)
  File "E:\anaconda3\lib\re.py", line 241, in findall
    return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

Process finished with exit code 1

最佳答案

月排行榜 / 总排行榜

isdkz

2023-4-24 16:01:34

liubulong 发表于 2023-4-24 15:40
返回值是空的，还有一个问题，为何这里result=re.findall(data,res.text)，res.text不能写content呢？？ ...

关于返回值为空的问题，这是因为正则表达式可能没有正确匹配HTML中的内容。在这种情况下，建议使用BeautifulSoup库进行解析，这是一个专门用于解析HTML和XML文档的库。

关于`res.text`和`content`的问题，原因是re库的`findall()`函数期望接收一个字符串或类似字节的对象作为输入。`res.text`是原始HTML的纯文本表示，而`content`是一个BeautifulSoup对象。虽然BeautifulSoup对象也可以转换为字符串，但在这种情况下，我们应该直接将`res.text`传递给`re.findall()`函数。

这是一个使用BeautifulSoup来获取href链接的示例：

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, "html.parser")

# 假设链接在class为"title"的div内的<a>标签中
result = []
for link in soup.find_all('div', class_='title'):
    a_tag = link.find('a')
    if a_tag:
        href = a_tag.get('href')
        if href:
            result.append(href)

print(result)

注意：这个代码假设您想要爬取的链接是在class为"title"的div内的<a>标签中。请根据实际HTML结构进行调整。

跳转到最佳答案楼层

isdkz

import requests
import re


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
data=re.compile('<div.*?title href=(.*?)></div>',re.S)
result=re.findall(data, res.text)
print(result)

liubulong

isdkz 发表于 2023-4-24 15:05
import requests
import re

返回值是空的，还有一个问题，为何这里result=re.findall(data,res.text)，res.text不能写content呢？？？

isdkz

liubulong 发表于 2023-4-24 15:40
返回值是空的，还有一个问题，为何这里result=re.findall(data,res.text)，res.text不能写content呢？？ ...

关于返回值为空的问题，这是因为正则表达式可能没有正确匹配HTML中的内容。在这种情况下，建议使用BeautifulSoup库进行解析，这是一个专门用于解析HTML和XML文档的库。

关于`res.text`和`content`的问题，原因是re库的`findall()`函数期望接收一个字符串或类似字节的对象作为输入。`res.text`是原始HTML的纯文本表示，而`content`是一个BeautifulSoup对象。虽然BeautifulSoup对象也可以转换为字符串，但在这种情况下，我们应该直接将`res.text`传递给`re.findall()`函数。

这是一个使用BeautifulSoup来获取href链接的示例：

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
url = 'https://sh.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, "html.parser")

# 假设链接在class为"title"的div内的<a>标签中
result = []
for link in soup.find_all('div', class_='title'):
    a_tag = link.find('a')
    if a_tag:
        href = a_tag.get('href')
        if href:
            result.append(href)

print(result)

注意：这个代码假设您想要爬取的链接是在class为"title"的div内的<a>标签中。请根据实际HTML结构进行调整。

liubulong

isdkz 发表于 2023-4-24 16:01
关于返回值为空的问题，这是因为正则表达式可能没有正确匹配HTML中的内容。在这种情况下，建议使用Beauti ...

嗯，谢谢大佬指教