[已解决]pyquery问题

liuhongrun2022

import requests
from pyquery import PyQuery as pq
HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
}
def get_post_content(url):
    post = requests.get(url, headers=HEADERS)
    html = pq(post.text)
    content = html('.t_f').eq(0)
    return content.text()
print(get_post_content("https://fishc.com.cn/thread-234761-1-1.html"))

原内容为：

    print("I love fishc.com")

有空格的，可是我运行程序之后：

print("I love fishc.com")

不知道为什么，爬取的空格没有了

最佳答案

月排行榜 / 总排行榜

isdkz

2023-10-14 16:25:53

liuhongrun2022 发表于 2023-10-14 14:25
我想去除标签并保留空格

为什么一定要用pyquery呢？

跳转到最佳答案楼层

isdkz

这个问题是因为在使用  text()  方法获取内容时，会自动去除所有标签和空格。如果需要保留空格，可以使用  html()  方法获取内容，但是需要注意，这样获取的内容会保留标签，需要根据实际需求进行处理。

所以你可以将  content.text()  改为  content.html() ，这样就可以保留空格了。

陶远航

你的问题是关于Python的一个库，pyquery，你在使用它来爬取网页内容时，发现原本存在的空格在爬取后消失了。

pyquery是一个强大的网页解析库，它可以像jQuery一样解析HTML文档，提取出你需要的信息。在你的代码中，你使用了pyquery的.text()方法来获取元素的文本内容。这个方法会获取元素及其所有子元素的文本内容，然后将这些文本内容连接起来，但是它不会保留原始HTML中的空格或者换行符。

如果你需要保留原始HTML中的空格，你可以尝试使用.html()方法来获取元素的HTML内容，然后自己处理HTML中的空格和换行符。例如：

def get_post_content(url):
    post = requests.get(url, headers=HEADERS)
    html = pq(post.text)
    content = html('.t_f').eq(0)
    return content.html()

这样你就可以得到元素的原始HTML内容，包括其中的空格和换行符。然后你可以使用Python的字符串处理功能来处理这些空格和换行符。

请注意，这只是一个可能的解决方案，具体的解决方案可能需要根据你的具体需求和网页的具体结构来确定。
请注意，本回答来自GPT-4
如果问题已经解决，请设置最佳答案

Mike_python小

问题分析：
根据您提供的代码，您使用了requests库发送HTTP请求，并使用pyquery库解析HTML。您的目标是获取指定网页中特定类名为.t_f的元素的文本内容。

问题解决：
1. 空格丢失问题：根据您的描述，空格似乎在爬取后消失了。这可能是因为HTML解析库默认会去除文本中的空格和换行符。为了保留空格，请尝试使用lxml解析器代替pyquery的默认解析器。具体做法是将导入语句改为：

from pyquery import PyQuery as pqfrom lxml import etree

然后在解析HTML时使用etree.HTML()代替PyQuery()：

html = etree.HTML(post.text)

这样可以保留空格和换行符。

2. 文本提取问题：您使用了.t_f类选择器，但只获取了第一个匹配的元素。如果您想获取所有匹配的元素，可以使用.items()方法进行迭代，并将每个元素的文本内容保存到一个列表中。修改代码如下：

content = html('.t_f')text_list = [item.text for item in content.items()]return text_list

这样可以返回包含所有匹配元素的文本列表。

修改后的代码：

import requestsfrom pyquery import PyQuery as pqfrom lxml import etreeHEADERS = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',}def get_post_content(url):    post = requests.get(url, headers=HEADERS)    html = etree.HTML(post.text)    content = html('.t_f')    text_list = [item.text for item in content.items()]    return text_listprint(get_post_content("https://fishc.com.cn/thread-234761-1-1.html"))

希望这可以解决您遇到的问题。如果还有其他疑问，请随时提问。

球一个最佳答案谢谢啦！这对我非常重要！

liuhongrun2022

isdkz 发表于 2023-10-14 14:21
这个问题是因为在使用  text()  方法获取内容时，会自动去除所有标签和空格。如果需要保留空格，可以使用   ...

我想去除标签并保留空格

isdkz

liuhongrun2022 发表于 2023-10-14 14:25
我想去除标签并保留空格

为什么一定要用pyquery呢？

liuhongrun2022

isdkz 发表于 2023-10-14 16:25
为什么一定要用pyquery呢？

好吧，只能xpath或者bs4了

isdkz

liuhongrun2022 发表于 2023-10-14 18:24
好吧，只能xpath或者bs4了

可以试试content.text(squash_space=False)，就是结果也有一点奇怪

liuhongrun2022

isdkz 发表于 2023-10-14 18:46
可以试试content.text(squash_space=False)，就是结果也有一点奇怪