鱼C论坛

 找回密码
 立即注册
查看: 1727|回复: 4

[已解决]爬虫结果为None

[复制链接]
发表于 2021-1-30 22:18:40 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
输入代码后结果为None,没有出现爬虫具体结果。请各位鱼油协助!非常感谢!
>>>
代码:
import requests
import bs4

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
    res = requests.get(url,headers=headers)
   
    return res

def find_data(res):
    soup = bs4.BeautifulSoup(res.text,'html.parser')
    content = soup.find(id="Cnt-Main-Article-QQ")
    print(content)

def main():
    url = 'https://www.chyxx.com/industry/201901/711262.html'
    res = open_url(url)
    find_data(res)

if __name__ == '__main__':
    main()
最佳答案
2021-1-30 23:22:01
本帖最后由 qq1151985918 于 2021-1-30 23:28 编辑

我刚刚查了下,Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id,你搞得不对,看看我给你改的是不是想要的
import requests
import bs4

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
    res = requests.get(url,headers=headers)
    res.encoding = "gbk"
    return res

def find_data(res):
    soup = bs4.BeautifulSoup(res.text,'html.parser')
    
    content = soup.find(id="contentBody")
    print(content.text)

def main():
    url = 'https://www.chyxx.com/industry/201901/711262.html'
    res = open_url(url)
    find_data(res)

if __name__ == '__main__':
    main()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-1-30 22:38:24 | 显示全部楼层
我刚看网站源码也没 Cnt-Main-Article-QQ  这个id 啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-1-30 22:38:32 | 显示全部楼层
content = soup.find(id="Cnt-Main-Article-QQ")
这里是主要问题
id这个应该不对,没加引号相当于变量了,匹配出问题了
你具体想要爬取的内容是什么也没说,我们也不知道

评分

参与人数 1荣誉 -1 鱼币 +1 贡献 +1 收起 理由
1532406016 -1 + 1 + 1

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-1-30 23:22:01 | 显示全部楼层    本楼为最佳答案   
本帖最后由 qq1151985918 于 2021-1-30 23:28 编辑

我刚刚查了下,Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id,你搞得不对,看看我给你改的是不是想要的
import requests
import bs4

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
    res = requests.get(url,headers=headers)
    res.encoding = "gbk"
    return res

def find_data(res):
    soup = bs4.BeautifulSoup(res.text,'html.parser')
    
    content = soup.find(id="contentBody")
    print(content.text)

def main():
    url = 'https://www.chyxx.com/industry/201901/711262.html'
    res = open_url(url)
    find_data(res)

if __name__ == '__main__':
    main()

评分

参与人数 1荣誉 +5 收起 理由
1532406016 + 5

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-1-31 09:50:49 | 显示全部楼层
qq1151985918 发表于 2021-1-30 23:22
我刚刚查了下,Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id,你搞得不对,看看我给你改的是不是想要的 ...

谢谢,非常好的答案,非常感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-16 16:13

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表