[已解决]爬虫结果为None

1532406016

输入代码后结果为None，没有出现爬虫具体结果。请各位鱼油协助！非常感谢！
>>>
代码：
import requests
import bs4

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
    res = requests.get(url,headers=headers)
   
    return res

def find_data(res):
    soup = bs4.BeautifulSoup(res.text,'html.parser')
    content = soup.find(id="Cnt-Main-Article-QQ")
    print(content)

def main():
    url = 'https://www.chyxx.com/industry/201901/711262.html'
    res = open_url(url)
    find_data(res)

if __name__ == '__main__':
    main()

最佳答案

月排行榜 / 总排行榜

qq1151985918

2021-1-30 23:22:01

我刚刚查了下，Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id，你搞得不对，看看我给你改的是不是想要的

1. import requests
   
2. import bs4
   
3. 
   
4. def open_url(url):
   
5.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
   
6.     res = requests.get(url,headers=headers)
   
7.     res.encoding = "gbk"
   
8.     return res
   
9. 
   
10. def find_data(res):
    
11.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
12.    
    
13.     content = soup.find(id="contentBody")
    
14.     print(content.text)
    
15. 
    
16. def main():
    
17.     url = 'https://www.chyxx.com/industry/201901/711262.html'
    
18.     res = open_url(url)
    
19.     find_data(res)
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()
    

复制代码

跳转到最佳答案楼层

qq1151985918

我刚看网站源码也没 Cnt-Main-Article-QQ  这个id 啊

小甲鱼的铁粉

1. content = soup.find(id="Cnt-Main-Article-QQ")

复制代码

这里是主要问题
id这个应该不对，没加引号相当于变量了，匹配出问题了
你具体想要爬取的内容是什么也没说，我们也不知道

qq1151985918

我刚刚查了下，Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id，你搞得不对，看看我给你改的是不是想要的

1. import requests
   
2. import bs4
   
3. 
   
4. def open_url(url):
   
5.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}
   
6.     res = requests.get(url,headers=headers)
   
7.     res.encoding = "gbk"
   
8.     return res
   
9. 
   
10. def find_data(res):
    
11.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
12.    
    
13.     content = soup.find(id="contentBody")
    
14.     print(content.text)
    
15. 
    
16. def main():
    
17.     url = 'https://www.chyxx.com/industry/201901/711262.html'
    
18.     res = open_url(url)
    
19.     find_data(res)
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()
    

复制代码

1532406016

qq1151985918 发表于 2021-1-30 23:22
我刚刚查了下，Cnt-Main-Article-QQ 应该是腾讯新闻某些文章的id，你搞得不对，看看我给你改的是不是想要的 ...

谢谢，非常好的答案，非常感谢