python爬虫

cjy520

python爬虫：通过搜索关键字“新冠”，并把搜索到的前20页链接里的新闻稿下载，然后保存到excel里面。
求这个的源码

路神

981048327

Py与C。。。

在哪个网页搜索

xiaosi4081

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. keyword = input("关键词:")
   
4. news = []
   
5. def getcode(keyword,page):
   
6.     headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36"}
   
7.     url="https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd={}&pn={}".format(keyword,page)
   
8.     print(url)
   
9.     res = requests.get(url,headers=headers)
   
10.     soup = BeautifulSoup(res.text,"html.parser")
    
11.     each = soup.find_all("a",class_="news-title-font_1xS-F")
    
12.     for i in each:
    
13.         news.append(i.text)
    
14. if __name__ == "__main__":
    
15.     for i in range(0,200,10):
    
16.         getcode(keyword,i)
    
17.     for i in news:
    
18.         print(news)
    

复制代码

这是从百度资讯上爬取的
如果对你有作用，请设置【最佳答案】