抓取新浪 军事中国军情标题、时间和链接——回复有彩蛋

xiaoflyfly

1. import requests
   
2. from requests.exceptions import RequestException
   
3. import time
   
4. from bs4 import BeautifulSoup
   
5. import pandas as pd
   
6. 
   
7. def get_one_page(url):
   
8.     try:
   
9.         headers = {
   
10.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'
    
11.         }
    
12.         response = requests.get(url, headers=headers)
    
13.         response.encoding = 'gb2312'
    
14.         if response.status_code == 200:
    
15.             return response.text
    
16.         return None
    
17.     except RequestException:
    
18.         return None
    
19. 
    
20. def parse_one_page(html):
    
21.     soup = BeautifulSoup(html, 'html.parser')
    
22.     fList = soup.select('.fixList')
    
23.     temp = []
    
24.     for each in fList[0].select('li'):
    
25.         alink = {}
    
26.         alink['title'] = each.text
    
27.         alink['time'] = each.select('.time')[0].text
    
28.         alink['url'] = each.select('a')[0]['href']
    
29.         temp.append(alink)
    
30.     return temp
    
31. 
    
32. def main(offset):
    
33.     url = 'http://roll.mil.news.sina.com.cn/col/zgjq/index_' + str('offset') + '.shtml'
    
34.     html = get_one_page(url)
    
35.     text.extend(parse_one_page(html))
    
36. 
    
37. if __name__ == '__main__':
    
38.     text = []
    
39.     for i in range(10):
    
40.         main(offset=i)
    
41.         time.sleep(1)
    
42.     df = pd.DataFrame(text)
    
43.     df.to_csv("sina.csv", index=False, encoding='utf_8_sig')

复制代码

回复有爬虫书籍

游客，如果您要查看本帖隐藏内容请回复

《》PDF以及配套视频

gkj111111

谢谢分享

happy_bb

谢谢分享

肥卷肥肥

谢谢分享

hua2082349

谢谢大佬

PythonLV

上官竹珣

看看

EDX

0.0.0.0.0.

buluo

谢谢分享

yanghaolina

大佬啊

唯爱75B

谢谢分享

bbblbn

学习

dengyk

谢谢分享

Charleslay

不是吧

tiejiang

看看

dongxinghao

要

isbella

Xa@123456txc

111