[已解决]bs4.BeautifulSoup问题

waitforlove

1. import requests
   
2. import bs4
   
3. 
   
4. def open_url(url):
   
5.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
   
6.              'Referer':'http://blog.fishc.com/',
   
7.              'Content-Type':'text/html; charset=UTF-8',
   
8.              'Content-Encoding':'gzip',
   
9.              'Connection':'keep-alive'}
   
10.     res=requests.get(url,headers=headers)
    
11.     '''
    
12.     with open('123.txt','w',encoding='utf-8') as f:
    
13.         f.write(res.text)
    
14.         '''
    
15.     soup=bs4.BeautifulSoup(res.text,'html.parser')
    
16.     #这里用'html.parser'有问题,只能读取网页的一部分
    
17.     #用'lxml'或'html5lib'就可以读出全部,为什么,
    
18.     #推荐使用哪个???
    
19.     return soup
    
20. 
    
21. def main():
    
22.     url='http://blog.fishc.com/category/winsdk'
    
23.     soup=open_url(url)
    
24. 
    
25.     tager=soup.find_all('div',class_='navigation')
    
26.     print(tager)
    
27.    
    
28. if __name__=='__main__':
    
29.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

ド゛゜范

2018-2-24 12:22:36

哪个快用哪个，lxml和html5lib

跳转到最佳答案楼层

ド゛゜范

哪个快用哪个，lxml和html5lib

waitforlove

ド゛゜范 发表于 2018-2-24 12:22
哪个快用哪个，lxml和html5lib