[已解决]爬取网页中文

解技

import re
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36\
         (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
res=requests.get('https://baike.so.com/doc/1455611-1538882.html',headers=headers)

#想提取res网站中的中文
patten=re.compile("[\u4e00-\u9fa5]",re.S)
titles=patten.findall(res.text)
print(titles)



我想爬取网页中的中文  实际返回 [  ]
求大佬指点

最佳答案

月排行榜 / 总排行榜

XiaoPaiShen

2019-11-6 20:22:48

两点修改：
1. 使用utf-8 encoding,
2. pattern中加一个'+'

1. import re
   
2. import requests
   
3. 
   
4. headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
   
5. res=requests.get('https://baike.so.com/doc/1455611-1538882.html',headers=headers)
   
6. res.encoding = 'utf-8'
   
7. 
   
8. # 想提取res网站中的中文
   
9. patten = re.compile("[\u4e00-\u9fa5]+",re.S)
   
10. content = patten.findall(res.text)
    
11. print(content)

复制代码

跳转到最佳答案楼层

XiaoPaiShen

两点修改：
1. 使用utf-8 encoding,
2. pattern中加一个'+'

1. import re
   
2. import requests
   
3. 
   
4. headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
   
5. res=requests.get('https://baike.so.com/doc/1455611-1538882.html',headers=headers)
   
6. res.encoding = 'utf-8'
   
7. 
   
8. # 想提取res网站中的中文
   
9. patten = re.compile("[\u4e00-\u9fa5]+",re.S)
   
10. content = patten.findall(res.text)
    
11. print(content)

复制代码

geen

已解决，提取纯中文的代码如下：

1. 
   
2. import requests
   
3. from lxml import html
   
4. import re
   
5. 
   
6. head = {}
   
7. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
   
8. head['Cookie'] = 'test_cookie_enable=null; __guid=6491553.1045458896933327200.1573087807406.4932; __DC_sid=6491553.2570914710054801000.1573087807904.5168; keyforsearchbar=%E5%B1%85%E6%B0%91%E8%BA%AB%E4%BB%BD%E8%AF%81%E5%8F%B7%E7%A0%81; refer=https%3A%2F%2Fbaike.so.com%2Fdoc%2F1455611-1538882.html; count=6; __DC_monitor_count=6; __DC_gid=6491553.722538548.1573087807912.1573088650943.12'
   
9. 
   
10. res = requests.get('https://baike.so.com/doc/1455611-1538882.html', headers=head)
    
11. 
    
12. #想提取res网站中的中文（见图1）
    
13. tree = html.fromstring(res.content)
    
14. target = tree.xpath('//text()') #提取所有的text()文本内容；
    
15. source = str(target)
    
16. 
    
17. s = source.encode('utf-8')
    
18. s = s.decode('utf-8')
    
19. result = re.findall(u"[\u4e00-\u9fa5]+",s,re.S)
    
20. print(result)
    
21. 
    
22. #提取网页显示的主体文本（见图2）
    
23. content = re.search("居民身份证号码，正确.*?避免重复提交",source,re.S)
    
24. if content:
    
25.     print('flag3',content.group())
    

复制代码

图1：

                               
登录/注册后可看大图

图2：

                               
登录/注册后可看大图

wanting-for

根据汉字编码的范围来找出网页中所有的中文

小小小菜菜菜

使用goose模块来提取可以去除掉标签里边的中文。