视频53课 抓取网站内容之【百度】

payton24

先贴代码吧，其实除了百度之外，其他数据都正常：

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def main():
   
5.    
   
6.     lower = 0
   
7.     webs_path = 'F:\\Python\\爬虫\\URL\\urls.txt'
   
8.    
   
9.     with open(webs_path) as f:
   
10.         for eachline in f:
    
11.             url = eachline
    
12.             print(url)
    
13. 
    
14.             ##读取网页内容
    
15.             with urllib.request.urlopen(url) as u:
    
16.                 content = u.read()                    
    
17. 
    
18.             #识别网页编码
    
19.             encode0 = chardet.detect(content)['encoding']
    
20.             confi = chardet.detect(content)['confidence']
    
21.             #detect返回字典，例如{'encoding': 'utf-8', 'confidence': 0.99}
    
22. 
    
23.             print(encode0)
    
24. 
    
25.             
    
26.             if encode0 == 'GB2312':
    
27.                 encode0 = 'GBK'    ##对于GB2312的编码方式，改为GBK。
    
28. 
    
29.             if encode0 == 'UTF-8-SIG':
    
30.                 encode0 = 'UTF-8'    ##对于UTF-8-SIG的编码方式，改为UTF-8。
    
31. 
    
32.             print('该网页使用的编码是：%s' %encode0)
    
33.             print('编码可信度为：{:.00%}\n'.format(confi))
    
34.                
    
35. 
    
36.             lower +=1   #改变txt名字
    
37.             web_path = 'F:\\Python\\爬虫\\URL\\url_'+str(lower)+'.txt'
    
38. 
    
39.             content_en=content.decode(encode0,'ignore')  ##解码
    
40.             print(type(content_en))
    
41. 
    
42.             with open(web_path,'w',encoding=encode0) as fw:
    
43.                 fw.write(content_en)   ##写入时需要先解码
    
44.                              
    
45. 
    
46. if __name__ == '__main__':
    
47.     main()

复制代码

百度111kb的文件大小，结果才显示了两行代码，是做了特殊的加密吗？

BngThea

百度当然不是你随便就能爬的

payton24

BngThea 发表于 2017-12-14 11:54
百度当然不是你随便就能爬的

哈哈，有爬的思路吗？

JAY饭

勉强看懂了
提供下我的解决方案：
每次提示错误编码时，我都会将错误编码的内容收集进一个列表，然后在下次运行时
将这些错误编码替换成 空字符串，虽然我这种方法解决了出错的问题，但总觉得不完美。
要是能把错误编码解读出来就好了。

1. list1 =['\xa9','\xbb','\u2122','\uc9d1','\u2022']
   
2.     for n in list1:
   
3.         req = req.replace(n,'')
   
4.     return req

复制代码

上面是我剪下的一段，对了req = urllib.request.urlopen().read().decode()。你能理解吗，就是将遇到的错误码提前替代

payton24

JAY饭 发表于 2017-12-14 16:54
勉强看懂了
提供下我的解决方案：
每次提示错误编码时，我都会将错误编码的内容收集进一个列表，然后在下 ...

list1里面的字符串，是你在打开txt文件时碰到的？目前我运行时感觉都正常啊，没有发现类似错误编码。

JAY饭

payton24 发表于 2017-12-14 19:21
list1里面的字符串，是你在打开txt文件时碰到的？目前我运行时感觉都正常啊，没有发现类似错误编码。

喔，是我弄错了，我以为你程序报错呢，我的一直报错，utf -8 -sig等其他编码，在写入时都出现过解码错误。
但是我的所有内容都显示正常，可能是我替换了它们的字符串的关系吧