[已解决]为啥用python访问百度url 站点的源码下载不下来

warms

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def main():
   
5.     i = 0
   
6.    
   
7.     with open("urls.txt", "r") as f:
   
8.         # 读取待访问的网址
   
9.         # 由于urls.txt每一行一个URL
   
10.         # 所以按换行符'\n'分割
    
11.         urls = f.read().splitlines()
    
12.         
    
13.     for each_url in urls:
    
14.         response = urllib.request.urlopen(each_url)
    
15.         html = response.read()
    
16. 
    
17.         # 识别网页编码
    
18.         encode = chardet.detect(html)['encoding']
    
19.         if encode == 'GB2312':
    
20.             encode = 'GBK'
    
21.         
    
22.         i += 1
    
23.         filename = "url_%d.txt" % i
    
24. 
    
25.         with open(filename, "w", encoding=encode) as each_file:
    
26.             each_file.write(html.decode(encode, "ignore"))
    
27. 
    
28. if __name__ == "__main__":
    
29.     main()

复制代码

这是下小甲鱼的代码我试了以下
跟我自己打的是一样的

这个图
谁解释以下

最佳答案

月排行榜 / 总排行榜

lyjlyj

2018-2-16 21:46:09

这个没毛病，你往下拉就行了，百度的网页代码就是这么奇葩，前面都是空行

跳转到最佳答案楼层

lyjlyj

这个没毛病，你往下拉就行了，百度的网页代码就是这么奇葩，前面都是空行