爬虫代码错误请教

sunyt

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def main():
   
5.     i = 0
   
6.    
   
7.     with open("urls.txt", "r") as f:
   
8.         # 读取待访问的网址
   
9.         # 由于urls.txt每一行一个URL
   
10.         # 所以按换行符'\n'分割
    
11.         urls = f.read().splitlines()
    
12.         
    
13.     for each_url in urls:
    
14.         response = urllib.request.urlopen(each_url)
    
15.         html = response.read()
    
16. 
    
17.         # 识别网页编码
    
18.         encode = chardet.detect(html)['encoding']
    
19.         if encode == 'GB2312':
    
20.             encode = 'GBK'
    
21.         
    
22.         i += 1
    
23.         filename = "url_%d.txt" % i
    
24. 
    
25.         with open(filename, "w", encoding=encode) as each_file:
    
26.             each_file.write(html.decode(encode, "ignore"))
    
27. 
    
28. if __name__ == "__main__":
    
29.     main()
    

复制代码

小甲鱼的源代码，运行出错，不知道哪里有问题（我两个文件都放在一个目录里了）

不过就算出错了还是新建了两个文本文件

wp231957

不是所有网站都不设防，而是很少网站不设防