[已解决]关于Python抓取的网页写入到txt文件的问题

天空圣域

这也是《零基础入门学习Python》第53讲的最后一题
环境：Windows7专业版
          Python 3.6

这个是答案

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def main():
   
5.     i = 0
   
6.    
   
7.     with open("urls.txt", "r") as f:
   
8.         # 读取待访问的网址
   
9.         # 由于urls.txt每一行一个URL
   
10.         # 所以按换行符'\n'分割
    
11.         urls = f.read().splitlines()
    
12.         
    
13.     for each_url in urls:
    
14.         response = urllib.request.urlopen(each_url)
    
15.         html = response.read()
    
16. 
    
17.         # 识别网页编码
    
18.         encode = chardet.detect(html)['encoding']
    
19.         if encode == 'GB2312':
    
20.             encode = 'GBK'
    
21.         
    
22.         i += 1
    
23.         filename = "url_%d.txt" % i
    
24. 
    
25.         with open(filename, "w", encoding=encode) as each_file:
    
26.             each_file.write(html.decode(encode, "ignore"))
    
27. 
    
28. if __name__ == "__main__":
    
29.     main()
    

复制代码

然后这是我自己的代码：

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def main():
   
5.     with open("urls.txt","r") as f:
   
6.         i=1
   
7.             
   
8.         #读取网址
   
9.         #去除‘\n’
   
10.         urls=f.read().splitlines()
    
11.             
    
12.         for each in urls:
    
13.             #创建文件名
    
14.             filename="url_%d.txt" % i
    
15.             #读取网址
    
16.             response=urllib.request.urlopen(each).read()
    
17.             #识别网页编码
    
18.             web_type=chardet.detect(response)
    
19.             webtype=web_type['encoding']
    
20.             if webtype=="GB2312":
    
21.                 webtype="GBK"
    
22.                
    
23.             #新建文件并写入  
    
24.             with open(filename,'w',encoding=webtype) as fn:
    
25.                 fn.write(response,decode(webtype,"ignore"))
    
26. 
    
27.             i+=1
    
28. 
    
29. if __name__=="__main__":
    
30.     main()

复制代码

然后就。。。

1. Traceback (most recent call last):
   
2.   File "D:\pytest\爬虫1-2.py", line 29, in <module>
   
3.     main()
   
4.   File "D:\pytest\爬虫1-2.py", line 24, in main
   
5.     fn.write(response,decode(webtype,"ignore"))
   
6. NameError: name 'decode' is not defined

复制代码

实在是想不明白为什么会出错，望各位指出错误，感激不尽

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-5-9 19:07:26

24行response后面应该是 . 不是 , 吧？

跳转到最佳答案楼层

天空圣域

对了，这是urls.txt文件的内容，这个程序就是要把里面的网页都保存到独立的.txt文件中

jerryxjr1220

24行response后面应该是 . 不是 , 吧？

天空圣域

jerryxjr1220 发表于 2017-5-9 19:07
24行response后面应该是 . 不是 , 吧？

对的，非常感谢。是我粗心了