[已解决]关于053将将网页内容写入文档的的练习题

狗宁

原题：写一个程序，依次访问文件中指定的站点，并将每个站点返回的内容依次存放到不同的文件中
这是我的代码

1. import urllib.request as ur
   
2. 
   
3. def test():
   
4.     count = 1
   
5.     f1 = open('urls.txt', 'r', encoding='utf-8')
   
6.     for each_line in f1:
   
7.         try:
   
8.             response = ur.urlopen(each_line).read()
   
9.             f = open(('url_%s' % count + '.txt'), 'w', encoding='utf-8' )
   
10.             f.write(str(response))
    
11.             f.close()
    
12.         except HTTPError as reason:
    
13.             print('无法访问%s' % each_line)
    
14.     count += 1
    
15. 
    
16. test()
    
17.         
    

复制代码

然后我想问一下，这个异常捕获这一块总是出错，URLError和HTTPError都不行，应该怎么改啊~~~
是我的问题还是网站的问题呢？
http://www.fishc.com
http://www.baidu.com
http://www.douban.com
http://www.zhihu.com
http://www.taobao.com

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-27 10:06:20

1. import urllib.request as ur
   
2. from urllib.error import HTTPError
   
3. 
   
4. 
   
5. def test():
   
6.     count = 1
   
7.     f1 = open('urls.txt', 'r', encoding='utf-8')
   
8.     for each_line in f1:
   
9.         try:
   
10.             response = ur.urlopen(each_line).read()
    
11.             f = open(('url_%s' % count + '.txt'), 'w', encoding='utf-8')
    
12.             f.write(str(response))
    
13.             f.close()
    
14.         except HTTPError as reason:
    
15.             print('无法访问%s' % each_line)
    
16.     count += 1
    
17. 
    
18. 
    
19. test()
    

复制代码

跳转到最佳答案楼层

狗宁

好像只可以访问两个网站~~能写出来两个文档

zltzlt

需要先从 urllib.error 导入 HTTPError，而且爬虫被网站反爬了，加个 headers 即可

正确代码：

1. import urllib.request as ur
   
2. from urllib.error import HTTPError
   
3. 
   
4. 
   
5. def test():
   
6.     count = 1
   
7.     f1 = open('urls.txt', 'r', encoding='utf-8')
   
8.     for each_line in f1:
   
9.         try:
   
10.             req = ur.Request(each_line, headers={'User-Agent': 'Mozilla/5.0'})
    
11.             response = ur.urlopen(req).read()
    
12.             f = open(('url_%s' % count + '.txt'), 'w', encoding='utf-8')
    
13.             f.write(str(response))
    
14.             f.close()
    
15.         except HTTPError as reason:
    
16.             print('无法访问%s' % each_line)
    
17.     count += 1
    
18. 
    
19. 
    
20. test()

复制代码

Twilight6

1. import urllib.request as ur
   
2. from urllib.error import HTTPError
   
3. 
   
4. 
   
5. def test():
   
6.     count = 1
   
7.     f1 = open('urls.txt', 'r', encoding='utf-8')
   
8.     for each_line in f1:
   
9.         try:
   
10.             response = ur.urlopen(each_line).read()
    
11.             f = open(('url_%s' % count + '.txt'), 'w', encoding='utf-8')
    
12.             f.write(str(response))
    
13.             f.close()
    
14.         except HTTPError as reason:
    
15.             print('无法访问%s' % each_line)
    
16.     count += 1
    
17. 
    
18. 
    
19. test()
    

复制代码

Twilight6

zltzlt 发表于 2020-7-27 10:06
需要先从 urllib.error 导入 HTTPError，而且爬虫被网站反爬了，加个 headers 即可

正确代码：

快 5 秒

zltzlt

Twilight6 发表于 2020-7-27 10:06
快 5 秒

狗宁

谢谢两位大佬

zhuchuanhan

“f = open(('url_%s' % count + '.txt'), 'w', encoding='utf-8')”，encoding要使用其内容对应的编码。