[已解决]爬虫课后题，求解

非凡

这是小甲鱼答案中代码
urls.txt文件内容是：
http://www.baidu.com
http://www.zhihu.com
http://www.taobao.com
http://www.douban.com

1. import urllib.request
   
2. import chardet
   
3. 
   
4. 
   
5. def main():
   
6.     i = 0
   
7. 
   
8.     with open("urls.txt", "r") as f:
   
9.         # 读取待访问的网址
   
10.         # 由于urls.txt每一行一个URL
    
11.         # 所以按换行符'\n'分割
    
12.         urls = f.read().splitlines()
    
13. 
    
14.     for each_url in urls:
    
15.         response = urllib.request.urlopen(each_url)
    
16.         html = response.read()
    
17. 
    
18.         # 识别网页编码
    
19.         encode = chardet.detect(html)['encoding']
    
20.         if encode == 'GB2312':
    
21.             encode = 'GBK'
    
22. 
    
23.         i += 1
    
24.         filename = "url_%d.txt" % i
    
25. 
    
26.         with open(filename, "w", encoding=encode) as each_file:
    
27.             each_file.write(html.decode(encode, "ignore"))
    
28. 
    
29. 
    
30. if __name__ == "__main__":
    
31.     main()
    

复制代码

我在执行过程中报了这样的错是为什么？我自己作的答案也报了这样的错，这是我电脑设置问题？
是读取到http://www.taobao.com网站时报错的，难道是淘宝的问题？

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-9-16 21:29:43

1. import urllib.request
   
2. import chardet
   
3. 
   
4. 
   
5. def main():
   
6.     i = 0
   
7.     with open("urls.txt", "r") as f:
   
8.         urls = f.read().splitlines()
   
9.     opener = urllib.request.build_opener()  # 创建opener对象
   
10.     opener.addheaders = [('User-agent', 'Mozilla')]  # 修改默认的UA，否则会触发网站反扒。
    
11.     for each_url in urls:
    
12.         response = opener.open(each_url)
    
13.         html = response.read()
    
14.         encode = chardet.detect(html)['encoding']
    
15.         if encode == 'GB2312':
    
16.             encode = 'GBK'
    
17.         i += 1
    
18.         with open(f"url_{i}.txt", "w", encoding=encode) as f:
    
19.             f.write(html.decode(encode, "ignore"))
    
20. 
    
21. 
    
22. if __name__ == "__main__":
    
23.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

1. import urllib.request
   
2. import chardet
   
3. 
   
4. 
   
5. def main():
   
6.     i = 0
   
7.     with open("urls.txt", "r") as f:
   
8.         urls = f.read().splitlines()
   
9.     opener = urllib.request.build_opener()  # 创建opener对象
   
10.     opener.addheaders = [('User-agent', 'Mozilla')]  # 修改默认的UA，否则会触发网站反扒。
    
11.     for each_url in urls:
    
12.         response = opener.open(each_url)
    
13.         html = response.read()
    
14.         encode = chardet.detect(html)['encoding']
    
15.         if encode == 'GB2312':
    
16.             encode = 'GBK'
    
17.         i += 1
    
18.         with open(f"url_{i}.txt", "w", encoding=encode) as f:
    
19.             f.write(html.decode(encode, "ignore"))
    
20. 
    
21. 
    
22. if __name__ == "__main__":
    
23.     main()
    

复制代码

非凡

suchocolate 发表于 2021-9-16 21:29

谢谢~~