[已解决]使用for对多个url进行爬取时，如何跳过其中无法访问的url

三一王

如题。

源码如下：

1. 
   
2. import urllib.request
   
3. 
   
4. 
   
5. def url_open(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('user-agent',
   
8.                    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. 
    
14. def find_m3u8url(url):
    
15.     html = url_open(url).decode('utf-8')
    
16.     m3u8url_dict = {}
    
17. 
    
18.     url_a = html.find('file: "http:', 0) + 12
    
19. 
    
20. 
    
21.     while url_a != -1:
    
22. 
    
23.         url_b = html.find('.m3u8', url_a, url_a + 300)
    
24.         if url_b != -1:
    
25. 
    
26.             # 将带有中文字符的url地址转换为url编码
    
27.             m3u8url = 'http:' + urllib.request.quote(html[url_a: url_b]) + '.m3u8'
    
28.             print(m3u8url)
    
29. 
    
30.             m3u8url_dict[html[url_a: url_b]] = m3u8url
    
31. 
    
32. 
    
33.         break
    
34. 
    
35.     return m3u8url_dict
    
36. 
    
37. 
    
38. def save(m3u8url_dict):
    
39. 
    
40.     for each in m3u8url_dict:
    
41. 
    
42.         word = m3u8url_dict[each]
    
43. 
    
44.         with open('m3u8urls.txt','a') as f:
    
45.             f.write(each)
    
46.             f.write('\n')
    
47.             f.write(word)
    
48.             f.write('\n')
    
49.             f.write('\n')
    
50. 
    
51. 
    
52. 
    
53. with open('edu_urls.txt','rb') as f:
    
54. 
    
55.     for url in f:
    
56.         url_open(url)
    
57. 
    
58.         m3u8url_dict = find_m3u8url(url)
    
59.         save(m3u8url_dict)
    
60. 
    
61. 
    
62. 
    

复制代码

在代码最后执行的这一步:

1. with open('edu_urls.txt','rb') as f:
   
2. 
   
3.     for url in f:
   
4.         url_open(url)
   
5.         ai_dict = find_m3u8url(url)
   
6.         save(m3u8url_dict)

复制代码

因为文件“edu_urls.txt”中存在无法访问的url。
在执行时，如何跳过因无法访问而报错的url，继续对下个url进行操作？


恳求ing~~~~~

最佳答案

月排行榜 / 总排行榜

Cool_Breeze

2020-12-24 15:45:37

url_open(url):
使用 try
...
except...
失败返回False
或者直接 pass

跳转到最佳答案楼层

Cool_Breeze

url_open(url):
使用 try
...
except...
失败返回False
或者直接 pass

三一王

Cool_Breeze 发表于 2020-12-24 15:45
url_open(url):
使用 try
...

1. with open('edu_urls.txt','rb') as f:
   
2. 
   
3.     for url in f:
   
4.         try:
   
5.             url_open(url)
   
6. 
   
7.             m3u8url_dict = find_m3u8url(url)
   
8.             save(m3u8url_dict)
   
9.         except:
   
10.             pass

复制代码

是这样么，但是没有结果诶

三一王

找到问题了 ，多谢~~~

Cool_Breeze

三一王 发表于 2020-12-24 16:00
是这样么，但是没有结果诶

1. def url_open(url):
   
2.     req = urllib.request.Request(url)
   
3.     req.add_header('user-agent',
   
4.                    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36')
   
5.     try:
   
6.         response = urllib.request.urlopen(url)
   
7.     except Exception:
   
8.         print(f'{url} Fail')
   
9.         return None
   
10.     html = response.read()
    
11.     return html

复制代码

1. 
   
2. def find_m3u8url(url):
   
3.     html = url_open(url).decode('utf-8')
   
4.     if html is None: return None
   
5.     m3u8url_dict = {}
   
6. 
   
7.     url_a = html.find('file: "http:', 0) + 12
   
8. 
   
9. 
   
10.     while url_a != -1:
    
11. 
    
12.         url_b = html.find('.m3u8', url_a, url_a + 300)
    
13.         if url_b != -1:
    
14. 
    
15.             # 将带有中文字符的url地址转换为url编码
    
16.             m3u8url = 'http:' + urllib.request.quote(html[url_a: url_b]) + '.m3u8'
    
17.             print(m3u8url)
    
18. 
    
19.             m3u8url_dict[html[url_a: url_b]] = m3u8url
    
20. 
    
21. 
    
22.         break
    
23. 
    
24.     return m3u8url_dict

复制代码

1. with open('edu_urls.txt','rb') as f:
   
2. 
   
3.     for url in f:
   
4.         url_open(url)
   
5.         ai_dict = find_m3u8url(url)
   
6.         if ai_dict is None: contiune
   
7.         save(m3u8url_dict)

复制代码