[已解决]小甲鱼OOXX的那个视频，我写出来之后报ValueError: unknown url type

2242253525

小甲鱼py的那个爬虫视频，我照着写了之后是显示ValueError: unknown url type，但是加上http://显示 OSError: [Errno 22] Invalid argument

1. import urllib.request
   
2. import os
   
3. import base64
   
4. def url_open(url):
   
5.     req =urllib.request.Request(url)
   
6.     req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36')
   
7.     response=urllib.request.urlopen(url)
   
8.     html=response.read()
   
9.     return html
   
10. 
    
11. def get_page(url):
    
12.     html=url_open(url).decode('utf-8')
    
13.     a=html.find('current-comment-page')+23
    
14.     b=html.find(']',a)
    
15. 
    
16.     return html[a:b]
    
17. 
    
18. def find_imgs(url):
    
19.     html=url_open(url).decode('utf-8')
    
20.     img_addrs=[]
    
21. 
    
22.     a=html.find('img src=')
    
23.     while a !=-1:
    
24.         
    
25.         b=html.find('.jpg',a,a+255)
    
26. 
    
27.         if b !=-1:
    
28.             img_addrs.append(html[a+9:b+4])
    
29.         else:
    
30.             b=a+9
    
31.             
    
32.         a=html.find('img src=',b)
    
33.     return img_addrs
    
34. 
    
35. def save_imgs(folder,img_addrs):
    
36.     for each in img_addrs:
    
37.         #我觉得应该是这里有问题
    
38.         filename= each.split('/')[-1]
    
39.         with open(filename,'w')as f:
    
40.             img = url_open(each)
    
41.             f.write(img)
    
42. 
    
43. def download_mm(floder='ooxx',pages=10):
    
44.     os.mkdir(floder)
    
45.     os.chdir(floder)
    
46.     url='http://jandan.net/girl'
    
47.     page_num=int(get_page(url))
    
48. 
    
49. 
    
50. 
    
51.     for i in range(pages):
    
52.         s='20220122-'
    
53.         page_num-=i
    
54.         a=s+str(page_num)
    
55.         i=base64.b64encode(a.encode())
    
56.         page_url=url+'/'+i.decode()+'#comments'
    
57.         img_addrs=find_imgs(page_url)
    
58.         save_imgs(floder,img_addrs)
    
59. 
    
60. if __name__=='__main__':
    
61.     download_mm()
    

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2022-1-22 23:21:13

你的代码要改两处地方

1. import urllib.request
   
2. import os
   
3. import base64
   
4. def url_open(url):
   
5.     req =urllib.request.Request(url)
   
6.     req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36')
   
7.     response=urllib.request.urlopen(req)
   
8.     html=response.read()
   
9.     return html
   
10. 
    
11. def get_page(url):
    
12.     html=url_open(url).decode('utf-8')
    
13.     a=html.find('current-comment-page')+23
    
14.     b=html.find(']',a)
    
15. 
    
16.     return html[a:b]
    
17. 
    
18. def find_imgs(url):
    
19.     html=url_open(url).decode('utf-8')
    
20.     img_addrs=[]
    
21. 
    
22.     a=html.find('img src=')
    
23.     while a !=-1:
    
24.         
    
25.         b=html.find('.jpg',a,a+255)
    
26. 
    
27.         if b !=-1:
    
28.             img_addrs.append(html[a+9:b+4])
    
29.         else:
    
30.             b=a+9
    
31.             
    
32.         a=html.find('img src=',b)
    
33.     return img_addrs
    
34. 
    
35. def save_imgs(folder,img_addrs):
    
36.     for each in img_addrs:
    
37.         #我觉得应该是这里有问题
    
38.         filename= each.split('/')[-1]
    
39.         with open(filename,'wb')as f:             # 第一处
    
40.             img = url_open("http:" + each)    # 第二处
    
41.             f.write(img)
    
42. 
    
43. def download_mm(floder='ooxx',pages=10):
    
44.     os.mkdir(floder)
    
45.     os.chdir(floder)
    
46.     url='http://jandan.net/girl'
    
47.     page_num=int(get_page(url))
    
48. 
    
49. 
    
50. 
    
51.     for i in range(pages):
    
52.         s='20220122-'
    
53.         page_num-=i
    
54.         a=s+str(page_num)
    
55.         i=base64.b64encode(a.encode())
    
56.         page_url=url+'/'+i.decode()+'#comments'
    
57.         img_addrs=find_imgs(page_url)
    
58.         save_imgs(floder,img_addrs)
    
59. 
    
60. if __name__=='__main__':
    
61.     download_mm()
    

复制代码

跳转到最佳答案楼层

isdkz

你的代码要改两处地方

1. import urllib.request
   
2. import os
   
3. import base64
   
4. def url_open(url):
   
5.     req =urllib.request.Request(url)
   
6.     req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36')
   
7.     response=urllib.request.urlopen(req)
   
8.     html=response.read()
   
9.     return html
   
10. 
    
11. def get_page(url):
    
12.     html=url_open(url).decode('utf-8')
    
13.     a=html.find('current-comment-page')+23
    
14.     b=html.find(']',a)
    
15. 
    
16.     return html[a:b]
    
17. 
    
18. def find_imgs(url):
    
19.     html=url_open(url).decode('utf-8')
    
20.     img_addrs=[]
    
21. 
    
22.     a=html.find('img src=')
    
23.     while a !=-1:
    
24.         
    
25.         b=html.find('.jpg',a,a+255)
    
26. 
    
27.         if b !=-1:
    
28.             img_addrs.append(html[a+9:b+4])
    
29.         else:
    
30.             b=a+9
    
31.             
    
32.         a=html.find('img src=',b)
    
33.     return img_addrs
    
34. 
    
35. def save_imgs(folder,img_addrs):
    
36.     for each in img_addrs:
    
37.         #我觉得应该是这里有问题
    
38.         filename= each.split('/')[-1]
    
39.         with open(filename,'wb')as f:             # 第一处
    
40.             img = url_open("http:" + each)    # 第二处
    
41.             f.write(img)
    
42. 
    
43. def download_mm(floder='ooxx',pages=10):
    
44.     os.mkdir(floder)
    
45.     os.chdir(floder)
    
46.     url='http://jandan.net/girl'
    
47.     page_num=int(get_page(url))
    
48. 
    
49. 
    
50. 
    
51.     for i in range(pages):
    
52.         s='20220122-'
    
53.         page_num-=i
    
54.         a=s+str(page_num)
    
55.         i=base64.b64encode(a.encode())
    
56.         page_url=url+'/'+i.decode()+'#comments'
    
57.         img_addrs=find_imgs(page_url)
    
58.         save_imgs(floder,img_addrs)
    
59. 
    
60. if __name__=='__main__':
    
61.     download_mm()
    

复制代码

2242253525

isdkz 发表于 2022-1-22 23:21
你的代码要改两处地方

谢谢，已经解决啦