[已解决]顺着小甲鱼爬虫入门教程仿写的 但是运行报错，请各位指正以下。代码如下

我爱l两条柴

1. 
   
2. import urllib.request
   
3. import os
   
4. 
   
5. img_addrs = []
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)  # 请求网页 并 添加头部信息
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0')
   
9.     response = urllib.request.urlopen(url)  # 伪装并打开网页
   
10.     html = response.read()
    
11. 
    
12. def find_imgs(url):
    
13. 
    
14.     html = url_open(url).decode('utf-8')  # 得到2进制解码为字符串  存入列表进行查找图片的相关位置
    
15. 
    
16.     '''
    
17.     a= html.find('img src=')
    
18.     b=html.find('.jpg',a,a+255) #后面参数为 限定查找范围   find  若有多个，只会返回第一个
    
19.      # 如果一页里面只有一张图  那么以下两行就够了
    
20.     if b!=-1:   #若查找不到则会返回  -1
    
21.         img_addrs.append(html[a+9:b+4])   # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
22.     '''
    
23.     # 多图查找
    
24.     a= html.find('img src=')
    
25.     while a !=-1:
    
26.         b = html.find('.jpg', a, a + 255)
    
27.         if b != -1:  # 若查找不到则会返回  -1    这里只考虑了 jpg格式
    
28.             img_addrs.append(html[a + 9:b + 4])  # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
29.         a= html.find('img src=',b)  # 以上次b结束开始查
    
30.         b = html.find('.jpg', a, a + 255)
    
31.         return img_addrs
    
32. 
    
33. def save_imgs(img_addrs):
    
34.    for each in img_addrs:
    
35.        filename=each.split('/')[-1]
    
36.        with open(filename,'wb') as f:
    
37.            img = url_open(each)
    
38.            f.write(img)
    
39. 
    
40. def download_mm(folder='4k',pages=20):  #文件名  爬取页数
    
41.     os.mkdir(folder) #新建文件夹
    
42.     os.chdir(folder) #更改工作目录  便于保存地址
    
43. 
    
44.     url = 'https://pic.netbian.com/4kdongman/'  #获取总的 目标网页
    
45.     print(url)
    
46.     for i in range(pages):
    
47.         pages -= i
    
48.         if i == 0:
    
49.             page_url = url
    
50.         else:
    
51.             page_url= url +'index_'+str(i)+'.html'  # 生成具体页数
    
52.         img_addrs = find_imgs(page_url)    #当前页面的所有图片地址
    
53.         save_imgs(folder,img_addrs)    #保存
    
54. 
    
55. 
    
56. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

nahongyan1997

2021-8-5 09:50:31

我改了至少5处bug，还添加了一个函数，大改了一段代码，现在可以用了：

1. import urllib.request
   
2. # 导入一个新函数
   
3. 
   
4. from urllib.parse import urljoin
   
5. import os
   
6. 
   
7. # url放在外边让它是全局变量
   
8. url = 'https://pic.netbian.com/4kdongman/'  #获取总的 目标网页
   
9. 
   
10. img_addrs = []
    
11. def url_open(url):
    
12.     req = urllib.request.Request(url)  # 请求网页 并 添加头部信息
    
13.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0')
    
14.     response = urllib.request.urlopen(url)  # 伪装并打开网页
    
15.     html = response.read()
    
16.    
    
17.     # 这里要返回的
    
18.     return html
    
19. 
    
20. def find_imgs(url):
    
21.     print(url)
    
22.     # 网页不完整导致的解码错误，加个参数就好了
    
23.     html = url_open(url).decode('utf-8', errors="ignore")  # 得到2进制解码为字符串  存入列表进行查找图片的相关位置
    
24. 
    
25.     '''
    
26.     a= html.find('img src=')
    
27.     b=html.find('.jpg',a,a+255) #后面参数为 限定查找范围   find  若有多个，只会返回第一个
    
28.      # 如果一页里面只有一张图  那么以下两行就够了
    
29.     if b!=-1:   #若查找不到则会返回  -1
    
30.         img_addrs.append(html[a+9:b+4])   # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
31.     '''
    
32.     # 多图查找
    
33.     a= html.find('img src=')
    
34.     while a !=-1:
    
35.         b = html.find('.jpg', a, a + 255)
    
36.         if b != -1:  # 若查找不到则会返回  -1    这里只考虑了 jpg格式
    
37.             img_addrs.append(html[a + 9:b + 4])  # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
38.         a= html.find('img src=',b)  # 以上次b结束开始查
    
39.         b = html.find('.jpg', a, a + 255)
    
40.         return img_addrs
    
41. 
    
42. 
    
43. def save_imgs(img_addrs):
    
44.    for each in img_addrs:
    
45.        filename=each.split('/')[-1]
    
46.        with open(filename,'wb') as f:
    
47.            img = url_open(urljoin(url,each))
    
48.            f.write(img)
    
49. 
    
50. def download_mm(folder='4k',pages=20):  #文件名  爬取页数
    
51.    
    
52.     # 这里加个条件判断
    
53.     if not os.path.exists(folder):
    
54.         os.mkdir(folder) #新建文件夹
    
55.         
    
56.     os.chdir(folder) #更改工作目录  便于保存地址
    
57. 
    
58.     print(url)
    
59.     # 这里大改了
    
60.     index = get_index(pages)
    
61.     for page_url in index:
    
62.         img_addrs = find_imgs(urljoin(url,page_url))    #当前页面的所有图片地址
    
63.         # 这里多给了个参数
    
64.         save_imgs(img_addrs)    #保存
    
65. 
    
66. # 给你加了个函数
    
67. def get_index(max_page):
    
68.     for i in range(int(max_page),0,-1):
    
69.         if i == 1:
    
70.             flag = ""
    
71.         else:
    
72.             flag = f"_{i}"
    
73.         yield f"index{flag}.html"
    
74.         
    
75. download_mm()
    

复制代码

这要是没个最佳可不像话了。
顺便提一句你爬这么多预览图有什么意思啊，得爬原图啊。

跳转到最佳答案楼层

nahongyan1997

我改了至少5处bug，还添加了一个函数，大改了一段代码，现在可以用了：

1. import urllib.request
   
2. # 导入一个新函数
   
3. 
   
4. from urllib.parse import urljoin
   
5. import os
   
6. 
   
7. # url放在外边让它是全局变量
   
8. url = 'https://pic.netbian.com/4kdongman/'  #获取总的 目标网页
   
9. 
   
10. img_addrs = []
    
11. def url_open(url):
    
12.     req = urllib.request.Request(url)  # 请求网页 并 添加头部信息
    
13.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0')
    
14.     response = urllib.request.urlopen(url)  # 伪装并打开网页
    
15.     html = response.read()
    
16.    
    
17.     # 这里要返回的
    
18.     return html
    
19. 
    
20. def find_imgs(url):
    
21.     print(url)
    
22.     # 网页不完整导致的解码错误，加个参数就好了
    
23.     html = url_open(url).decode('utf-8', errors="ignore")  # 得到2进制解码为字符串  存入列表进行查找图片的相关位置
    
24. 
    
25.     '''
    
26.     a= html.find('img src=')
    
27.     b=html.find('.jpg',a,a+255) #后面参数为 限定查找范围   find  若有多个，只会返回第一个
    
28.      # 如果一页里面只有一张图  那么以下两行就够了
    
29.     if b!=-1:   #若查找不到则会返回  -1
    
30.         img_addrs.append(html[a+9:b+4])   # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
31.     '''
    
32.     # 多图查找
    
33.     a= html.find('img src=')
    
34.     while a !=-1:
    
35.         b = html.find('.jpg', a, a + 255)
    
36.         if b != -1:  # 若查找不到则会返回  -1    这里只考虑了 jpg格式
    
37.             img_addrs.append(html[a + 9:b + 4])  # a从i起后移9位是/  <img src="/uploads/allimg/210317/001935-16159115757f04.jpg" alt="猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸">
    
38.         a= html.find('img src=',b)  # 以上次b结束开始查
    
39.         b = html.find('.jpg', a, a + 255)
    
40.         return img_addrs
    
41. 
    
42. 
    
43. def save_imgs(img_addrs):
    
44.    for each in img_addrs:
    
45.        filename=each.split('/')[-1]
    
46.        with open(filename,'wb') as f:
    
47.            img = url_open(urljoin(url,each))
    
48.            f.write(img)
    
49. 
    
50. def download_mm(folder='4k',pages=20):  #文件名  爬取页数
    
51.    
    
52.     # 这里加个条件判断
    
53.     if not os.path.exists(folder):
    
54.         os.mkdir(folder) #新建文件夹
    
55.         
    
56.     os.chdir(folder) #更改工作目录  便于保存地址
    
57. 
    
58.     print(url)
    
59.     # 这里大改了
    
60.     index = get_index(pages)
    
61.     for page_url in index:
    
62.         img_addrs = find_imgs(urljoin(url,page_url))    #当前页面的所有图片地址
    
63.         # 这里多给了个参数
    
64.         save_imgs(img_addrs)    #保存
    
65. 
    
66. # 给你加了个函数
    
67. def get_index(max_page):
    
68.     for i in range(int(max_page),0,-1):
    
69.         if i == 1:
    
70.             flag = ""
    
71.         else:
    
72.             flag = f"_{i}"
    
73.         yield f"index{flag}.html"
    
74.         
    
75. download_mm()
    

复制代码

这要是没个最佳可不像话了。
顺便提一句你爬这么多预览图有什么意思啊，得爬原图啊。

nahongyan1997

我发现每页只爬取了一个图片，所以还是一个失败的爬虫。

推荐使用re 模块的 findall 函数，我自己的爬虫就是这么编辑的，24小时运行。

宣传一下我的网站 ： puddingcat.top:9999 python爬虫 + pyqt5 + mysql + html5 + css3 + js + flask 制作的。

想学习可以加我的 qq547840062 或者 qq群181285090（群里到现在一共六个人还都是划水的）

我爱l两条柴

这么多处的嘛，我是才跟这他的下载妹子图教程敲的，但是他的演示网页过时了，自己随便找了个差不多的在敲，。感谢感谢