[已解决]在小甲鱼Python视频中的56论一只爬虫的修养中，我运行后只能下载十几张图片，然后....

蜡笔星子

然后就报出这个错误：OSError: [Errno 22] Invalid argument: 'script><!-- niuza -->\r\n\t\t\t\t<script>\r\nvar str=new Array("1.jpg'
不知这是什么错误，望知道的鱼友给我剖析剖析:loveliness:代码如下：

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
   
7.     #req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
   
8.     response = urllib.request.urlopen(req)
   
9.     html = response.read()  #这里不加decode('utf-8')是因为下面要保存图片，而图片是以二进制的形式保存的。
   
10.     return html
    
11. 
    
12. def get_page(url):
    
13.     html = url_open(url).decode('utf-8')
    
14.     a = html.find('current-comment-page') + 23
    
15.     b = html.find(']',a)
    
16.     return html[a:b]
    
17. 
    
18. def find_imgs(url):
    
19.     html = url_open(url).decode('utf-8')
    
20.     img_addrs = []
    
21.     a = html.find('img src=')
    
22.     while a != -1:
    
23.         b = html.find('.jpg',a,a + 255)
    
24.         if b != -1:
    
25.             img_addrs.append(html[a + 9:b + 4])
    
26.         else:
    
27.             b= a + 9
    
28.         a = html.find('img src=',b)
    
29.     return img_addrs
    
30. 
    
31. def save_imgs(folder,img_addrs):
    
32.     for each in img_addrs:
    
33.         filename = each.split('/')[-1]
    
34.         with open(filename,'wb') as f:
    
35.             img = url_open(each)
    
36.             f.write(img)
    
37. 
    
38. def download_mm(folder='OOXX',pages=5):
    
39.     os.mkdir(folder)
    
40.     os.chdir(folder)
    
41. 
    
42.     url = "http://jandan.net/ooxx/"
    
43.     page_num = int(get_page(url))
    
44. 
    
45.     for i in range(pages):
    
46.         page_num -= i
    
47.         page_url = url + 'page-' + str(page_num) + '#comments'
    
48.         img_addrs = find_imgs(page_url)
    
49.         save_imgs(folder,img_addrs)
    
50. 
    
51. if __name__ == '__main__':
    
52.     download_mm()

复制代码

最佳答案

月排行榜 / 总排行榜

kebikobe

2016-1-5 15:23:33

已解决。原因是获取图片地址时，用了a = html.find('img src=')此查找条件，将'script><!-- niuza -->\r\n\t\t\t\t<script>\r\nvar str=new Array("1.jpg'这个图片地址也查找了出来，然而这个并不是图片地址，故而文件存储出错。所以建议a = html.find('img src="http://ww')，缩小一下查找范围。可破。

跳转到最佳答案楼层

hldh214

数一数你爬下来的图片就发现, 你只爬了一页的图片, 脚本就出错了.
再看一看错误提示是在写图片的时候传入的参数有误, 于是在写图片前面加上调试print语句打印每次写入的文件名, 发现: 换页之后的文件名是这样的

script><!-- niuza -->

                                <script>

var str=new Array("1.jpg

推测是换页get_page函数写的不对~

另, 在设置保存图片的路径的时候推荐这样写, 防止重复创建文件夹报错

1.     if not os.path.exists(folder):
   
2.         os.mkdir(folder)
   
3.     os.chdir(folder)

复制代码

kebikobe

我也是一模一样的错误啊，不会是煎蛋网搞的吧。。。

kebikobe

已解决。原因是获取图片地址时，用了a = html.find('img src=')此查找条件，将'script><!-- niuza -->\r\n\t\t\t\t<script>\r\nvar str=new Array("1.jpg'这个图片地址也查找了出来，然而这个并不是图片地址，故而文件存储出错。所以建议a = html.find('img src="http://ww')，缩小一下查找范围。可破。

EvanX

kebikobe 发表于 2016-1-5 15:23
已解决。原因是获取图片地址时，用了a = html.find('img src=')此查找条件，将'script>\r\n\t\t\t\t\r\nvar ...

正确！！！太感谢了。你的方法是OK的。

艳子艳子艳子

kebikobe 发表于 2016-1-5 15:23
已解决。原因是获取图片地址时，用了a = html.find('img src=')此查找条件，将'script>\r\n\t\t\t\t\r\nvar ...

也遇到了同样的问题，感觉你说的是对的呢，但是将a = html.find('img src=')改成了a = html.find('img src="http://ww')后发现效果一样，还是现实会检索到'script><!-- niuza -->\r\n\t\t\t\t<script>\r\nvar str=new Array("1.jpg'这一段，怀疑是http前面的“的问题，请问有没有小伙伴遇到呢？

爽蜀黍

还是用正则好些。。。

悲伤诉说微笑

艳子艳子艳子 发表于 2016-9-3 22:58
也遇到了同样的问题，感觉你说的是对的呢，但是将a = html.find('img src=')改成了a = html.find('img sr ...

我也是这样的问题，按楼上的改了之后还是不行

louis677

你把b的搜索长度改小一点就会好的，b=html.find('.jpg"',a,a+128)

皎皎白驹丶

louis677 发表于 2017-3-15 12:34
你把b的搜索长度改小一点就会好的，b=html.find('.jpg"',a,a+128)

完美解决问题 谢谢啦

haozgt123

现在已经爬取不下来了,虽然可以生成OOXX文件夹,但里面没有任何图片.