[已解决]小甲鱼56节课的爬虫找妹子问题

ldd211

下面是源代码（照着视频写的）没有报错，但是没有文件夹里没有图片：
import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586')
    response = urllib.request.urlopen(req)
    html = response.read()
    #print(url)
    return html


   
def get_page(url):
    html = url_open(url).decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']',a)

    return html[a:b]


def find_imgs(url):

    html = url_open(url).decode('utf-8')
    img_addrs = []   
    a = html.find('img src=')

    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
            print(html)
        else:
            b = a+9
        a = html.find('img src=',b)   

    return img_addrs
        
def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder='OOXX',pages=10):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) +'#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)


if __name__ == '__main__':
    download_mm()

最佳答案

月排行榜 / 总排行榜

ba21

2017-11-20 18:53:20

ldd211 发表于 2017-11-20 18:26
用我的def url_open(url): 函数替换后也没问题了，但是和我之前的那个一样，shell里没问题，但是文件夹里 ...

这是修改后的代码，没问题，能抓，不过抓取的都是 blank.gif , 哪是因为图片地址加密了，这解密估计得不二如是来搞。天天给你们练人家网站也该防了。

分析得到图片URL加密 JS

1. function jandan_load_img(b) {
   
2.     var d = $(b);
   
3.     var f = d.next("span.img-hash");
   
4.     var e = f.text();
   
5.     f.remove();
   
6.     var c = hobV53gLNvIwJWUCcJeT5kQ9ple34RQm(e, "DECODE", "65gTh87r3sWTkuezNPXcCBjUpQvbTbU0");
   
7.     var a = $('<a href="' + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+
   
8. 
   
9. \.gif)/, "$1large$3") + '" target="_blank" class="view_img_link">[查看原图]
   
10. 
    
11. </a>');
    
12.     d.before(a);
    
13.     d.before("<br>");
    
14.     d.removeAttr("onload");
    
15.     d.attr("src", location.protocol + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w
    
16. 
    
17. +)(\/.+\.gif)/, "$1thumb180$3"));
    
18.     if (/\.gif$/.test(c)) {
    
19.         d.attr("org_src", location.protocol + c);
    
20.         b.onload = function() {
    
21.             add_img_loading_mask(this, load_sina_gif)
    
22.         }
    
23.     }
    
24. }
    

复制代码

.py源码

1. import urllib.request
   
2. import sys
   
3. import os
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586')
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. def get_page(url):  # 获取图片页码
    
14.     html = url_open(url).decode('UTF-8')  # 解码，之后查找图片页码做准备
    
15.     a = html.find('current-comment-page') + 23  # 返回页码数的首位置
    
16.     b = html.find(']', a)  # 返回页码数的末位置
    
17.     return html[a:b]  # 拼接返回页码
    
18. 
    
19. 
    
20. def find_imgs(url):  # 在当前URL查找图片
    
21.     html = url_open(url).decode('UTF-8')
    
22.     img_addrs = []
    
23. 
    
24.     a = html.find('img src=')  # 图片真实地址
    
25.    
    
26.     while a != -1:
    
27.         b = html.find('.gif', a, a + 200)
    
28.         if b != -1:
    
29.             img_addrs.append(html[a + 9:b + 4])
    
30.         else:
    
31.             b = a + 9
    
32. 
    
33.         a = html.find('img src=', b)
    
34.     print(img_addrs)
    
35.     return img_addrs
    
36. 
    
37. 
    
38. def save_imgs(img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split('/')[-1]
    
41.         with open(filename, 'wb') as f:
    
42.             img = url_open("http:"+each)
    
43.             f.write(img)
    
44. 
    
45. 
    
46. def download(folder='Girls', pages=20):
    
47.     os.mkdir(folder)  # 创建文件夹
    
48.     os.chdir(folder)  # 切换到文件夹目录
    
49. 
    
50.     url = 'http://jandan.net/ooxx'
    
51.     page_num = int(get_page(url))  # 获取当前该图片页码
    
52. 
    
53.     for i in range(pages):  # 依次下载指定页数的图片
    
54.         page_num -= 1
    
55.         page_url = url + '/page-' + str(page_num) + '#comments'  # 图片的URL
    
56.         # print(page_url)
    
57.         img_addrs = find_imgs(page_url)
    
58.         save_imgs(img_addrs)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     download()
    
63.     #url_open("http://jandan.net/ooxx")
    

复制代码

跳转到最佳答案楼层

张云啊张云

ba21

请仔细对比下代码：

1. import urllib.request
   
2. import sys
   
3. import os
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     #print(url)
    
12.     return html
    
13. 
    
14. 
    
15. def get_page(url):  # 获取图片页码
    
16.     html = url_open(url).decode('utf-8')  # 解码，之后查找图片页码做准备
    
17.     a = html.find('current-comment-page') + 23  # 返回页码数的首位置
    
18.     b = html.find(']', a)  # 返回页码数的末位置
    
19.     # print(html[a:b])
    
20.     return html[a:b]  # 拼接返回页码
    
21. 
    
22. 
    
23. def find_imgs(url):  # 在当前URL查找图片
    
24.     html = url_open(url).decode('utf-8')
    
25.     img_addrs = []
    
26. 
    
27.     a = html.find('img src=')  # 图片真实地址
    
28. 
    
29.     while a != -1:
    
30.         b = html.find('.jpg', a, a + 200)
    
31.         if b != -1:
    
32.             img_addrs.append(html[a + 9:b + 4])
    
33.         else:
    
34.             b = a + 9
    
35. 
    
36.         a = html.find('img src=', b)
    
37.     return img_addrs
    
38. 
    
39. 
    
40. def save_imgs(img_addrs):
    
41.     for each in img_addrs:
    
42.         filename = each.split('/')[-1]
    
43.         with open(filename, 'wb') as f:
    
44.             img = url_open("http:"+each)
    
45.             f.write(img)
    
46. 
    
47. 
    
48. def download(folder='Girls', pages=20):
    
49.     os.mkdir(folder)  # 创建文件夹
    
50.     os.chdir(folder)  # 切换到文件夹目录
    
51. 
    
52.     url = 'http://jandan.net/ooxx'
    
53.     page_num = int(get_page(url))  # 获取当前该图片页码
    
54. 
    
55.     for i in range(pages):  # 依次下载指定页数的图片
    
56.         page_num -= 1
    
57.         page_url = url + '/page-' + str(page_num) + '#comments'  # 图片的URL
    
58.         # print(page_url)
    
59.         img_addrs = find_imgs(page_url)
    
60.         save_imgs(img_addrs)
    
61. 
    
62. 
    
63. if __name__ == '__main__':
    
64.     download()
    

复制代码

ldd211

ba21 发表于 2017-11-20 17:17
请仔细对比下代码：

我运行了一下你程序
为什么会有下面的错误求解
RESTART: C:/Users/lenovo/AppData/Local/Programs/Python/Python36/text/asd.py
Traceback (most recent call last):
  File "C:/Users/lenovo/AppData/Local/Programs/Python/Python36/text/asd.py", line 65, in <module>
    download()
  File "C:/Users/lenovo/AppData/Local/Programs/Python/Python36/text/asd.py", line 54, in download
    page_num = int(get_page(url))  # 获取当前该图片页码
  File "C:/Users/lenovo/AppData/Local/Programs/Python/Python36/text/asd.py", line 17, in get_page
    html = url_open(url).decode('utf-8')  # 解码，之后查找图片页码做准备
  File "C:/Users/lenovo/AppData/Local/Programs/Python/Python36/text/asd.py", line 10, in url_open
    resp = urllib.request.urlopen(url)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

ba21

ldd211 发表于 2017-11-20 17:30
我运行了一下你程序
为什么会有下面的错误求解
RESTART: C:/Users/lenovo/AppData/Local/Programs/Pyt ...

你的代码问题出在
  response = urllib.request.urlopen(req) 是url  不是req

我的代码问题可能是网站封了 py这个类抓

ldd211

ba21 发表于 2017-11-20 18:18
用你的 def url_open(url): 函数替换一下。可能不小必改到了这个函数。

用我的def url_open(url): 函数替换后也没问题了，但是和我之前的那个一样，shell里没问题，但是文件夹里没有图片

ba21

ldd211 发表于 2017-11-20 18:26
用我的def url_open(url): 函数替换后也没问题了，但是和我之前的那个一样，shell里没问题，但是文件夹里 ...

这是修改后的代码，没问题，能抓，不过抓取的都是 blank.gif , 哪是因为图片地址加密了，这解密估计得不二如是来搞。天天给你们练人家网站也该防了。

分析得到图片URL加密 JS

1. function jandan_load_img(b) {
   
2.     var d = $(b);
   
3.     var f = d.next("span.img-hash");
   
4.     var e = f.text();
   
5.     f.remove();
   
6.     var c = hobV53gLNvIwJWUCcJeT5kQ9ple34RQm(e, "DECODE", "65gTh87r3sWTkuezNPXcCBjUpQvbTbU0");
   
7.     var a = $('<a href="' + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+
   
8. 
   
9. \.gif)/, "$1large$3") + '" target="_blank" class="view_img_link">[查看原图]
   
10. 
    
11. </a>');
    
12.     d.before(a);
    
13.     d.before("<br>");
    
14.     d.removeAttr("onload");
    
15.     d.attr("src", location.protocol + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w
    
16. 
    
17. +)(\/.+\.gif)/, "$1thumb180$3"));
    
18.     if (/\.gif$/.test(c)) {
    
19.         d.attr("org_src", location.protocol + c);
    
20.         b.onload = function() {
    
21.             add_img_loading_mask(this, load_sina_gif)
    
22.         }
    
23.     }
    
24. }
    

复制代码

.py源码

1. import urllib.request
   
2. import sys
   
3. import os
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586')
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. def get_page(url):  # 获取图片页码
    
14.     html = url_open(url).decode('UTF-8')  # 解码，之后查找图片页码做准备
    
15.     a = html.find('current-comment-page') + 23  # 返回页码数的首位置
    
16.     b = html.find(']', a)  # 返回页码数的末位置
    
17.     return html[a:b]  # 拼接返回页码
    
18. 
    
19. 
    
20. def find_imgs(url):  # 在当前URL查找图片
    
21.     html = url_open(url).decode('UTF-8')
    
22.     img_addrs = []
    
23. 
    
24.     a = html.find('img src=')  # 图片真实地址
    
25.    
    
26.     while a != -1:
    
27.         b = html.find('.gif', a, a + 200)
    
28.         if b != -1:
    
29.             img_addrs.append(html[a + 9:b + 4])
    
30.         else:
    
31.             b = a + 9
    
32. 
    
33.         a = html.find('img src=', b)
    
34.     print(img_addrs)
    
35.     return img_addrs
    
36. 
    
37. 
    
38. def save_imgs(img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split('/')[-1]
    
41.         with open(filename, 'wb') as f:
    
42.             img = url_open("http:"+each)
    
43.             f.write(img)
    
44. 
    
45. 
    
46. def download(folder='Girls', pages=20):
    
47.     os.mkdir(folder)  # 创建文件夹
    
48.     os.chdir(folder)  # 切换到文件夹目录
    
49. 
    
50.     url = 'http://jandan.net/ooxx'
    
51.     page_num = int(get_page(url))  # 获取当前该图片页码
    
52. 
    
53.     for i in range(pages):  # 依次下载指定页数的图片
    
54.         page_num -= 1
    
55.         page_url = url + '/page-' + str(page_num) + '#comments'  # 图片的URL
    
56.         # print(page_url)
    
57.         img_addrs = find_imgs(page_url)
    
58.         save_imgs(img_addrs)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     download()
    
63.     #url_open("http://jandan.net/ooxx")
    

复制代码

ldd211

ba21 发表于 2017-11-20 18:53
这是修改后的代码，没问题，能抓，不过抓取的都是 blank.gif , 哪是因为图片地址加密了，这解密估计得不 ...

谢谢大佬，给你敬茶