Python爬虫煎蛋网，无法获取妹子图。测试最后获取的是每页的站址。

W鱼蛋W

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36')
   
7.     response=urllib.request.urlopen(url)
   
8.     html=response.read()
   
9.    
   
10.     return html
    
11. 
    
12. def get_page(url):
    
13.     html=url_open(url).decode('utf-8')
    
14.     a=html.find('current-comment-page')+23
    
15.     b=html.find(']',a)
    
16.    
    
17.     return html[a:b]
    
18.    
    
19. def find_imgs(url):
    
20.     html=url_open(url).decode('utf-8')
    
21.     img_addrs=[]
    
22.     a=html.find('img src=')
    
23.     while a!=-1:
    
24.         b=html.find('.jpg',a,a+255)
    
25.         if b!=-1:
    
26.             img_addrs.append(html[a+9:b+4])
    
27.         else:
    
28.             b=a+9
    
29.         a=html.find('img src=',b)
    
30.     return img_addrs
    
31.    
    
32.   
    
33. 
    
34. def save_imgs(folder,img_addrs):
    
35.     for each in img_addrs:
    
36.         filename=each.split('/')[-1]
    
37.         with open(filename,'wb') as f:
    
38.             img=url_open(each)
    
39.             f.write(img)
    
40. 
    
41. def load_mm(folder='ooxx',pages=4):
    
42.     os.mkdir(folder)
    
43.     os.chdir(folder)
    
44. 
    
45.     url='http://jandan.net/ooxx'  
    
46.     page_num=int(get_page(url))
    
47.     for i in range(pages):
    
48.         page_num-=i
    
49.         page_url=url+'/page-'+str(page_num)+'#comments'
    
50. 
    
51.         img_addrs=find_imgs(page_url)
    
52. 
    
53.         save_imgs(folder,img_addrs)
    
54. 
    
55. 
    
56. if __name__=='__main__':
    
57.     load_mm()
    
58.    

复制代码

wongyusing

煎蛋网，反爬了，小甲鱼的代码不能用了

W鱼蛋W

wongyusing 发表于 2018-11-27 14:53
煎蛋网，反爬了，小甲鱼的代码不能用了

感谢。

fan1993423

W鱼蛋W 发表于 2018-11-27 15:29
感谢。

你想爬什么内容，我给你上代码吧

W鱼蛋W

fan1993423 发表于 2018-11-27 18:53
你想爬什么内容，我给你上代码吧

我做这节课的练习，想爬取煎蛋网前两页的妹子图。不知道该如何优化小甲鱼的代码，才能继续爬取。非常感谢。

fan1993423

W鱼蛋W 发表于 2018-11-29 15:08
我做这节课的练习，想爬取煎蛋网前两页的妹子图。不知道该如何优化小甲鱼的代码，才能继续爬取。非常感谢 ...

首先小甲鱼的代码已经过时了，而你用的是最先 b=html.find('.jpg',a,a+255)，这种找页码的方式，已经不通用了，另外这个网站已经没有mm图了，你确定还要爬吗？

W鱼蛋W

fan1993423 发表于 2018-11-29 17:00
首先小甲鱼的代码已经过时了，而你用的是最先 b=html.find('.jpg',a,a+255)，这种找页码的方式，已经不通 ...

你好，我现在学到后面的正则表达式了，这是爬取贴吧的图片代码，可是运行代码一直没有响应，不明白哪里出了问题，有时间的话，可以帮我看一下吗？
还有一个问题想请教一下，我现在是自学python，如果小甲鱼的代码过时了，还有推荐其他视频学习python吗？感谢！

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134')
   
7.     page=urllib.request.urlopen(req)
   
8.     html=page.read().decode('utf-8')
   
9. 
   
10.     return html
    
11. 
    
12. def get_img(html):
    
13.     p=r'<img width="[^"]+" height="[^"]+" class="BDE_Image" style="cursor: url(http://tb2.bdstatic.com/tb/static-pb/img/cur_zin.cur), pointer;" src="([^"]+\.jpg)"'
    
14.     imglist=re.findall(p,html)
    
15. 
    
16.     for each in imglist:
    
17.         print(each)
    
18. 
    
19.    
    
20. 
    
21. if __name__=='__main__':
    
22.     url='http://tieba.baidu.com/p/5960053459?da_from=ZGFfbGluZT1EVCZkYV9wYWdlPTEmZGFfbG9jYXRlPXAwMDY0JmRhX2xvY19wYXJhbT0xJmRhX3Rhc2s9dGJkYSZkYV9vYmpfaWQ9MjY5MzEmZGFfb2JqX2dvb2RfaWQ9NDcwNzAmZGFfdGltZT0xNTQzNDkxNjAy&da_sign=13f34f961bf46fae7bfc5bed2c99224c&tieba_from=tieba_da'
    
23.     get_img(open_url(url))

复制代码

W鱼蛋W

fan1993423 发表于 2018-11-29 17:00
首先小甲鱼的代码已经过时了，而你用的是最先 b=html.find('.jpg',a,a+255)，这种找页码的方式，已经不通 ...

这是我要爬取的网页关于图片信息的源代码

1. <img width="560" height="611" class="BDE_Image" style="cursor: url(http://tb2.bdstatic.com/tb/static-pb/img/cur_zin.cur), pointer;" src="http://imgsrc.baidu.com/forum/w%3D580/sign=466d1ee054ee3d6d22c687c373176d41/d03d264e251f95cac6989ff1c4177f3e6709523a.jpg" pic_type="0">

复制代码

塔利班

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134')
   
7.     page=urllib.request.urlopen(req)
   
8.     html=page.read().decode('utf-8')
   
9. 
   
10.     return html
    
11. 
    
12. def get_img(html):
    
13.     p=r'src="([^"]+.jpg)"'
    
14.     imglist=re.findall(p,html)
    
15. 
    
16.     for each in imglist:
    
17.         print(each)
    
18. 
    
19.    
    
20. 
    
21. if __name__=='__main__':
    
22.     url='http://tieba.baidu.com/p/5960053459?da_from=ZGFfbGluZT1EVCZkYV9wYWdlPTEmZGFfbG9jYXRlPXAwMDY0JmRhX2xvY19wYXJhbT0xJmRhX3Rhc2s9dGJkYSZkYV9vYmpfaWQ9MjY5MzEmZGFfb2JqX2dvb2RfaWQ9NDcwNzAmZGFfdGltZT0xNTQzNDkxNjAy&da_sign=13f34f961bf46fae7bfc5bed2c99224c&tieba_from=tieba_da'
    
23.     get_img(open_url(url))

复制代码

fan1993423

W鱼蛋W 发表于 2018-11-29 20:16
你好，我现在学到后面的正则表达式了，这是爬取贴吧的图片代码，可是运行代码一直没有响应，不明白哪里出 ...

你就只是想爬取贴吧的图片嘛，文字其他的不要是吧

W鱼蛋W

fan1993423 发表于 2018-11-29 20:30
你就只是想爬取贴吧的图片嘛，文字其他的不要是吧

是的

W鱼蛋W

塔利班 发表于 2018-11-29 20:28

感谢

headache

1. import urllib.request
   
2. import os
   
3. import base64
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36")
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read()
    
11.     return html
    
12.    
    
13. def get_page(url):
    
14.     html = url_open(url).decode()
    
15.     soup = BeautifulSoup(html, 'lxml')
    
16.     page = soup.find("span", class_='current-comment-page').string
    
17.     return page[1:-1]
    
18. 
    
19. def base64_decode1(s):
    
20.     s = s.encode()
    
21.     missing_padding = len(s) % 4
    
22.     if missing_padding != 0:
    
23.         s += b'=' * (4 - missing_padding)
    
24.     return base64.decodestring(s)
    
25. 
    
26. def find_imgs(url):
    
27.     html = url_open(url).decode()
    
28.     img_addrs = []
    
29.     soup = BeautifulSoup(html, 'lxml')
    
30.     img_hashs = soup.find_all(class_="img-hash")
    
31.     for each in img_hashs:
    
32.         img_addrs.append(base64_decode1(each.string).decode())
    
33.     return img_addrs
    
34. 
    
35. def save_imgs(folder, img_addrs):
    
36.     for each in img_addrs:
    
37.         filename = each.split("/")[-1]
    
38.         with open(filename, "wb") as f:
    
39.             img = url_open('http:'+each)
    
40.             f.write(img)
    
41. 
    
42. def download_mm(folder='pic', pages=10):
    
43.     os.mkdir(folder)
    
44.     os.chdir(folder)
    
45. 
    
46.     url = "http://jandan.net/ooxx/"
    
47.     page_num = int(get_page(url))
    
48. 
    
49.     for i in range(pages):
    
50.         page_url = url + "page-" +str(page_num-i) +"#comments"
    
51.         img_addrs = find_imgs(page_url)
    
52.         save_imgs(folder, img_addrs)
    
53. 
    
54. if __name__ == "__main__":
    
55.     download_mm()
    

复制代码

在小甲鱼的基础上修改了一下，刚刚写完，亲测可用

思想不惧子弹

headache 发表于 2018-12-13 00:42
在小甲鱼的基础上修改了一下，刚刚写完，亲测可用

兄弟我是刚刚学习这一章知识的新手，为什么提示我
Traceback (most recent call last):
  File "E:\python学习\摸索.py", line 56, in <module>
    download_mm()
  File "E:\python学习\摸索.py", line 44, in download_mm
    os.mkdir(folder)
FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: 'pic'

？？

我知道为啥了，原来是已经有pic文件夹导致的，谢谢啊

思想不惧子弹

headache 发表于 2018-12-13 00:42
在小甲鱼的基础上修改了一下，刚刚写完，亲测可用

兄弟请问一下有没有比较好的这种算法解析的地方
def base64_decode1(s):
    s = s.encode()
    missing_padding = len(s) % 4
    if missing_padding != 0:
        s += b'=' * (4 - missing_padding)
    return base64.decodestring(s)
这样子的很难看懂啊，上网也很难搜到

headache

思想不惧子弹 发表于 2019-1-11 15:17
兄弟请问一下有没有比较好的这种算法解析的地方
def base64_decode1(s):
    s = s.encode()

和这里最后那道习题中的代码一样 https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001399413803339f4bbda5c01fc479cbea98b1387390748000

曲水竹莲

我运行后什么都无法获取，在第24行后面，打印出b的值发现一直为-1，不知道为什么。

思想不惧子弹

自删

思想不惧子弹

headache 发表于 2018-12-13 00:42
在小甲鱼的基础上修改了一下，刚刚写完，亲测可用

对了兄弟请问下，你是怎么看出这是用Base64就能解码的？

headache

思想不惧子弹 发表于 2019-1-14 09:12
对了兄弟请问下，你是怎么看出这是用Base64就能解码的？

这个图片的地址是修改过的。那么查看网页源代码

1. <div class="text"><span class="righttext"><a href="//jandan.net/ooxx/page-42#comment-4106156">4106156</a></span><p><img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)" /><span class="img-hash">Ly93dzMuc2luYWltZy5jbi9tdzYwMC8wMDczb2I2UGd5MWZ6OGk0aWxrdGlqMzB1MDExaDRxcC5qcGc=</span></p>

复制代码

可以看到图片标签的属性有一个函数onload=“jandan_load_img(this)”，网页加载完之后会触发这个函数。通过chrome开发者工具在Console获取这个函数的代码

1. function jandan_load_img(b) {
   
2.     var d = $(b);
   
3.     var f = d.next("span.img-hash");
   
4.     var e = f.text();
   
5.     f.remove();
   
6.     var c = jd30wjxzIcvDAKIlrdElNXVJnX2H4ZE0HI(e, "tcfn8yBGKYF3L0m8UG9hvd8bCAMtPCvi");
   
7.     var a = $('<a href="' + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+\.(gif|jpg|jpeg))/, "$1large$3") + '" target="_blank" class="view_img_link">[查看原图]</a>');
   
8.     d.before(a);
   
9.     d.before("<br>");
   
10.     d.removeAttr("onload");
    
11.     d.attr("src", location.protocol + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+\.gif)/, "$1thumb180$3"));
    
12.     if (/\.gif$/.test(c)) {
    
13.         d.attr("org_src", location.protocol + c);
    
14.         b.onload = function() {
    
15.             add_img_loading_mask(this, load_sina_gif)
    
16.         }
    
17.     }

复制代码

注意到：
第4行 var e = "Ly93dzMuc2luYWltZy5jbi9tdzYwMC8wMDczb2I2UGd5MWZ6OGk0aWxrdGlqMzB1MDExaDRxcC5qcGc="
第6行jd30wjxzIcvDAKIlrdElNXVJnX2H4ZE0HI也是个函数，同样通过chrome开发者工具获取代码：

1. var jd30wjxzIcvDAKIlrdElNXVJnX2H4ZE0HI = function(n, t, e) {
   
2.     var f = "DECODE";
   
3.     var t = t ? t: "";
   
4.     var e = e ? e: 0;
   
5.     var r = 4;
   
6.     t = md5(t);
   
7.     var d = n;
   
8.     var p = md5(t.substr(0, 16));
   
9.     var o = md5(t.substr(16, 16));
   
10.     if (r) {
    
11.         if (f == "DECODE") {
    
12.             var m = n.substr(0, r)
    
13.         }
    
14.     } else {
    
15.         var m = ""
    
16.     }
    
17.     var c = p + md5(p + m);
    
18.     var l;
    
19.     if (f == "DECODE") {
    
20.         n = n.substr(r);
    
21.         l = base64_decode(n)
    
22.     }
    
23.     var k = new Array(256);
    
24.     for (var h = 0; h < 256; h++) {
    
25.         k[h] = h
    
26.     }
    
27.     var b = new Array();
    
28.     for (var h = 0; h < 256; h++) {
    
29.         b[h] = c.charCodeAt(h % c.length)
    
30.     }
    
31.     for (var g = h = 0; h < 256; h++) {
    
32.         g = (g + k[h] + b[h]) % 256;
    
33.         tmp = k[h];
    
34.         k[h] = k[g];
    
35.         k[g] = tmp
    
36.     }
    
37.     var u = "";
    
38.     l = l.split("");
    
39.     for (var q = g = h = 0; h < l.length; h++) {
    
40.         q = (q + 1) % 256;
    
41.         g = (g + k[q]) % 256;
    
42.         tmp = k[q];
    
43.         k[q] = k[g];
    
44.         k[g] = tmp;
    
45.         u += chr(ord(l[h]) ^ (k[(k[q] + k[g]) % 256]))
    
46.     }
    
47.     if (f == "DECODE") {
    
48.         if ((u.substr(0, 10) == 0 || u.substr(0, 10) - time() > 0) && u.substr(10, 16) == md5(u.substr(26) + o).substr(0, 16)) {
    
49.             u = u.substr(26)
    
50.         } else {
    
51.             u = ""
    
52.         }
    
53.         u = base64_decode(d)
    
54.     }
    
55.     return u
    
56. }

复制代码

传入的参数分别是：n="Ly93dzMuc2luYWltZy5jbi9tdzYwMC8wMDczb2I2UGd5MWZ6OGk0aWxrdGlqMzB1MDExaDRxcC5qcGc="
                             t="tcfn8yBGKYF3L0m8UG9hvd8bCAMtPCvi"
可以看到这个函数最后返回的是一个base64_decode(d)，而d=n，所以返回的就是base64_decode(n)
base64_decode就是这帖子前面所说的那个函数，所以...