煎蛋爬虫，终于搞定了，没有了 403 forbidden，基本上就是基于 小甲鱼老师 的代码

Daniel_Zhang

1. import urllib.request as u_request
   
2. import os, re, base64, requests
   
3. 
   
4. header ={}
   
5. header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
6. 
   
7. def url_open(url):
   
8. 
   
9.     html = requests.get(url, headers=header).text
   
10.     return html
    
11. 
    
12. def find_images(url):
    
13.     html = url_open(url)
    
14. 
    
15.     m = r'<img src="([^"]+\.jpg)"'
    
16.     match = re.findall(m, html)
    
17. 
    
18.     for each in range(len(match)):
    
19.         match[each] = 'http:' + match[each]
    
20.         print(match[each])
    
21. 
    
22.     return match
    
23. 
    
24. def save_images(folder, img_addrs):
    
25.     for each in img_addrs:
    
26.         try:
    
27.             req = u_request.Request(each, headers = header)
    
28.             response = u_request.urlopen(req)
    
29.             cat_image = response.read()
    
30.             filename = each.split('/')[-1]
    
31.             with open(filename,'wb') as f:
    
32.                 f.write(cat_image)
    
33.             #print(each)
    
34.         except OSError as error:
    
35.             print(error)
    
36.             continue
    
37.         except ValueError as error:
    
38.             print(error)
    
39.             continue
    
40. 
    
41. def web_link_encode(url, folder):
    
42.     for i in range(180,200):
    
43.         string_date = '20201216-'
    
44.         string_date += str(i)
    
45.         string_date = string_date.encode('utf-8')
    
46.         str_base64 = base64.b64encode(string_date)
    
47.         page_url = url + str_base64.decode() + '=#comments'
    
48.         print(page_url)
    
49.         img_addrs = find_images(page_url)
    
50.         save_images(folder, img_addrs)
    
51. 
    
52. def download_the_graph(url):
    
53.     folder = 'graph'
    
54.     os.mkdir(folder)
    
55.     os.chdir(folder)
    
56.     web_link_encode(url, folder)
    
57. 
    
58. if __name__ == '__main__':
    
59.     url = 'http://jandan.net/pic/'
    
60.     download_the_graph(url)

复制代码

alwonwang

Daniel_Zhang 发表于 2020-12-16 23:59
第9行那里是 req

另外，现在的煎蛋进行了反爬虫设置，图片的标号进行了 base64 加密。图片的 image_addr ...

这里是2021年3月26日运行成功的最新代码，是楼主代码的更新

1. import urllib.request as u_request
   
2. import os, re, base64
   
3. import requests
   
4. import time
   
5. 
   
6. header ={}
   
7. header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
8. 
   
9. def url_open(url):
   
10. 
    
11.     html = requests.get(url, headers=header).text
    
12.     return html
    
13. 
    
14. 
    
15. def find_images(url):
    
16.     html = url_open(url)
    
17. 
    
18.     m = r'<img src="([^"]+\.jpg)"'
    
19.     match = re.findall(m, html)
    
20. 
    
21.     for each in range(len(match)):
    
22.         match[each] = 'http:' + match[each]
    
23.         print(match[each])
    
24. 
    
25.     return match
    
26. 
    
27. def save_images(folder, img_addrs):
    
28.     for each in img_addrs:
    
29.         try:
    
30.             req = u_request.Request(each, headers = header)
    
31.             response = u_request.urlopen(req)
    
32.             cat_image = response.read()
    
33.             filename = each.split('/')[-1]
    
34.             with open(filename,'wb') as f:
    
35.                 f.write(cat_image)
    
36.             #print(each)
    
37.         except OSError as error:
    
38.             print(error)
    
39.             continue
    
40.         except ValueError as error:
    
41.             print(error)
    
42.             continue
    
43. 
    
44. def web_link_encode(url, folder):
    
45.     for i in range(1,105):
    
46.         string_date = '20210325-'
    
47.         string_date += str(i)
    
48.         string_date = string_date.encode('utf-8')
    
49.         str_base64 = base64.b64encode(string_date)
    
50.         page_url = url + str_base64.decode() + '=#comments'
    
51.         print(page_url)
    
52.         img_addrs = find_images(page_url)
    
53.         save_images(folder, img_addrs)
    
54.         time.sleep(2)
    
55. 
    
56. def download_the_graph(url):
    
57.     folder = 'graph'
    
58.     os.mkdir(folder)
    
59.     os.chdir(folder)
    
60.     web_link_encode(url, folder)
    
61. 
    
62. if __name__ == '__main__':
    
63.     url = 'http://jandan.net/girl/'
    
64.     download_the_graph(url)
    

复制代码

Daniel_Zhang

第9行那里是 req

另外，现在的煎蛋进行了反爬虫设置，图片的标号进行了 base64 加密。图片的 image_addr 也被去掉了 'http:' 的开头

华北第一廖雪峰

学习了，终于找到了

空白的天

感谢，昨天找了一整天没解决唉

Daniel_Zhang

空白的天 发表于 2021-1-12 09:49
感谢，昨天找了一整天没解决唉

注意最后几行的那个string_date,煎蛋那个好像是按照日期加数字的形式进行图片编号的。所以我此处的还不是很完善，理论上是只能获取20201216的图片的，但是这个问题应该是不难调整的，给一个 int 类型的日期作为起始值，for循环每次加一，然后按照月份去计算30 还是 31 天一个月，最后转换日期成 string 类型，别忘了在日期末尾加上横杠

空白的天

Daniel_Zhang 发表于 2021-1-12 15:20
注意最后几行的那个string_date,煎蛋那个好像是按照日期加数字的形式进行图片编号的。所以我此处的还不是 ...

谢谢，我是新人233，不过大概的能看懂

Daniel_Zhang

空白的天 发表于 2021-1-12 19:55
谢谢，我是新人233，不过大概的能看懂

嗯啊，看懂了就自己动动手呀，多练习，分享到论坛里一起交流

sinaop

空白的天

Daniel_Zhang 发表于 2021-1-12 23:08
嗯啊，看懂了就自己动动手呀，多练习，分享到论坛里一起交流

1

洋洋痒

1. def get_page(url):
   
2.     html = url_open(url).decode('utf-8')
   
3.     a = html.find('current-comment-page') + 23
   
4.     b = html.find(']',a)
   
5.     return html[a:b]

复制代码

1. page_num = int(get_page(url))

复制代码

好像没有用了，是不是可以删掉
我把download_the_graph(folder = 'graph', pages=10)函数里的page_num = int(get_page(url))注释掉还可以运行，并且结果一样

Daniel_Zhang

洋洋痒 发表于 2021-1-16 02:50
好像没有用了，是不是可以删掉
我把download_the_graph(folder = 'graph', pages=10)函数里的page ...

那有可能它本来就是 int 类型的，不需要转 int 吧~

洋洋痒

Daniel_Zhang 发表于 2021-1-16 16:36
那有可能它本来就是 int 类型的，不需要转 int 吧~

我的意思是说…………你整个download_the_graph(folder = 'graph', pages=10)函数里没有用到get_page(url)
所以def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']',a)
    return html[a:b]

和page_num = int(get_page(url))可以删掉

Daniel_Zhang

洋洋痒 发表于 2021-1-16 23:07
我的意思是说…………你整个download_the_graph(folder = 'graph', pages=10)函数里没有用到ge ...

昂，好像是这么个道理。那个是因为之前煎蛋它是有一个翻页按钮的好像？

我这个就不需要获取那个的信息了，直接在url里面修改页面？不太记得了

反正这个是用来改第几页第几页的

仔细看了一下，确实可以去除，谢谢指正啦~

柒s

def web_link_encode(url, folder):
    for i in range(180,200):
        string_date = '20201216-'
        string_date += str(i)
        string_date = string_date.encode('utf-8')
        str_base64 = base64.b64encode(string_date)
        page_url = url + str_base64.decode() + '=#comments'
        print(page_url)
        img_addrs = find_images(page_url)
        save_images(folder, img_addrs)

大大 为什么这里是range(180,200)
什么意思

Daniel_Zhang

柒s 发表于 2021-3-21 11:23
大大 为什么这里是range(180,200)
什么意思

你可以单独研究一下 jiandan 网址的加密解密 encode decode base64

具体是什么原因做 180 - 200 我不太记得了，你可以尝试改成其他数据

应该是一个翻页用的数字，页码什么的

alwonwang

嘿嘿删掉，重复了

alwonwang

柒s 发表于 2021-3-21 11:23
大大 为什么这里是range(180,200)
什么意思

这里的180-200指的是要爬取的页面范围
煎蛋网定期会对图片进行封存，所以页面范围也会有所变化