56讲 OOXX 煎蛋网反爬问题，程序写完了才在最后一步触发反爬程序，绝望！！

正在卓尼小乱

煎蛋网对图片有保护，只能爬到一个防伪码，请教这是哪种反爬措施，有破解方法吗？没有完美结束这一课的学习，让我强迫症很不爽，代码，运行结果如下：

1. from urllib import request
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import base64
   
5. import os
   
6. 
   
7. def main():
   
8.     #新建文件夹
   
9.     os.mkdir('OOXX')
   
10.     os.chdir('OOXX')
    
11.    
    
12.     url='http://jandan.net/ooxx'
    
13.     #爬取页面
    
14.     headers={}
    
15.     headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
    
16.     req=request.Request(url,headers=headers)
    
17.     response=request.urlopen(req).read().decode('utf-8')
    
18.     #调用soup处理页面
    
19.     soup=BeautifulSoup(response,'html.parser')
    
20.     links_list=soup.find(attrs={'class':'cp-pagenavi'})
    
21.     #调用函数寻找初始页码链接,links为字典{page:'',link:''}
    
22.     pages_list=findlinks(links_list)
    
23.     page=int(pages_list['page'])
    
24.     page_link='http:'+pages_list['link']
    
25.     stop_page=page-5
    
26.     #爬取当前页的图片
    
27.     comment_list=soup.find(attrs={'id':'comments'})
    
28.     print(comment_list)
    
29.     img_list=comment_list.find_all('img')
    
30.     print(img_list)
    
31.     #下载指定图片
    
32.     for item in img_list:
    
33.         img_url='http:'+item['src']
    
34.         print(img_url)
    
35.         filename=item['src'].split('/')[-1]
    
36.         headers2={}
    
37.         headers2['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
    
38.         req2=request.Request(img_url,headers=headers)
    
39.         response2=request.urlopen(req2).read()
    
40.         with open(filename,'wb') as f:
    
41.             f.write(response2)
    
42.    
    
43.    
    
44.     while True:
    
45.         #爬取图片
    
46.         find_img(page_link)
    
47.         #处理链接（返回下一个页面对应的链接）
    
48.         page_link=handle_link(page_link)
    
49.         
    
50.         page-=1
    
51.         if page==stop_page:
    
52.             break
    
53. 
    
54. def findlinks(links_list):
    
55.     target=links_list.find('a')
    
56.     page=target.text
    
57.     link=target['href']
    
58.     res={'page':page,'link':link}
    
59.     return res
    
60. 
    
61. def handle_link(page_link):
    
62.     page_num=re.search('jandan.net/ooxx/(.+?)#',page_link).group(1)
    
63.     page_num=str(base64.b64decode(page_num),'utf-8')
    
64.     num=page_num.split('-')[1]
    
65.     date=page_num.split('-')[0]
    
66.     num=str(int(num)-1)
    
67.     page_num='-'.join((date,num))
    
68.     page_num=str(base64.b64encode(page_num.encode('utf-8')),'utf-8')
    
69.     link='http://jandan.net/ooxx/'+page_num+'#comments'
    
70.     return link
    
71. 
    
72. def find_img(page_link):
    
73.     #爬取对应页面内容
    
74.     headers={}
    
75.     headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
    
76.     req=request.Request(page_link,headers=headers)
    
77.     response=request.urlopen(req).read().decode('utf-8')
    
78.     #使用BeautifulSoup获取指定图片
    
79.     soup=BeautifulSoup(response,'html.parser')
    
80.     comment_list=soup.find(attrs={'class':'commentlist'})
    
81.     img_list=comment_list.find_all('img')
    
82.     #下载指定图片
    
83.     for item in img_list:
    
84.         img_url='http:'+item['src']
    
85.         filename=item['src'].split('/')[-1]
    
86.         headers2={}
    
87.         headers2['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
    
88.         req2=request.Request(img_url,headers=headers)
    
89.         response2=request.urlopen(req2).read()
    
90.         with open(filename,'wb') as f:
    
91.             f.write(response2)
    
92.    
    
93. 
    
94. 
    
95. 
    
96. if __name__=='__main__':
    
97.     main()
    
98. 
    

复制代码

运行结果：

心驰神往

小伤口

对此我也很焦灼

小古比鱼

qqw

网页好像只是加了一个base64的数字加密，2021.2.14亲测可运行

1. import urllib.request
   
2. import os
   
3. import base64
   
4. 
   
5. def url_open(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
   
8.     response = urllib.request.urlopen(req)
   
9.     html = response.read()
   
10. 
    
11.     return html
    
12. 
    
13. 
    
14. def get_page(url):
    
15.     html = url_open(url).decode('utf-8')
    
16. 
    
17.     a = html.find('current-comment-page')+23
    
18.     b = html.find(']',a)
    
19. 
    
20.     return html[a:b]
    
21. 
    
22. 
    
23. def find_imgs(url):
    
24.     html = url_open(url).decode('utf-8')
    
25.     img_addrs = []
    
26. 
    
27.     a = html.find('img src=')
    
28. 
    
29.     while a != -1:
    
30.         b = html.find('.jpg',a,a+255)
    
31.         if b != -1:
    
32.             img_addrs.append(html[a+9:b+4])
    
33.         else:
    
34.             b = a + 9
    
35. 
    
36.         a = html.find('img src=',b)
    
37. 
    
38.     return img_addrs
    
39. 
    
40.    
    
41. def save_imgs(folder,img_addrs):
    
42.      for each in img_addrs:
    
43.          filename = each.split('/')[-1]
    
44.          with open(filename,'wb') as f:
    
45.              each = 'http:' + each
    
46.              img = url_open(each)
    
47.              f.write(img)
    
48.             
    
49. def download_mm(folder='ooxx1',pages=10):
    
50.     os.mkdir(folder)
    
51.     os.chdir(folder)
    
52. 
    
53.     url = 'http://jandan.net/ooxx'
    
54.     page_num = int(get_page(url))
    
55. 
    
56.     for i in range(pages):
    
57.         page_num -= 1
    
58. 
    
59.         #日期+base64转码（下方改日期）
    
60.         targt_num = '20210114-' + str(page_num)
    
61.         targt_num = base64.b64encode(targt_num.encode('utf-8'))
    
62.         
    
63.         page_url = url +'/' + str(targt_num,'utf-8')+'#comments'#网页链接
    
64.         img_addrs = find_imgs(page_url)#图片地址
    
65.         save_imgs(folder, img_addrs)#图片地址保存
    
66. 
    
67. if __name__ == "__main__":
    
68.     download_mm()
    

复制代码

solardo

qqw 发表于 2021-2-14 14:03
网页好像只是加了一个base64的数字加密，2021.2.14亲测可运行

请教怎么分析出是base64加密的？