glidedsky CSS反爬题 详细注释

jermey1994

这题数据有垃圾数据,乱序数据,::before数据 在<style>标签中存放 移位和::before数据.
如图 :

1. # -*-coding:utf-8 -*-
   
2. # Author : Jermey1994
   
3. # Develop_Time : 2019/7/28 11:44
   
4. # File_Name : css_sky.PY
   
5. # Develop_Tool : PyCharm
   
6. 
   
7. import requests
   
8. import re
   
9. from bs4 import BeautifulSoup
   
10. from fake_useragent import UserAgent
    
11. 
    
12. class CSS_SkyMain(object):
    
13.     def __init__(self,page=1):
    
14.         """
    
15.         初始化一个存放每页数值的总和变量和header参数
    
16.         :param page: 页数
    
17.         """
    
18.         self.sum_nums = 0
    
19.         self.page = page
    
20.         self.header = {'User-Agent':UserAgent().random,
    
21.           'Cookie': '******',
    
22.           }
    
23. 
    
24.     def get_html_soup(self,url):
    
25.         """
    
26.         返回BeautifulSoup对象方便获取数据
    
27.         :param url:
    
28.         :return:
    
29.         """
    
30.         response = requests.get(url,headers=self.header).text
    
31.         soup = BeautifulSoup(response,'lxml')
    
32.         return soup
    
33. 
    
34.     def get_nums_datadict(self,soup):
    
35.         """
    
36.         筛选出源码当中需要的名称对应的值,放在一个字典当中
    
37.         :param soup:
    
38.         :return: 字典
    
39.         """
    
40.         num_dict = dict()
    
41.         num_countent = soup.select(".col-md-1")
    
42.         css_label = soup.find_all('style')
    
43. 
    
44.         css_content_label = re.findall(r'\.(.*?):before \{ content:"(.*?)" \}', str(css_label)) # 筛选出 before : 当中已存在的值
    
45.         css_del_names = re.findall(r'\.(.*?) { margin-right:-1em }', str(css_label)) # 筛选出 不显示化的数值
    
46.         for temp in num_countent: # 遍历每组 class=col-md-1 的数据
    
47.             num_names = re.findall(r'class="(.*?)">\d<', str(temp)) # 筛选出 带有 数值的名称及值 返回一个list
    
48.             for name in num_names: # 遍历 筛选出来的数据
    
49.                 if name not in css_content_label and name not in css_del_names: # 判断该数据 是否不在 已带有正确数据 和 不显示化数据 的列表当中, 不在才添加进字典中保存
    
50.                     nums = re.findall(r'class="%s">(\d)</div>' % name, str(temp))[0] # 获取该名称的数值
    
51.                     num_dict[name] = nums # key: 名称,value : 名称对应的值
    
52. 
    
53.         return num_dict
    
54. 
    
55. 
    
56.     def get_nums_dict(self,soup):
    
57.         """
    
58.         获取正确数据的名称
    
59.         :return: 字典
    
60.         """
    
61.         index = 1
    
62.         num_dict = dict()
    
63.         num_countent = soup.select(".col-md-1")
    
64.         css_label = soup.find_all('style')
    
65.         css_del_names = re.findall(r'\.(.*?) { margin-right:-1em }', str(css_label)) # 设置筛选无用名称的列表
    
66.         for num in num_countent:
    
67.             filter_num = re.findall(r'class="(.*?)">\d<', str(num)) # filter_num 为带有K,V值的名称
    
68.             filter_num2 = re.findall(r'class="(.*?)"><', str(num)) # filter_num2 为以在before 存在数据的
    
69.             if filter_num: # 不为空列表
    
70.                 num_dict[index] = filter_num # 把一组数据(列表)给num_dict[index] 方便分析计算
    
71.                 for del_num in css_del_names: # 把每个需要过滤的数据遍历对比删除
    
72.                     if del_num in num_dict[index]: # 如果该列表当中存在无用数据则删除此数据
    
73.                         num_dict[index].remove(del_num)
    
74.             if filter_num2: # 是以存在原正确数据的话 直接放进字典
    
75.                 num_dict[index] = filter_num2
    
76.             index += 1
    
77.         return num_dict
    
78. 
    
79.     def get_before_dict(self,soup):
    
80.         """
    
81.         获取以存在html中的正确数据
    
82.         :return:
    
83.         """
    
84.         before_dict = dict()
    
85.         css_label = soup.find_all('style')
    
86.         css_content_label = re.findall(r'\.(.*?):before \{ content:"(.*?)" \}', str(css_label))
    
87.         for cont in css_content_label:
    
88.             before_dict[cont[0]] = cont[1] # 直接把before的名称及数值 加进字典
    
89.         return before_dict
    
90. 
    
91.     def get_count_dict(self,soup):
    
92.         """
    
93.         获取 left 的移位值(因为这些数值位置都是打乱的,通过left参数获取移动位置)如 -1 就是该值 当前位数的 左移动移位
    
94.         :return: 返回带有left值的名称和left值
    
95.         """
    
96.         count_dict = dict()
    
97.         css_label = soup.find_all('style')
    
98.         css_left_label = re.findall(r'\.(.*?) \{ left:(.*?)em \}', str(css_label))
    
99.         for count in css_left_label:
    
100.             count_dict[count[0]] = count[1]
     
101.         return count_dict
     
102. 
     
103.     def start_main(self):
     
104.         """
     
105.         入口函数
     
106.         :return:
     
107.         """
     
108.         for page in range(1,self.page + 1) :
     
109.             url = 'http://glidedsky.com/level/web/crawler-css-puzzle-1?page=' + str(page) # 初始化url
     
110.             soup = self.get_html_soup(url)
     
111. 
     
112.             # 获取未移动的乱位数值 如{'FyS3OKrlU': '2', 'oDi4pqFmA': '1', 'GO5QRpPL': '8', 'Uyr7Txf': '4', 'EOkXH8HikS': '9', 'xgOI9HCVew': '0',
     
113.             # 'Vgqo13pntW': '1', 'izqGi14tTL': '3', 'wY15IOHs': '4', 'SxdvY17HFB': '0', 'pDn18BCP': '4', 'dc19cxCL': '1', 'nHTT28FNo': '6', 'lK29nnV': '9', 'OQ30QrUL': '2'}
     
114.             data_nums = self.get_nums_datadict(soup)
     
115. 
     
116.             # 获取每组数据 如{1: ['dnQt1XiIt'], 2: ['FyS3OKrlU', 'oDi4pqFmA', 'GO5QRpPL'], 3: ['Uyr7Txf', 'EOkXH8HikS', 'xgOI9HCVew'], 4: ['auA11eUJgz'],
     
117.             # 5: ['Vgqo13pntW', 'izqGi14tTL', 'wY15IOHs'], 6: ['SxdvY17HFB', 'pDn18BCP', 'dc19cxCL'], 7: ['ww20pqR'], 8: ['YWm22LTd'], 9: ['LPg24MhlF'],
     
118.             # 10: ['ANG25uFYtJ'], 11: ['DHUy26NUu'], 12: ['nHTT28FNo', 'lK29nnV', 'OQ30QrUL']}
     
119.             nums_dict = self.get_nums_dict(soup)
     
120. 
     
121.             # 获取已存在的真实数据 如{'LPg24MhlF': '310', 'dnQt1XiIt': '272', 'ANG25uFYtJ': '353', 'ww20pqR': '176', 'DHUy26NUu': '282', 'YWm22LTd': '182', 'auA11eUJgz': '130'}
     
122.             before_dict = self.get_before_dict(soup)
     
123. 
     
124.             # 获取对应的移位数据 如{'nHTT28FNo': '1', 'SxdvY17HFB': '2', 'lK29nnV': '1', 'OQ30QrUL': '-2', 'dc19cxCL': '-2', 'FyS3OKrlU': '1', 'xgOI9HCVew': '-1', 'EOkXH8HikS': '1', 'oDi4pqFmA': '-1'}
     
125.             count_dict = self.get_count_dict(soup)
     
126. 
     
127.             num_lists = list() # 生成一个列表用来sum() 运算
     
128.             for key,value in nums_dict.items() :
     
129.                 move_num = ['0','0','0'] # 移位使用
     
130.                 if nums_dict[key] :
     
131.                     if len(nums_dict[key]) == 1 : # 如果 这组数据长度为1 就是以存在before 中的真实数据,直接添加
     
132.                         num_lists.append(int(before_dict[nums_dict[key][0]]))
     
133.                     else :
     
134.                         index = 0
     
135.                         for temp in nums_dict[key] : # 长度大于1 的就是乱序数据
     
136.                             if temp in count_dict : # 遍历每组当中的存在乱序的数据,如果数据没存在乱序列表中则 在该数据(百十个)位当中保持自己的位置不变
     
137.                                 move_num[index + int(count_dict[temp])] = data_nums[temp] # 把第index个数据 + 上偏移值获得正确位置
     
138.                             else :
     
139.                                 move_num[index] = data_nums[temp] # 获取原来位置
     
140. 
     
141.                             index += 1
     
142.                         str_temp = ''
     
143.                         for all_num in move_num :
     
144.                             str_temp += all_num
     
145.                         num_lists.append(int(str_temp))
     
146. 
     
147.             self.sum_nums += sum(num_lists) # 把列表总和加入到总数当中计算
     
148.             print('No.%d'%page)
     
149.             print(num_lists)
     
150.             print(self.sum_nums)
     
151. 
     
152. 
     
153. start = CSS_SkyMain(1000)
     
154. start.start_main()
     
155. 
     

复制代码

jermey1994

cxslovefishc

先收藏，有时间再看嘿嘿

李成功我爱你

看了你的博客 才做出这题的 一直被数字偏移这卡住，感谢！