爬虫问题-跪求思路

小强工作室

base_url="http://www.xuekeedu.com/softlist/sx-g1-type3-v89/index-37.html?level=1"
down_page="http://www.xuekeedu.com/s336504.html"
down_url="http://xxfile.xuekeedu.com/UpLoadFiles/2015-1/25/XiaoXue201501251328023372480.doc?sn=6f62446f7821f1a9e36ee244eec276bc+后面是cookie"

问题:我的思路是找到sn的值，然后拼接网址完成下载，可是从网页中找不到。跪求办法或其它思路

幽梦三影

应该在cookie里面

wongyusing

这个网站是动态还是静态的？
电脑暂时不在身边，看不到。
首先，用右键，查看网页源代码
看一下网站类型

纯静态的话，直接解析

半动半静加密混淆的阅读网站的js代码，看代码进行解码等操作，看离下载按钮最近的id就对了，很少会是class

纯动态的看数据来源，伪造请求获取链接

余生予你

好像是一个跳转链接 http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=336504     urlid后面变不变不知道 但是soft后面id就是你下载文件的id

余生予你

这个跳转链接里面有response headers有下载地址

余生予你

import requests
import re
url = 'http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=336504'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
           'Cookie' : 'xxxxxx‘}

a = requests.get(url,headers=headers)

down_url = re.findall('"(.*?)"',a.headers['Content-Disposition'])
print(down_url)

cookie 你自己传你自己的 最后down url我直接给你正则匹配出来的

抄底xxv

谢谢楼主

小强工作室

余生予你 发表于 2018-10-23 02:55
好像是一个跳转链接 http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=336504     urlid后面变不变 ...

这个跳转链接 http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=336504  在那里找的？能贴张图吗？

wongyusing

问一下，你们不需要登录就能获取下载链接？？？  
我这里需要登录

小强工作室

wongyusing 发表于 2018-10-23 10:19
问一下，你们不需要登录就能获取下载链接？？？  
我这里需要登录

是需要登录的。请大神帮忙看看呗，给我个思路

wongyusing

讲一下，这个链接结构是下面的这种形式组成的，
下载的域名 http://xxfile.xuekeedu.com/UpLoadFiles
XiaoXue201501121220006524872.doc
?sn=83541123b6cdf30ba42d10ef78267cf8
加上base64编码的文件名。  
sn的值应该是固定的。  
不属于曲奇的部分，经测试，sn应该是由某一段js生成的或后端固定传输的，是每个课件的固定值。  
关键是一下子找不到那一段js代码

wongyusing

js代码找到了，但是，关键点还是在sn参数哪里，其他参数都是明文的。  
唯独sn参数，没看错的话，需要axaj从后端获取，sn参数是一个固定的值

1. function downloadSoft() {
   
2.     download.onClick();
   
3. }
   
4. 
   
5. var payLayer = null;
   
6. var wxtLayer = null;
   
7. function hidedownloadLayer() {
   
8.     layer.close(wxtLayer);
   
9. }
   
10. function openscan() {
    
11.     payLayer = layer.open({
    
12.         type: 2,
    
13.         area: ['530px', '440px'],
    
14.         shadeClose: false,
    
15.         closeBtn: 0,
    
16.         title: false,
    
17.         content: [$('#hid_OrderCenterUrl').val() + '/soft/xx?button=' + encodeURIComponent('立即下载') + '&softid=' + $("#hid_softid").val()+ '&sourceid=' + $("#hid_sourceid").val() + '&callback=downloadSoft', 'no']
    
18.     });
    
19. }
    
20. function closeLayer() {
    
21.     layer.close(payLayer);
    
22. }
    
23. function openDialog(msg) {
    
24.     layer.open({
    
25.         type: 1
    
26.         , title: '下载错误提示消息'
    
27.         , offset: 'auto' //具体配置参考：http://www.layui.com/doc/modules/layer.html#offset
    
28.         , area: ['500px', '300px']
    
29.         , id: 'layerInfo'//防止重复弹出
    
30.         , content: '<div style="padding-top:80px; text-align:center">' + msg + '</div>'
    
31.         , btn: '确认'
    
32.         , btnAlign: 'c' //按钮居中
    
33.         , shade: 0 //不显示遮罩
    
34.         , yes: function () {
    
35.             layer.closeAll();
    
36.         }
    
37.     });
    
38. }
    
39. var download = {
    
40. };
    
41. //下载点击
    
42. download.onClick = function () {
    
43.     var softId = $("#hid_softid").val();
    
44.     $.ajax({
    
45.         url: "http://www.xuekeedu.com/download.aspx?action=checkpayinfo&SoftId=" + softId,
    
46.         type: "get",
    
47.         contentType: "application/json",
    
48.         dataType: "json",
    
49.         data: "",
    
50.         cache: false,
    
51.         error: function (d) {
    
52.             openDialog("获取用户下载许可失败！");
    
53.             console.log("获取用户下载许可失败，" + d.errMsg);
    
54.         },
    
55.         success: function (d) {
    
56.             //errNo
    
57.             if (d.errNo > 0) {
    
58.                 //提示充值
    
59.                 if (d.errNo >= 13 && d.errNo <= 17) {
    
60.                     openscan();
    
61.                 }
    
62.                 else if (d.errNo == 1) {
    
63.                     xiaoxue.popLogin();
    
64.                 }
    
65.                     //网校通过期提示
    
66.                 else if (d.errNo >= 18&&d.errNo<=21) {
    
67.                     if (d.errNo == 18 || d.errNo == 19) {
    
68.                         var area = ['530px', '200px'];
    
69.                     }
    
70.                     else {
    
71.                         var area = ['530px', '260px'];
    
72.                     }
    
73.                     wxtLayer = layer.open({
    
74.                         type: 2,
    
75.                         area: area,
    
76.                         shadeClose: false,
    
77.                         closeBtn: 0,
    
78.                         title: false,
    
79.                         content: ['http://www.xuekeedu.com/PopWxt.aspx?resultCode=' + encodeURIComponent(d.errNo) + '&resultMessage=' + encodeURIComponent(d.errMsg), 'no']
    
80.                     });
    
81. 
    
82.                 }
    
83.                     //网校通超过下载次数限制
    
84.                 else if (d.errNo == 23 || d.errNo == 24) {
    
85.                     var area = ['580px', '415px'];
    
86.                     if (d.errNo == 24) {
    
87.                         area = ['580px', '260px'];
    
88.                     }
    
89.                     wxtLayer = layer.open({
    
90.                         type: 2,
    
91.                         area: area,
    
92.                         shadeClose: false,
    
93.                         closeBtn: 0,
    
94.                         title: false,
    
95.                         content: ['http://www.xuekeedu.com/PopWxt_Account.aspx?resultCode=' + encodeURIComponent(d.errNo) + '&resultMessage=' + encodeURIComponent(d.errMsg), 'no']
    
96.                     });
    
97.                 }
    
98.                     //弹窗提示
    
99.                 else {
    
100.                     openDialog(d.errMsg);
     
101.                 }
     
102.                 return;
     
103.             }
     
104.             else {
     
105.                 //可以正常下载
     
106.                 download.goDownload('http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=' + softId);
     
107.             }
     
108.         }
     
109.     });
     
110. }
     
111. download.lastTimeFlag = new Date();
     
112. //下载点击的不能过于频繁
     
113. download.check_LastClickTime = function () {
     
114. 
     
115.     var now = new Date();
     
116. 
     
117.     if (now - this.lastTimeFlag < 1500) {
     
118.         return false;
     
119.     }
     
120. 
     
121.     this.lastTimeFlag = now;
     
122. 
     
123.     return true;
     
124. }
     
125. //下载前验证
     
126. download.check_BeforeDownload = function (url) {
     
127.     if (!xiaoxue.chkLogin()) {
     
128.         return false;
     
129.     }
     
130.     var d = Storage.Get("download", "timeFlag");
     
131.     if (!d) {
     
132.         Storage.Set("download", "timeFlag", new Date().getTime());
     
133.         Storage.Set("download", "count", 1);
     
134.         return true;
     
135.     }
     
136.     else {
     
137.         var icount = parseInt(Storage.Get("download", "count"));
     
138.         Storage.Set("download", "count", ++icount);
     
139.         var interval = new Date().getTime() - Storage.Get("download", "timeFlag");
     
140.         if (interval > 300000) {
     
141.             //下载间隔超过5分钟，重置标记
     
142.             Storage.Set("download", "timeFlag", new Date().getTime());
     
143.             Storage.Set("download", "count", 1);
     
144.             return true;
     
145.         }
     
146.         else if (icount >= 10000) {
     
147. 
     
148.             //显示验证码
     
149.             xiaoxue.popupVerifyCode(url);
     
150. 
     
151.             return false;
     
152.         }
     
153.         else {
     
154.             return true;
     
155.         }
     
156.     }
     
157. }
     
158. download.check_XiaoBenUser = function () {
     
159.     var xiaobenUser = Util.cookie.get("xiaobenuser");
     
160.     if (xiaobenUser) {//校本用户加积分
     
161.         $.get("http://58.130.116.200/member/updatepoint.htm?username=" + xiaobenUser);
     
162.     }
     
163.     return true;
     
164. }
     
165. //跳转到下载前的检查
     
166. download.goDownload = function (url) {
     
167. 
     
168.     for (var i = 0; i < this.checks.length; i++) {
     
169.         if (!this.checks[i]()) {
     
170.             return;
     
171.         }
     
172.     }
     
173. 
     
174.     location.href = url;
     
175. }
     
176. //配置下载验证逻辑
     
177. download.checks =
     
178.             [download.check_LastClickTime
     
179.            , download.check_BeforeDownload
     
180.            , download.check_XiaoBenUser];
     
181. $(function () {
     
182.     //下载弹窗事件
     
183.     $(".downloadbtn").click(function () {
     
184.         if (!xiaoxue.chkLogin()) {
     
185.             return false;
     
186.         }
     
187.         downloadSoft();
     
188.     });
     
189.     //关闭弹窗
     
190. });

复制代码

wongyusing

小强工作室 发表于 2018-10-23 09:27
这个跳转链接 http://www.xuekeedu.com/Download.aspx?UrlID=41&SoftID=336504  在那里找的？能贴张图吗 ...

这个url就是我贴出来的js代码那里找出来的