爬虫【很久一题】B站视频token解析

tiandbc

厉害啊

鬼人

wei_Y 发表于 2017-7-5 11:31
继续移动端分析:

首先呢将域名改为 m.bilibili.com 请求时抓下包，随便放个移动端的UA就可以啦。

  我这里看错了。 后面群里说的BUG也是这个。  我想给大家找个js的demo的。 弄巧成拙了。

jerryxjr1220

wei_Y 发表于 2017-7-5 11:31
继续移动端分析:

首先呢将域名改为 m.bilibili.com 请求时抓下包，随便放个移动端的UA就可以啦。

看了半天，我以为你是要教我们怎么获取正确的token，看到后面“不用管token也能爬”我就

旋转风

wei_Y 发表于 2017-7-5 11:31
继续移动端分析:

首先呢将域名改为 m.bilibili.com 请求时抓下包，随便放个移动端的UA就可以啦。

有个疑问，用requests请求，不能得到网页的内容呀，用requests.get(url,headers=headers).text，打印出来就是callbackfunction({"code":40000,"message":"bad request"});并没有把网址内容爬下来呢

wei_Y

jerryxjr1220 发表于 2017-7-6 14:35
看了半天，我以为你是要教我们怎么获取正确的token，看到后面“不用管token也能爬”我就

解析到webpackJason这个函数后，往下找不到对应的函数了。之后就没思路了。不过真需要token时可以直接上selenium，他这个地址直接用js生成了，就在网页里。

wei_Y

旋转风 发表于 2017-7-6 16:04
有个疑问，用requests请求，不能得到网页的内容呀，用requests.get(url,headers=headers).text，打印出来 ...

这个你自己多试试吧，headers写全，cookies也写上吧。

json

wei_Y 发表于 2017-7-5 11:31
继续移动端分析:

首先呢将域名改为 m.bilibili.com 请求时抓下包，随便放个移动端的UA就可以啦。

嗯嗯，赞~~~
再补充一下，其实token就是purl_token的md5值。 u函数就是一个md5计算函数。

CC_Xing

好厉害，先Mark一下

鬼人

json 发表于 2017-7-6 18:50
嗯嗯，赞~~~
再补充一下，其实token就是purl_token的md5值。 u函数就是一个md5计算函数。

你那里看出来的。

json

鬼人 发表于 2017-7-9 17:27
你那里看出来的。

版主@wei_Y已经将js分析出来了（感谢，大赞~）
token在如下找到

1. var e = this.props.aid,
   
2.                         t = this.setPurlToken(),
   
3.                         n = "//api.bilibili.com/playurl?callback=callbackfunction&aid=" + e + "&page=" + this._page + "&platform=html5&quality=1&vtype=mp4&type=jsonp&token=" + t,

复制代码

由setPurlToken()函数求得，而这个函数如下：

1. { key: "setPurlToken",
   
2.                   value: function() {
   
3.                     var e = Cookies.get("purl_token")
   
4.                             ? Cookies.get("purl_token")
   
5.                             : "";
   
6. 
   
7.                     return e ||
   
8.                             (e = "bilibili_" + Date.parse(new Date) / 1e3
   
9.                                     , Cookies.set("purl_token", e, { domain: ".bilibili.com", path: "/", expires: new Date(Date.now() + 72e5), secure: !1 })
   
10.                             )
    
11.                             , u(e) }
    
12.                   },

复制代码

由此可知

1. purl_token = e = "bilibili_" + Date.parse(new Date) / 1e3

复制代码

而token = setPurlToken() = u(e)， 这里的u在js上面有给出

1. s = n(25),
   
2.         c = n(312),
   
3.         l = (n(154), n(153)),
   
4.         u = n(315),
   
5.         p = n(148),
   
6.         d = n(134).rem2px,

复制代码

其实就是n(315)， n（315）返回一个函数，返回什么函数，下个断点调试一下（第315个函数要数死人的，断点下了，然后搜索一下函数内容），发现n(315) 返回函数

1.         e.exports = function(e, n) {
   
2.           if (void 0 === e || null === e) throw new Error("Illegal argument " + e);
   
3.           var o = t.wordsToBytes(a(e, n));
   
4.           return n && n.asBytes ? o : n && n.asString ? i.bytesToString(o) : t.bytesToHex(o)
   
5.         }

复制代码

这里重要的是a(e,n) 这个函数，在该段js上面给出

1. function() {
   
2.         var t = n(316),
   
3.             o = n(317).utf8,
   
4.             r = n(318),
   
5.             i = n(317).bin,
   
6.             a = function s(e, n) {
   
7.                     e.constructor == String
   
8.                             ? e = n && "binary" === n.encoding
   
9.                                     ? i.stringToBytes(e)
   
10.                                     : o.stringToBytes(e)
    
11.                             : r(e)
    
12.                                             ? e = Array.prototype.slice.call(e, 0)
    
13.                                             : Array.isArray(e) || (e = e.toString());
    
14. 
    
15.             for (
    
16.                     var a = t.bytesToWords(e)
    
17.                     ,c = 8 * e.length
    
18.                     , l = 1732584193
    
19.                     , u = -271733879
    
20.                     , p = -1732584194
    
21.                     , d = 271733878
    
22.                     , f = 0; f < a.length; f++)
    
23.                             a[f] = 16711935 & (a[f] << 8 | a[f] >>> 24) | 4278255360 & (a[f] << 24 | a[f] >>> 8);
    
24. 
    
25.               a[c >>> 5] |= 128 << c % 32, a[(c + 64 >>> 9 << 4) + 14] = c;
    
26. 
    
27.               for (var h = s._ff, m = s._gg, v = s._hh, y = s._ii, f = 0; f < a.length; f += 16) {
    
28.                 var g = l,
    
29.                     _ = u,
    
30.                     b = p,
    
31.                     w = d;
    
32.                 l = h(l, u, p, d, a[f + 0], 7, -680876936)
    
33.                 , d = h(d, l, u, p, a[f + 1], 12, -389564586)
    
34.                 , p = h(p, d, l, u, a[f + 2], 17, 606105819)
    
35.                 , u = h(u, p, d, l, a[f + 3], 22, -1044525330)
    
36.                 , l = h(l, u, p, d, a[f + 4], 7, -176418897)
    
37.                 , d = h(d, l, u, p, a[f + 5], 12, 1200080426)
    
38.                 , p = h(p, d, l, u, a[f + 6], 17, -1473231341)
    
39.                 , u = h(u, p, d, l, a[f + 7], 22, -45705983)
    
40.                 , l = h(l, u, p, d, a[f + 8], 7, 1770035416)
    
41.                 , d = h(d, l, u, p, a[f + 9], 12, -1958414417)
    
42.                 , p = h(p, d, l, u, a[f + 10], 17, -42063)
    
43.                 , u = h(u, p, d, l, a[f + 11], 22, -1990404162)
    
44.                 , l = h(l, u, p, d, a[f + 12], 7, 1804603682)
    
45.                 , d = h(d, l, u, p, a[f + 13], 12, -40341101)
    
46.                 , p = h(p, d, l, u, a[f + 14], 17, -1502002290)
    
47.                 , u = h(u, p, d, l, a[f + 15], 22, 1236535329)
    
48.                 , l = m(l, u, p, d, a[f + 1], 5, -165796510)
    
49.                 , d = m(d, l, u, p, a[f + 6], 9, -1069501632)
    
50.                 , p = m(p, d, l, u, a[f + 11], 14, 643717713)
    
51.                 , u = m(u, p, d, l, a[f + 0], 20, -373897302)
    
52.                 , l = m(l, u, p, d, a[f + 5], 5, -701558691)
    
53.                 , d = m(d, l, u, p, a[f + 10], 9, 38016083)
    
54.                 , p = m(p, d, l, u, a[f + 15], 14, -660478335)
    
55.                 , u = m(u, p, d, l, a[f + 4], 20, -405537848)
    
56.                 , l = m(l, u, p, d, a[f + 9], 5, 568446438)
    
57.                 , d = m(d, l, u, p, a[f + 14], 9, -1019803690)
    
58.                 , p = m(p, d, l, u, a[f + 3], 14, -187363961)
    
59.                 , u = m(u, p, d, l, a[f + 8], 20, 1163531501)
    
60.                 , l = m(l, u, p, d, a[f + 13], 5, -1444681467)
    
61.                 , d = m(d, l, u, p, a[f + 2], 9, -51403784)
    
62.                 , p = m(p, d, l, u, a[f + 7], 14, 1735328473)
    
63.                 , u = m(u, p, d, l, a[f + 12], 20, -1926607734)
    
64.                 , l = v(l, u, p, d, a[f + 5], 4, -378558)
    
65.                 , d = v(d, l, u, p, a[f + 8], 11, -2022574463)
    
66.                 , p = v(p, d, l, u, a[f + 11], 16, 1839030562)
    
67.                 , u = v(u, p, d, l, a[f + 14], 23, -35309556)
    
68.                 , l = v(l, u, p, d, a[f + 1], 4, -1530992060)
    
69.                 , d = v(d, l, u, p, a[f + 4], 11, 1272893353)
    
70.                 , p = v(p, d, l, u, a[f + 7], 16, -155497632)
    
71.                 , u = v(u, p, d, l, a[f + 10], 23, -1094730640)
    
72.                 , l = v(l, u, p, d, a[f + 13], 4, 681279174)
    
73.                 , d = v(d, l, u, p, a[f + 0], 11, -358537222)
    
74.                 , p = v(p, d, l, u, a[f + 3], 16, -722521979)
    
75.                 , u = v(u, p, d, l, a[f + 6], 23, 76029189)
    
76.                 , l = v(l, u, p, d, a[f + 9], 4, -640364487)
    
77.                 , d = v(d, l, u, p, a[f + 12], 11, -421815835)
    
78.                 , p = v(p, d, l, u, a[f + 15], 16, 530742520)
    
79.                 , u = v(u, p, d, l, a[f + 2], 23, -995338651)
    
80.                 , l = y(l, u, p, d, a[f + 0], 6, -198630844)
    
81.                 , d = y(d, l, u, p, a[f + 7], 10, 1126891415)
    
82.                 , p = y(p, d, l, u, a[f + 14], 15, -1416354905)
    
83.                 , u = y(u, p, d, l, a[f + 5], 21, -57434055)
    
84.                 , l = y(l, u, p, d, a[f + 12], 6, 1700485571)
    
85.                 , d = y(d, l, u, p, a[f + 3], 10, -1894986606)
    
86.                 , p = y(p, d, l, u, a[f + 10], 15, -1051523)
    
87.                 , u = y(u, p, d, l, a[f + 1], 21, -2054922799)
    
88.                 , l = y(l, u, p, d, a[f + 8], 6, 1873313359)
    
89.                 , d = y(d, l, u, p, a[f + 15], 10, -30611744)
    
90.                 , p = y(p, d, l, u, a[f + 6], 15, -1560198380)
    
91.                 , u = y(u, p, d, l, a[f + 13], 21, 1309151649)
    
92.                 , l = y(l, u, p, d, a[f + 4], 6, -145523070)
    
93.                 , d = y(d, l, u, p, a[f + 11], 10, -1120210379)
    
94.                 , p = y(p, d, l, u, a[f + 2], 15, 718787259)
    
95.                 , u = y(u, p, d, l, a[f + 9], 21, -343485551)
    
96.                 , l = l + g >>> 0
    
97.                 , u = u + _ >>> 0
    
98.                 , p = p + b >>> 0
    
99.                 , d = d + w >>> 0
    
100.               }
     
101.               return t.endian([l, u, p, d])
     
102.             };
     
103.         a._ff = function(e, t, n, o, r, i, a) {
     
104.           var s = e + (t & n | ~t & o) + (r >>> 0) + a;
     
105.           return (s << i | s >>> 32 - i) + t
     
106.         },
     
107.         a._gg = function(e, t, n, o, r, i, a) {
     
108.           var s = e + (t & o | n & ~o) + (r >>> 0) + a;
     
109.           return (s << i | s >>> 32 - i) + t
     
110.         },
     
111.         a._hh = function(e, t, n, o, r, i, a) {
     
112.           var s = e + (t ^ n ^ o) + (r >>> 0) + a;
     
113.           return (s << i | s >>> 32 - i) + t
     
114.         },
     
115.         a._ii = function(e, t, n, o, r, i, a) {
     
116.           var s = e + (n ^ (t | ~o)) + (r >>> 0) + a;
     
117.           return (s << i | s >>> 32 - i) + t
     
118.         },
     
119.         a._blocksize = 16,
     
120.         a._digestsize = 16,
     
121. 
     
122.         e.exports = function(e, n) {
     
123.           if (void 0 === e || null === e) throw new Error("Illegal argument " + e);
     
124.           var o = t.wordsToBytes(a(e, n));
     
125.           return n && n.asBytes ? o : n && n.asString ? i.bytesToString(o) : t.bytesToHex(o)
     
126.         }
     
127.       }()

复制代码

看到a函数是不是很熟悉了。。。

鬼人

json 发表于 2017-7-10 09:25
版主@wei_Y已经将js分析出来了（感谢，大赞~）
token在如下找到

     厉害。第315 个函数怎么找到的额。

json

鬼人 发表于 2017-7-10 10:33
厉害。第315 个函数怎么找到的额。

当然不可能去数啊，下个断点啊

然后这里就显示出来啊，js文件里面搜索关键字，找到函数。
（你那边是不是不好下断点？ 因为js混淆过，可以使用fiddler神器的。）

鬼人

json 发表于 2017-7-10 10:47
当然不可能去数啊，下个断点啊

然后这里就显示出来啊，js文件里面搜索关键字，找到函数。

你断点打得是什么？  图中的第一个function 怎么找到的。请教一下。