关于B站手机端爬虫

旋转风

最近遇到一个问题，
假如有这样的网址 https://m.bilibili.com/video/av11764354.html
这是一个视频地址，点击可以播放，
问题来了，怎么爬取视频的真实地址  类似这样的：
http://tx.acgvideo.com/f/df/19428024-1.mp4?txTime=1499327628&platform=html5&txSecret=5525c36eabb3f9be04b4b4d75236c8bc&oi=1851272527&rate=110000
这种输入网址就直接打开的视频
问题，点开审查元素，在head部分可以看到真实的地址，是一个回调函数产生的好像，如图：
但是点击播放之后也可以找到如上的地址，

各位大神，如何才能爬取到这样视频地址呢，
请大牛带我飞
file:///C:\Users\Administrator\AppData\Roaming\Tencent\Users\718021512\QQ\WinTemp\RichOle\1F`}UE1V6VMZ5B_DV$GT~GM.png

jerryxjr1220

你这个问题版主大大已经说得很明白了，请参考http://bbs.fishc.com/thread-90080-1-1.html帖子。
针对你说的这个视频https://m.bilibili.com/video/av11764354.html，用浏览器打开的话，会看到其实它自动调用了一个API接口Request URL:“https://api.bilibili.com/playurl ... 3760afd0d5bd0ff5bae”
而根据版主大大的测试，这个API接口的token值可以忽略的，所以你可以直接用https://api.bilibili.com/playurl ... =mp4&type=jsonp，进行访问。
返回的是一个json格式的地址：
callbackfunction({"from":"local","result":"suee","format":"mp4","timelength":186518,"accept_format":"mp4","accept_quality":[1],"seek_param":"start","seek_type":"second","durl":[{"order":1,"length":186518,"size":12036686,"url":"http:\/\/tx.acgvideo.com\/f\/df\/19428024-1.mp4?txTime=1499330196&platform=html5&txSecret=79fc3210748820c4c41f75f17e2fcf8f&oi=3400006243&rate=110000"}],"img":"https:\/\/i0.hdslb.com\/bfs\/archive\/36d269ca0ad07a2dfad02f4a59bd36c2e0795f76.jpg","cid":"http:\/\/comment.bilibili.com\/19428024.xml","fromview":"vupload"});
里面就包含了视频的直接存放地址。
这样也就意味着，只要你知道B站中视频的id号，就能自己构建API访问接口获取视频的直接存放地址。。。
后面的就不需要多说了吧。

jerryxjr1220

不过此类问题真正难的是如果获取token值，对于很多网站你是绕不开token的。但对于B站，这个token可以忽略。

旋转风

这个token真的是好蛋疼啊

旋转风

jerryxjr1220 发表于 2017-7-6 15:13
你这个问题版主大大已经说得很明白了，请参考http://bbs.fishc.com/thread-90080-1-1.html帖子。
针对你说 ...

还有，不要token的网址是一个回调函数类型，如：
callbackfunction({"from":"local","result":"suee","format":"mp4","timelength":283300,"accept_format":"mp4","accept_quality":[1],"seek_param":"start","seek_type":"second","durl":[{"order":1,"length":283300,"size":17523037,"url":"http:\/\/cn-gdfs4-dx-v-02.acgvideo.com\/vg3\/a\/a1\/19428000-1.mp4?expires=1499332200&platform=html5&ssig=JQVbBPOCKmwLXApHInju-A&oi=1851272527&nfa=fkYkF\/LEe5xFyJPq\/bZ9eQ==&dynamic=1&hfa=2070857990"}],"img":"https:\/\/i2.hdslb.com\/bfs\/archive\/76932ea52429f546febb25aedc5e3d30ecbb6877.jpg","cid":"http:\/\/comment.bilibili.com\/19428000.xml","fromview":"vupload"});

这个用requests请求只能得到  “callbackfunction({"code":40000,"message":"bad request"});”，

jerryxjr1220

旋转风 发表于 2017-7-6 15:55
还有，不要token的网址是一个回调函数类型，如：
callbackfunction({"from":"local","result":"suee","f ...

那是你request的方式不对，不加token是可以获取的，不会出现bad request，request时该有请求头的信息必须要写全。

旋转风

jerryxjr1220 发表于 2017-7-6 16:02
那是你request的方式不对，不加token是可以获取的，不会出现bad request，request时该有请求头的信息必须 ...

多谢啦，搞出来了

jerryxjr1220

旋转风 发表于 2017-7-6 16:19
多谢啦，搞出来了

这种可以绕开token的爬取是没有难度的，难的是能独立搞出token的解析，那才能体现水平

旋转风

jerryxjr1220 发表于 2017-7-6 16:31
这种可以绕开token的爬取是没有难度的，难的是能独立搞出token的解析，那才能体现水平

说的也是，但是我目前能力有限啊，
老司机要开车么