动态网页爬虫----懒人听书

Stubborn · 发表于 2019-4-14 17:54:29

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 Stubborn 于 2019-4-15 14:40 编辑

过程懒得说，有想知道的鱼友下面留言

游客，如果您要查看本帖隐藏内容请回复

{'mp4_name': '第001集_得到奇遇，英雄救美', 'mp4_id': '648111514', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/648111514', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/9y2hagwy.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235589722&t=2&res=648111514&sign=203bd17b508acd2793aa9c8874e092bd'}
{'mp4_name': '第002集_庸医', 'mp4_id': '650111188', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/650111188', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/k2pur14h.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235589805&t=2&res=650111188&sign=b0be416a4ca9631cf1d3fce9336eb5b2'}
{'mp4_name': '第003集_癞蛤蟆想吃天鹅肉', 'mp4_id': '651731628', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/651731628', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/i6blsav2.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235589878&t=2&res=651731628&sign=966a0f60480e0fc99cf323d4c38851b0'}
{'mp4_name': '第004集_劫匪', 'mp4_id': '653151605', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/653151605', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/rz8fkmsu.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235589969&t=2&res=653151605&sign=04d4a253894d987ad1cc73f237028932'}
{'mp4_name': '第005集_暴打富二代', 'mp4_id': '654441920', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/654441920', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/mwscrz5s.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590033&t=2&res=654441920&sign=d29d8eb9ace76b11389d8d104c6a2367'}
{'mp4_name': '第006集_帮我买卫生巾', 'mp4_id': '656241257', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/656241257', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/trdcxd36.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590112&t=2&res=656241257&sign=41479b28630d23a029b1980ed6e73a31'}
{'mp4_name': '第007集_智斗大富豪', 'mp4_id': '658191914', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/658191914', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/ghtyfm3r.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590181&t=2&res=658191914&sign=a68e81fbc118eb270b82255d3783c926'}
{'mp4_name': '第008集_慕情雪', 'mp4_id': '658521735', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/658521735', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/byqvgjai.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590260&t=2&res=658521735&sign=d10a09ce8903a0516c33174a8c6ee4b8'}
{'mp4_name': '第009集_韩风出手', 'mp4_id': '658991082', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/658991082', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/vxaq9kcy.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590323&t=2&res=658991082&sign=2caf0917fdbebd6e151393d9a642c96b'}
{'mp4_name': '第010集_道歉的诚意', 'mp4_id': '661251735', 'url_data': 'http://www.lrts.me/ajax/path/4/35799/661251735', 'mp4_url': 'http://vb.wting.info/fiction/dushi/hzyx/88f2n3oc.mp3?token=rgSRi8GkjMJuj8Sm5DapaY2QwU8-txmdiXWxaIT3iNxBvrdOhc4Vzw**&e=1555235590395&t=2&res=661251735&sign=d9425073b31f34a1cd778f8cf90c8261'}

复制代码

liduo0413 · 发表于 2019-4-14 18:38:12

wp231957 · 发表于 2019-4-14 21:12:39

感谢，抽空仔细看看

hjc757 · 发表于 2019-4-14 21:34:26

wp231957 · 发表于 2019-4-15 10:04:09

# coding: utf-8
import requests
from lxml import etree
if __name__ == '__main__':
item = {}
url = 'http://www.lrts.me/ajax/playlist/2/35799/1/next'
response = etree.HTML(requests.get(url=url).text)
li_list = response.xpath("//div[@class='section']/li")
for li in li_list:
item['mp4_name'] = li.xpath("./div/span/text()")[0]
item['url_data'] = 'http://www.lrts.me/ajax/path/4/35799/' + li.xpath('.//input[4]/@value')[0]
response = requests.get(item['url_data']).json()
mp4_url = response['data']
print(mp4_url)
#我不会写类代码，所以在你的代码基础上修改了以下，从最后打印的MP4_url来看我代码改的貌似没啥问题
#有一些疑问见下面注释
'''
http://www.lrts.me/ajax/playlist/2/35799/1/next 翻页
http://www.lrts.me/ajax/playlist/2/35799/10/next
http://www.lrts.me/ajax/playlist/2/35799/19/next
01 集 http://www.lrts.me/ajax/path/4/35799/648111514
问题1、这些url 是从哪弄的是用神马工具吗
问题2、 li_list = response.xpath("//div[@class='section']/li")
li.xpath('.//input[4]/@value')[0]
这两个xpath 不是很理解
问题3、最核心的两句代码也不理解
response = requests.get(item['url_data']).json()
mp4_url = response['data']
这些东西究竟是需要神马工具呢还是需要神马储备知识呢
'''

复制代码

Y0uWill_1Will · 发表于 2019-4-15 10:38:27

牛逼啊

Stubborn · 发表于 2019-4-15 13:53:12

本帖最后由 Stubborn 于 2019-4-15 14:11 编辑

wp231957 发表于 2019-4-15 10:04

问题1：url谷歌直接抓包，翻页是点击第九集还是第十集，才有翻页请求出来。就是最后一集，点击后，会进行翻页。
问题 2：xapth就是取数据，不理解我也解释不清楚。说下第一个吧，取所有目录下面的div标签，属性的class等于section，然后再取所有的li标签。
问题3：这个你没有看响应吗？返会的一个json串，里面包含了mp4的url
还有，我没有设置翻页，偏移量是9，自己可以设置翻页，爬取全部的

wp231957 · 发表于 2019-4-15 14:17:17

Stubborn 发表于 2019-4-15 13:53
问题1：url谷歌直接抓包，翻页是点击第九集还是第十集，才有翻页请求出来。就是最后一集，点击后，会进 ...

我也是用谷歌的是F12吗还是右键查看网页源代码

问题3：这个你没有看响应吗？返会的一个json串，里面包含了mp4的url 就是这个我不知道咋看啊
你能说以下具体步骤吗是不是也是用谷歌啊

Stubborn · 发表于 2019-4-15 14:41:37

wp231957 发表于 2019-4-15 14:17
我也是用谷歌的是F12吗还是右键查看网页源代码

问题3：这个你没有看响应吗？返会的一个json串，里面 ...

我发了图片在帖子了，你可以自己看下

阿婆邪恶化身 · 发表于 2019-4-15 15:09:31

yinxiuan · 发表于 2019-4-15 18:44:23

不错,学习下

Yikkin · 发表于 2019-4-16 00:28:52

666666

wp231957 · 发表于 2019-4-16 08:37:24

Stubborn 发表于 2019-4-15 14:41
我发了图片在帖子了，你可以自己看下

你的chrome是哪个版本的为什么我的界面和你的不一样呢

Stubborn · 发表于 2019-4-16 14:25:07

wp231957 发表于 2019-4-16 08:37
你的chrome是哪个版本的为什么我的界面和你的不一样呢

Google Chrome 已是最新版本
版本 73.0.3683.103（正式版本）（64 位）

wp231957 · 发表于 2019-4-16 14:55:02

Stubborn 发表于 2019-4-16 14:25
Google Chrome 已是最新版本
版本 73.0.3683.103（正式版本）（64 位）

恩，倒是能发现你说的那几个url了，不过你是否知道如何让F12显示的窗口在屏幕的下半部显示呢
我的都是在右半部显示看着不怎么方便

wp231957 · 发表于 2019-4-16 15:15:31

不用了知道那个窗口咋调了

wp231957 · 发表于 2019-4-16 15:44:29

我无法完全还原你的图片上面显示的内容
我打开某一集的页面之后，按F12 network 里面啥都没有
实在没办法 F5刷一下，确实能刷出来但是和你的不一样

2697999850 · 发表于 2019-4-16 16:01:17

..................

wxy13834531623 · 发表于 2019-4-17 21:24:40

厉害

5ywin · 发表于 2019-4-22 10:15:10

史蒂芬森发

账号		自动登录	找回密码
密码			立即注册

[作品展示] 动态网页爬虫----懒人听书

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐: