设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 【大佬们救救孩子】爬某会展网页
12下一页
返回列表 发新帖
查看: 3465|回复: 20

[已解决]【大佬们救救孩子】爬某会展网页

[复制链接]
回帖奖励 7 鱼币 回复本帖可获得 1 鱼币奖励! 每人限 1 次
z5560636
发表于 2022-8-25 00:38:54 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
想收集会展的信息，但是上去分析的时候，发现有很多东西是被加密的？
链接如下：
https://dj.gymf.com.cn/mobile/invitation/index/index.html?route_page=exhibition&ex_id=59

问题1：
想获取 table 点击后信息  应该可以用 Selenium 做？

问题1

问题1

问题2：
想获取详细的按钮信息，这里会想提取一个 会展商的 ID ，但是在 F12 的模式下看不到？
屏幕截图 2022-08-25 003530.png
最佳答案
月排行榜 / 总排行榜
鱼cpython学习者
2022-8-25 20:36:09
import requests

url = "https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibit_halls"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}
data = {
    'id': 59,
    'field': 'list'
}
page_text = requests.post(url=url, headers=headers, data=data).text
all_hall_data = eval(page_text)['data']
for item in all_hall_data:
    id = item['hall_id']
    data = {
        'cur_page': 1,
        'page_size': 10000000,
        'field': 'list',
        'hall_id': id,
        'id': 59
    }
    url = 'https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibitor_list'
    hall_data = requests.post(url, data=data, headers=headers).text
    # 数据处理的代码
你print一下hall_data，然后自己写下数据处理的代码。我不是看得很懂你的需求
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

cflying
发表于 2022-8-25 20:26:00 | 显示全部楼层

回帖奖励 +1 鱼币

本帖最后由 cflying 于 2022-8-25 20:27 编辑

https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibit_halls里可以得到每个馆的ID
{"status":"100","message":"\u64cd\u4f5c\u6210\u529f","data":[{"hall_id":"92","hall_name":"10.2\u9986"},{"hall_id":"94","hall_name":"11.2\u9986"},{"hall_id":"96","hall_name":"12.2\u9986"},{"hall_id":"97","hall_name":"13.2\u9986"},{"hall_id":"76","hall_name":"3.1\u9986"},{"hall_id":"88","hall_name":"3.2\u9986"},{"hall_id":"75","hall_name":"4.1\u9986"},{"hall_id":"89","hall_name":"4.2\u9986"},{"hall_id":"77","hall_name":"5.1\u9986"},{"hall_id":"135","hall_name":"5.2\u9986"},{"hall_id":"90","hall_name":"9.2\u9986"}]}

https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibitor_list里可以得到公司名称和位置，包含id
{"status":"100","message":"\u64cd\u4f5c\u6210\u529f","data":{"count":22,"list":[{"id":"19419","exhibit_hall":"3.1\u9986","exhibit_place":"A02","name":"\u676d\u5dde\u534e\u666e\u6c38\u660e\u5149\u7535\u80a1\u4efd\u6709\u9650\u516c\u53f8"},{"id":"19420","exhibit_hall":"3.1\u9986","exhibit_place":"A10","name":"\u6df1\u5733\u5e02\u5927\u65cf\u5143\u4ea8\u5149\u7535\u80a1\u4efd\u6709\u9650\u516c\u53f8"},{"id":"19421","exhibit_hall":"3.1\u9986","exhibit_place":"A19","name":"\u4f5b\u5c71\u5e02\u7d2b\u51cc\u5149\u7535\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19422","exhibit_hall":"3.1\u9986","exhibit_place":"C15","name":"\u6d59\u6c5f\u660e\u90fd\u521b\u82af\u7535\u5668\u6709\u9650\u516c\u53f8"},{"id":"19424","exhibit_hall":"3.1\u9986","exhibit_place":"A29       ","name":"\u5e7f\u5dde\u5e02\u83b1\u7279\u798f\u706f\u5149\u8bbe\u5907\u6709\u9650\u516c\u53f8"},{"id":"19425","exhibit_hall":"3.1\u9986","exhibit_place":"A31       ","name":"\u6df1\u5733\u5e02\u6613\u6b23\u5149\u7535\u6709\u9650\u516c\u53f8"},{"id":"19426","exhibit_hall":"3.1\u9986","exhibit_place":"A41       ","name":"\u5e7f\u5dde\u5e02\u756a\u79ba\u5965\u83b1\u7167\u660e\u7535\u5668\u6709\u9650\u516c\u53f8"},{"id":"19427","exhibit_hall":"3.1\u9986","exhibit_place":"B02       ","name":"\u6d59\u6c5f\u51ef\u8000\u7167\u660e\u6709\u9650\u8d23\u4efb\u516c\u53f8"},{"id":"19428","exhibit_hall":"3.1\u9986","exhibit_place":"B09","name":"\u5e7f\u5dde\u661f\u8fea\u667a\u80fd\u5149\u7535\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19429","exhibit_hall":"3.1\u9986","exhibit_place":"B10","name":"\u5b81\u6ce2\u524d\u98ce\u632f\u4e1a\u7167\u660e\u7535\u5668\u6709\u9650\u516c\u53f8"},{"id":"19430","exhibit_hall":"3.1\u9986","exhibit_place":"B17","name":"\u5e7f\u5dde\u5e02\u6d69\u6d0b\u7535\u5b50\u80a1\u4efd\u6709\u9650\u516c\u53f8"},{"id":"19433","exhibit_hall":"3.1\u9986","exhibit_place":"B28       ","name":"\u6df1\u5733\u5e02\u6d32\u660e\u79d1\u6280\u80a1\u4efd\u6709\u9650\u516c\u53f8"},{"id":"19435","exhibit_hall":"3.1\u9986","exhibit_place":"B40","name":"\u6df1\u5733\u963f\u62c9\u4e01\u706f\u5149\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19436","exhibit_hall":"3.1\u9986","exhibit_place":"A28       ","name":"\u6df1\u5733\u5e02\u76ca\u590f\u7167\u660e\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19437","exhibit_hall":"3.1\u9986","exhibit_place":"C02","name":"\u4e2d\u7b51\u5929\u4f51\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19438","exhibit_hall":"3.1\u9986","exhibit_place":"C08","name":"\u5e7f\u4e1c\u6c83\u80fd\u5149\u7535\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19439","exhibit_hall":"3.1\u9986","exhibit_place":"C10       ","name":"\u5e7f\u4e1c\u591c\u9e70\u706f\u5149\u6709\u9650\u516c\u53f8"},{"id":"19440","exhibit_hall":"3.1\u9986","exhibit_place":"C11","name":"\u6d59\u6c5f\u5927\u4e91\u7269\u8054\u79d1\u6280\u6709\u9650\u516c\u53f8"},{"id":"19441","exhibit_hall":"3.1\u9986","exhibit_place":"C12","name":"\u6771\u839e\u96f7\u7b1b\u514b\u5149\u5b78\u6709\u9650\u516c\u53f8"},{"id":"19442","exhibit_hall":"3.1\u9986","exhibit_place":"C17","name":"\u5b81\u6ce2\u5e02\u5148\u5e73\u538b\u94f8\u6709\u9650\u516c\u53f8"},{"id":"19443","exhibit_hall":"3.1\u9986","exhibit_place":"C30","name":"\u5e7f\u5dde\u6770\u58eb\u83b1\u7535\u5b50\u6709\u9650\u516c\u53f8"},{"id":"20042","exhibit_hall":"3.1\u9986","exhibit_place":"A18","name":"\u4e2d\u5c71\u5e02\u6208\u96c5\u5149\u7535\u79d1\u6280\u6709\u9650\u516c\u53f8"}]}}

最后提一句，要注意content-type:multipart/form-data哦，到时候别返回201怪我没提醒
另外这是js后的网页，requests是爬不出完整页面的

评分

参与人数 1荣誉 +2 鱼币 +2 收起 理由
z5560636 + 2 + 2 感谢楼主无私奉献！

查看全部评分

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

鱼cpython学习者
发表于 2022-8-25 20:36:09 | 显示全部楼层    本楼为最佳答案   

回帖奖励 +1 鱼币

import requests

url = "https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibit_halls"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}
data = {
    'id': 59,
    'field': 'list'
}
page_text = requests.post(url=url, headers=headers, data=data).text
all_hall_data = eval(page_text)['data']
for item in all_hall_data:
    id = item['hall_id']
    data = {
        'cur_page': 1,
        'page_size': 10000000,
        'field': 'list',
        'hall_id': id,
        'id': 59
    }
    url = 'https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibitor_list'
    hall_data = requests.post(url, data=data, headers=headers).text
    # 数据处理的代码
你print一下hall_data，然后自己写下数据处理的代码。我不是看得很懂你的需求
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

z5560636
 楼主| 发表于 2022-8-25 21:25:36 | 显示全部楼层
鱼cpython学习者 发表于 2022-8-25 20:36
你print一下hall_data，然后自己写下数据处理的代码。我不是看得很懂你的需求

谢谢大佬，这个问题已经解决。

现在遇见的问题是，里面详情按钮点进去->公司简介 : 想要获取里面的公司网址信息，以及最下面的经营范围信息，这些信息都被加密了。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

z5560636
 楼主| 发表于 2022-8-25 21:26:09 | 显示全部楼层
cflying 发表于 2022-8-25 20:26
https://dj.gymf.com.cn/Wap/Exhibitor/get_exhibit_halls里可以得到每个馆的ID

谢谢大佬，这个问题已经解决。

现在遇见的问题是，里面详情按钮点进去->公司简介 : 想要获取里面的公司网址信息，以及最下面的经营范围信息，这些信息都被加密了。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

鱼cpython学习者
发表于 2022-8-25 22:34:09 | 显示全部楼层
本帖最后由 鱼cpython学习者 于 2022-8-25 22:41 编辑
z5560636 发表于 2022-8-25 21:26
谢谢大佬，这个问题已经解决。

现在遇见的问题是，里面详情按钮点进去->公司简介 : 想要获取里面的公 ...


api地址是
https://dj.gymf.com.cn/Wap/WapInvitate/get_exhibit_exhibitor_info?exhibit_id=59&exhibitor_id=19420&version=2
方法是get
其中
exhibit_id=59    # 固定值
exhibitor_id=id    # 此处的id在我代码中的all_hall_data可以找到
version=2    # 固定值

评分

参与人数 1鱼币 +2 收起 理由
z5560636 + 2 感谢楼主无私奉献！

查看全部评分

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

descia
发表于 2022-8-26 08:21:03 | 显示全部楼层

回帖奖励 +1 鱼币

学习一下
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

hveagle
发表于 2022-8-26 08:58:10 | 显示全部楼层

回帖奖励 +1 鱼币

加油
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

cflying
发表于 2022-8-26 11:12:24 | 显示全部楼层
z5560636 发表于 2022-8-25 21:26
谢谢大佬，这个问题已经解决。

现在遇见的问题是，里面详情按钮点进去->公司简介 : 想要获取里面的公 ...


给个地址看看？
https://dj.gymf.com.cn/fis1/invitation/index/index.shtml?route_page=index&ex_id=59&id=19422&banner=&color=这网址进去啥都没有呀
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

kkl44stupid
发表于 2022-8-26 12:05:13 | 显示全部楼层

回帖奖励 +1 鱼币

牛
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

hornwong
发表于 2022-8-26 13:01:55 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

desc
发表于 2022-8-26 13:48:32 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

一点点儿
发表于 2022-8-26 14:41:39 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

z5560636
 楼主| 发表于 2022-8-26 14:43:25 | 显示全部楼层
cflying 发表于 2022-8-26 11:12
给个地址看看？
https://dj.gymf.com.cn/fis1/invitation/index/index.shtml?route_page=index&ex_id= ...
https://dj.gymf.com.cn/mobile/invitation/index/index.html?route_page=exhibition&ex_id=59
这个页面点进去， 然后随便找一个详情的按钮点击进去，在点公司介绍。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

lnono
发表于 2022-8-26 15:07:42 | 显示全部楼层

回帖奖励 +1 鱼币

学习！
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

cflying
发表于 2022-8-26 15:42:47 | 显示全部楼层
z5560636 发表于 2022-8-26 14:43
这个页面点进去， 然后随便找一个详情的按钮点击进去，在点公司介绍。

https://dj.gymf.com.cn/Wap/WapInvitate/get_exhibit_exhibitor_info?exhibit_id=59&exhibitor_id=19419&version=2

这里面不就是么
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

kerln888
发表于 2022-8-28 08:27:10 | 显示全部楼层

回帖奖励 +1 鱼币

牛
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

1molHF
发表于 2022-8-29 07:44:19 | 显示全部楼层

回帖奖励 +1 鱼币

加油
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

zhangjinxuan
发表于 2022-8-29 08:38:09 | 显示全部楼层

回帖奖励 +1 鱼币

看看
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

white_slacker
发表于 2022-8-29 10:56:14 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

下一页 »
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-16 21:42

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表