[已解决]Python爬虫项目 动态网页 求解决（微信小红包）

huazisheng

目标网址：

http://gs.amac.org.cn/amac-infod ... er/managerList.html

批量爬取内容：

例子：http://gs.amac.org.cn/amac-infod ... r/101000000138.html





最后一列主要是存放文字数据即可，后续，用于搜索关键词

爬取该页面网址+上述10个栏目内容，共11个列头，写入CSV文件，到指定文件夹下，例如，D:/资料/

最佳答案

月排行榜 / 总排行榜

Stubborn

2019-9-5 13:33:23

http://gs.amac.org.cn/amac-infod ... ;page=1&size=20      这个是翻页的链接   参数

rand: 0.6122678870895568
page: 1
size: 20

看情况，改下page，可以直接请求到，看了下，需要的参数这个链接都有返回，直接请求这个接口

动态网页，重点抓在翻页的时候，向哪里请求到的数据源

跳转到最佳答案楼层

空青

我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

huazisheng

空青 发表于 2019-9-4 09:38
我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

请给出源码，让大家一起研究学习，然后，私聊我，微信红包奉上。

kaohsing

kaohsing

基金.rar (11.87 KB, 下载次数: 7)

2019-9-5 08:44 上传

点击文件名下载附件

Stubborn

http://gs.amac.org.cn/amac-infod ... ;page=1&size=20      这个是翻页的链接   参数

rand: 0.6122678870895568
page: 1
size: 20

看情况，改下page，可以直接请求到，看了下，需要的参数这个链接都有返回，直接请求这个接口

动态网页，重点抓在翻页的时候，向哪里请求到的数据源

huazisheng

kaohsing 发表于 2019-9-5 08:45

不是一页啊，是目标：http://gs.amac.org.cn/amac-infod ... er/managerList.html
共计2万多家企业信息

jinlovelive

自己使用正则去匹配所有链接，这里是学习的，不是来要结果的

huazisheng

import requests
from lxml import etree
import time
import csv
fp=open('C:/Users/Administrator/Desktop/simu.csv','wt',newline='',encoding='utf-8')
writer=csv.writer(fp)
writer.writerow(('网址','企业名称','负责人','成立时间','注册地址','办公地址','实缴资本','机构类型','全职人数','资格人数','机构网址'))
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_info(url):
        res=requests.get(url,headers=headers)
        res.raise_for_status()
        res.encoding=res.apparent_encoding
        seletctor=etree.HTML(res.text)
        企业名称=seletctor.xpath('//*[@id="complaint1"]')[0].text[:-6]
        成立时间=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[7]/td[4]')[0].text
        注册地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[8]/td[2]')[0].text
        办公地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[9]/td[2]')[0].text
        实缴资本=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[10]/td[4]')[0].text
        机构类型=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[12]/td[2]')[0].text
        全职人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[2]')[0].text
        资格人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[4]')[0].text
        负责人=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[22]/td[2]')[0].text
        机构网址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[14]/td[2]/a')[0].text
urls=['http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9208465968384951&page={}&size=100'.format(number) for number in range(1,244)]
for url in urls:
        get_info(url)
        write.writerow((url,企业名称,负责人,成立时间,注册地址,办公地址,实缴资本,机构类型,全职人数,资格人数,机构网址))
        time.sleep(2)
fp.close()

已经很努力了，但还没搞好，求大佬指点。

@kaohsing

huazisheng

Stubborn 发表于 2019-9-5 13:33
http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.6122678870895568&page=1&size=20      这个 ...

rand的参数，每次都是变化的，size改为100,page最多243页

huazisheng

企业名称=re.findall(r'<div id="complaint1" style="display: none;">(.*?)  </div>',res.text)[0]
        #成立时间=re.findall(r'<td class="td-title">成立时间:</td>    <td class="td-content">(.*?)</td>',res.text)
        注册地址=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[1]
        办公地址=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[2]
        实缴资本=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[1]
        机构类型=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[3]
        全职人数=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[4]
        资格人数=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[5]
        #负责人=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[3]
        #机构网址=re.findall(r"(http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*,]|(?:%[0-9a-fA-F][0-9a-fA-F]))+)|([a-zA-Z]+.\w+\.+[a-zA-Z0-9\/_]+)",res.text)

正则寻找，有几个会变化，头痛

风丶少

这个应该不难吧。。

huazisheng

风丶少 发表于 2019-9-10 19:00
这个应该不难吧。。

我是编程小白，新手，谢谢

落叶孤尘

空青 发表于 2019-9-4 09:38
我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

怎么弄啊。。

落叶孤尘

Stubborn 发表于 2019-9-5 13:33
http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.6122678870895568&page=1&size=20      这个 ...

这个参数 应该怎么传入呢。。post方式 data传入么。还需要什么必备参数么