[已解决]Python爬虫项目 动态网页 求解决（微信小红包）

huazisheng

目标网址：

http://gs.amac.org.cn/amac-infod ... er/managerList.html

批量爬取内容：

例子：http://gs.amac.org.cn/amac-infod ... r/101000000138.html





最后一列主要是存放文字数据即可，后续，用于搜索关键词

爬取该页面网址+上述10个栏目内容，共11个列头，写入CSV文件，到指定文件夹下，例如，D:/资料/

最佳答案

月排行榜 / 总排行榜

Stubborn

2019-9-5 13:33:23

http://gs.amac.org.cn/amac-infod ... ;page=1&size=20      这个是翻页的链接   参数

1. rand: 0.6122678870895568
   
2. page: 1
   
3. size: 20

复制代码

看情况，改下page，可以直接请求到，看了下，需要的参数这个链接都有返回，直接请求这个接口

动态网页，重点抓在翻页的时候，向哪里请求到的数据源

跳转到最佳答案楼层

空青

我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

huazisheng

空青 发表于 2019-9-4 09:38
我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

请给出源码，让大家一起研究学习，然后，私聊我，微信红包奉上。

kaohsing

kaohsing

基金.rar (11.87 KB, 下载次数: 7)

2019-9-5 08:44 上传

点击文件名下载附件

Stubborn

http://gs.amac.org.cn/amac-infod ... ;page=1&size=20      这个是翻页的链接   参数

1. rand: 0.6122678870895568
   
2. page: 1
   
3. size: 20

复制代码

看情况，改下page，可以直接请求到，看了下，需要的参数这个链接都有返回，直接请求这个接口

动态网页，重点抓在翻页的时候，向哪里请求到的数据源

huazisheng

kaohsing 发表于 2019-9-5 08:45

不是一页啊，是目标：http://gs.amac.org.cn/amac-infod ... er/managerList.html
共计2万多家企业信息

jinlovelive

自己使用正则去匹配所有链接，这里是学习的，不是来要结果的

huazisheng

1. import requests
   
2. from lxml import etree
   
3. import time
   
4. import csv
   
5. fp=open('C:/Users/Administrator/Desktop/simu.csv','wt',newline='',encoding='utf-8')
   
6. writer=csv.writer(fp)
   
7. writer.writerow(('网址','企业名称','负责人','成立时间','注册地址','办公地址','实缴资本','机构类型','全职人数','资格人数','机构网址'))
   
8. headers = {
   
9.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
   
10. }
    
11. def get_info(url):
    
12.         res=requests.get(url,headers=headers)
    
13.         res.raise_for_status()
    
14.         res.encoding=res.apparent_encoding
    
15.         seletctor=etree.HTML(res.text)
    
16.         企业名称=seletctor.xpath('//*[@id="complaint1"]')[0].text[:-6]
    
17.         成立时间=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[7]/td[4]')[0].text
    
18.         注册地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[8]/td[2]')[0].text
    
19.         办公地址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[9]/td[2]')[0].text
    
20.         实缴资本=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[10]/td[4]')[0].text
    
21.         机构类型=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[12]/td[2]')[0].text
    
22.         全职人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[2]')[0].text
    
23.         资格人数=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[13]/td[4]')[0].text
    
24.         负责人=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[22]/td[2]')[0].text
    
25.         机构网址=seletctor.xpath('/html/body/div/div[2]/div/table/tbody/tr[14]/td[2]/a')[0].text
    
26. urls=['http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9208465968384951&page={}&size=100'.format(number) for number in range(1,244)]
    
27. for url in urls:
    
28.         get_info(url)
    
29.         write.writerow((url,企业名称,负责人,成立时间,注册地址,办公地址,实缴资本,机构类型,全职人数,资格人数,机构网址))
    
30.         time.sleep(2)
    
31. fp.close()

复制代码

已经很努力了，但还没搞好，求大佬指点。

@kaohsing

huazisheng

Stubborn 发表于 2019-9-5 13:33
http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.6122678870895568&page=1&size=20      这个 ...

rand的参数，每次都是变化的，size改为100,page最多243页

huazisheng

1. 企业名称=re.findall(r'<div id="complaint1" style="display: none;">(.*?) &nbsp</div>',res.text)[0]
   
2.         #成立时间=re.findall(r'<td class="td-title">成立时间:</td>    <td class="td-content">(.*?)</td>',res.text)
   
3.         注册地址=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[1]
   
4.         办公地址=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[2]
   
5.         实缴资本=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[1]
   
6.         机构类型=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[3]
   
7.         全职人数=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[4]
   
8.         资格人数=re.findall(r'<td class="td-content">(.*?)</td>',res.text)[5]
   
9.         #负责人=re.findall(r'<td class="td-content" colspan="3">(.*?)</td>',res.text)[3]
   
10.         #机构网址=re.findall(r"(http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*,]|(?:%[0-9a-fA-F][0-9a-fA-F]))+)|([a-zA-Z]+.\w+\.+[a-zA-Z0-9\/_]+)",res.text)

复制代码

正则寻找，有几个会变化，头痛

风丶少

这个应该不难吧。。

huazisheng

风丶少 发表于 2019-9-10 19:00
这个应该不难吧。。

我是编程小白，新手，谢谢

落叶孤尘

空青 发表于 2019-9-4 09:38
我刚试了下，不是很简单么，有点爬虫基础应该就能弄出来的啊。

怎么弄啊。。

落叶孤尘

Stubborn 发表于 2019-9-5 13:33
http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.6122678870895568&page=1&size=20      这个 ...

这个参数 应该怎么传入呢。。post方式 data传入么。还需要什么必备参数么