[已解决]爬虫问题

wzdyjn

import requests


def main():
    url = 'https://bscscan.com/token/0xD44FD09d74cd13838F137B590497595d6b3FEeA4#balances'
    headers = {'user-agent': 'firefox'}
    r = requests.get(url, headers=headers)
    print(r.text)


if __name__ == '__main__':
    main()




我想获取 如图所示的数据 获取不到    求帮助 谢谢

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-14 19:17:43

wzdyjn 发表于 2021-11-14 18:37
我想获取的是这个数据  获取不到

从浏览器f12分析，真实的数据在另外的页面，这个页面的的url比较长，在页面的html代码里搜的了以下，这个url里只有sid和p是变动的，其他不变，p是页码，所以只要我们找到sid就能合成url。
我在首页的html代码里搜了sid是js定义的，用etree不方便获取，改用re获取。
合成数据页url后，开始根据需要获取想要的页数，每页的数据存在了tr里，循环所有tr获取其中的值。

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7. 
   
8.     url = 'https://bscscan.com/token/0xD44FD09d74cd13838F137B590497595d6b3FEeA4#balances'  # 主页面
   
9.     headers = {'user-agent': 'firefox'}
   
10.     r = requests.get(url, headers=headers)
    
11.     sid = re.findall(r'var sid = \'(.*?)\'', r.text)[0]  # 从主页面搜索sid，用于合成数据页的url
    
12.     result = []
    
13.     for i in range(1, 3):  # 这里只爬取2页，想爬多一点的页，自己改range即可。
    
14.         url = f'https://bscscan.com/token/generic-tokenholders2?' \
    
15.               f'm=normal&a=0xD44FD09d74cd13838F137B590497595d6b3FEeA4&s=5000000000000000000000000&' \
    
16.               f'sid={sid}&p={i}'  # 构建数据页url，i是第几页
    
17.         r = requests.get(url, headers=headers)
    
18.         html = etree.HTML(r.text)
    
19.         trs = html.xpath('//tbody/tr')  # 使用xpath过滤出表格的每一行，逐行获取
    
20.         for tr in trs:
    
21.             rank = tr.xpath('./td[1]/text()')[0]
    
22.             ads = tr.xpath('./td[2]/span/a/text()')[0]
    
23.             qut = tr.xpath('./td[3]/text()')[0]
    
24.             result.append([rank, ads, qut])  # 存到列表中
    
25.     print(result)  # 打印结果
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

你的代码发全，我用下面的代码能取到内容：

1. import requests
   
2. 
   
3. 
   
4. def main():
   
5.     url = 'https://bscscan.com/token/0xD44FD09d74cd13838F137B590497595d6b3FEeA4#balances'
   
6.     headers = {'user-agent': 'firefox'}
   
7.     r = requests.get(url, headers=headers)
   
8.     print(r.text)
   
9. 
   
10. 
    
11. if __name__ == '__main__':
    
12.     main()
    

复制代码

wzdyjn

suchocolate 发表于 2021-11-14 18:20
你的代码发全，我用下面的代码能取到内容：

我想获取的是这个数据  获取不到

suchocolate

wzdyjn 发表于 2021-11-14 18:37
我想获取的是这个数据  获取不到

从浏览器f12分析，真实的数据在另外的页面，这个页面的的url比较长，在页面的html代码里搜的了以下，这个url里只有sid和p是变动的，其他不变，p是页码，所以只要我们找到sid就能合成url。
我在首页的html代码里搜了sid是js定义的，用etree不方便获取，改用re获取。
合成数据页url后，开始根据需要获取想要的页数，每页的数据存在了tr里，循环所有tr获取其中的值。

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7. 
   
8.     url = 'https://bscscan.com/token/0xD44FD09d74cd13838F137B590497595d6b3FEeA4#balances'  # 主页面
   
9.     headers = {'user-agent': 'firefox'}
   
10.     r = requests.get(url, headers=headers)
    
11.     sid = re.findall(r'var sid = \'(.*?)\'', r.text)[0]  # 从主页面搜索sid，用于合成数据页的url
    
12.     result = []
    
13.     for i in range(1, 3):  # 这里只爬取2页，想爬多一点的页，自己改range即可。
    
14.         url = f'https://bscscan.com/token/generic-tokenholders2?' \
    
15.               f'm=normal&a=0xD44FD09d74cd13838F137B590497595d6b3FEeA4&s=5000000000000000000000000&' \
    
16.               f'sid={sid}&p={i}'  # 构建数据页url，i是第几页
    
17.         r = requests.get(url, headers=headers)
    
18.         html = etree.HTML(r.text)
    
19.         trs = html.xpath('//tbody/tr')  # 使用xpath过滤出表格的每一行，逐行获取
    
20.         for tr in trs:
    
21.             rank = tr.xpath('./td[1]/text()')[0]
    
22.             ads = tr.xpath('./td[2]/span/a/text()')[0]
    
23.             qut = tr.xpath('./td[3]/text()')[0]
    
24.             result.append([rank, ads, qut])  # 存到列表中
    
25.     print(result)  # 打印结果
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()
    

复制代码