爬取天天基金（手机端）开放式基金持仓前十位

疾风怪盗

近期被股市当韭菜狠狠割了一刀，怕了怕了。。。。。。。
但突然想到，各大所谓赚钱的基金都在买些啥股票。。。。。。
于是爬取了天天基金上开放式基金的持仓，爬的是手机网页，貌似手机上的排行和PC上还不一样
代码如下：

1. import requests
   
2. import time
   
3. import datetime
   
4. import json
   
5. import pandas as pd
   
6. 
   
7. 
   
8. # 目标：爬取天天基金网，开放基金中股票型基金的持仓股票情况
   
9. 
   
10. class TianTian_Fund():
    
11.     def __init__(self):
    
12.         # 获取基金排行url
    
13. 
    
14.         self.fund_name_url = 'https://fundmobapi.eastmoney.com/FundMNewApi/FundMNRankNewList?fundtype={}&SortColumn=RZDF&Sort=desc&pageIndex={}&pagesize=30&companyid=&deviceid=Wap&plat=Wap&product=EFund&version=2.0.0&Uid=&_=1599579446935'
    
15.         # 获取基金调仓日期rul
    
16.         self.fund_position_url_1 = 'https://fundmobapi.eastmoney.com/FundMApi/FundIVInfo.ashx?FCODE={}&deviceid=Wap&plat=Wap&product=EFund&version=2.0.0&Uid='
    
17.         # 获取基金仓位情况rul
    
18.         self.fund_position_url_2 = 'https://fundmobapi.eastmoney.com/FundMNewApi/FundMNInverstPosition?FCODE={}&deviceid=Wap&plat=Wap&product=EFund&version=2.0.0&Uid=&DATE={}'
    
19.         self.headers_1 = {
    
20.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'}
    
21.         # 保存数据
    
22.         self.data = []
    
23. 
    
24.         date_temp = datetime.datetime.now()  # 获取当前日期
    
25.         self.date = str(date_temp.year) + str(date_temp.month).zfill(2) + str(date_temp.day).zfill(2)  # 获取当前日期，年月日
    
26. 
    
27.     def Get_Fund_Nname(self, t, page_nums):
    
28.         for page_num in range(1, page_nums):
    
29.             fund_name_url = self.fund_name_url.format(t, page_num)  # 构造地址
    
30.             print(f'正在爬取第{page_num}页，url为{fund_name_url}')
    
31. 
    
32.             fund_name_response = requests.get(url=fund_name_url, headers=self.headers_1)
    
33.             fund_name_str = fund_name_response.content.decode('utf-8')  # 获取数据
    
34.             # fund_name_str=fund_name_str[fund_name_str.index('(')+1:-1]#把字符串前后不能解析为json的内容去除，变成字典形式，就能解析为json
    
35.             # print(fund_name_str)
    
36.             fund_name_data = json.loads(fund_name_str)  # 解析为json格式
    
37.             fund_name_data = fund_name_data['Datas']
    
38.             self.Save_Fund_data(fund_name_data, page_num)  # 保存json原始数据
    
39. 
    
40.             for i in range(len(fund_name_data)):
    
41.                 data_temp = {}
    
42.                 data_temp['fund_name'] = fund_name_data[i]['SHORTNAME']  # 提取基金名称
    
43.                 data_temp['fund_value'] = fund_name_data[i]['DWJZ']  # 提取基金净值
    
44.                 data_temp['fund_date'] = fund_name_data[i]['FSRQ']  # 提取日期
    
45.                 data_temp['fund_id'] = fund_name_data[i]['FCODE']  # 提取基金编号id
    
46.                 stock = self.Get_Fund_Position(data_temp['fund_id'])
    
47.                 data_temp['stock'] = stock
    
48.                 self.data.append(data_temp)
    
49.             time.sleep(3)
    
50.         print(self.data)
    
51. 
    
52.     def Save_Fund_data(self, fund_name_data, page_num):  # 保存数据
    
53.         with open(f'{self.date}天天基金-名称-{page_num}.json', mode='w', encoding='utf-8') as file:
    
54.             json.dump(fund_name_data, file, ensure_ascii=False, indent=4)
    
55.             print('保存成功')
    
56. 
    
57.     def Save_Fund_all(self):  # 保存数据
    
58.         with open(f'{self.date}天天基金.csv', mode='w', encoding='utf-8') as file:
    
59.             # 表头
    
60.             file.write('fund_name' + ',' + 'fund_value' + ',' + 'fund_date' + ',' + 'fund_id' + ',')
    
61.             for j in range(1, 11):
    
62.                 file.write(f'stock_name{j}' + ',' + f'stock_position{j}' + ',' + f'stock_operation{j}' + ',')
    
63.             file.write('\n')
    
64.             # 内容
    
65.             for i in self.data:
    
66.                 file.write(i['fund_name'] + ',' + i['fund_value'] + ',' + i['fund_date'] + ',' + i['fund_id'] + ',')
    
67.                 if i['stock'] != None:
    
68.                     for k in i['stock']:
    
69.                         file.write(str(k['stock_name']) + ',' + str(k['stock_position']) + ',' + str(
    
70.                             k['stock_operation']) + ',')
    
71.                 else:
    
72.                     for k in range(10):
    
73.                         file.write('' + ',' + '' + ',' + '' + ',')
    
74.                 file.write('\n')
    
75. 
    
76.     def Get_Fund_Position(self, fund_id):
    
77.         # 先获取调仓日期
    
78.         fund_position_url_1 = self.fund_position_url_1.format(fund_id)
    
79.         print(fund_position_url_1)
    
80.         fund_position_response_1 = requests.get(url=fund_position_url_1, headers=self.headers_1)
    
81.         fund_position_str_1 = fund_position_response_1.content.decode()
    
82.         fund_position_json_1 = json.loads(fund_position_str_1)
    
83.         fund_position_date = fund_position_json_1['Datas'][0]['DATE']  # 获取最新调仓日期
    
84.         try:
    
85.             fund_position_date = fund_position_date[0]
    
86.         except:
    
87.             fund_position_date = None
    
88.         time.sleep(1)
    
89.         stock_all = []
    
90.         if fund_position_date != None:
    
91.             # 再获取仓位信息
    
92.             fund_position_url_2 = self.fund_position_url_2.format(fund_id, fund_position_date)
    
93.             print(fund_position_url_2)
    
94.             fund_position_response_2 = requests.get(url=fund_position_url_2, headers=self.headers_1)
    
95.             fund_position_str_2 = fund_position_response_2.content.decode()
    
96.             fund_position_json_2 = json.loads(fund_position_str_2)
    
97.             fund_position_json_2 = fund_position_json_2['Datas']['fundStocks']
    
98. 
    
99.             for i in range(len(fund_position_json_2)):
    
100.                 stock = {}
     
101.                 stock['stock_name'] = fund_position_json_2[i]['GPJC']
     
102.                 stock['stock_position'] = fund_position_json_2[i]['JZBL'] + '%'
     
103.                 stock['stock_operation'] = fund_position_json_2[i]['PCTNVCHGTYPE']
     
104.                 stock_all.append(stock)
     
105.             time.sleep(1)
     
106.         else:
     
107.             stock = {'stock_name': None, 'stock_position': None, 'stock_operation': None}
     
108.             stock_all.append(stock)
     
109.         return stock_all
     
110. 
     
111.     def Process_Data(self):
     
112.         data = pd.read_csv(f'{self.date}天天基金.csv', sep=',')
     
113.         # print(data.info())
     
114.         with open(f'{self.date}持仓股分析.txt', mode='w', encoding='utf-8') as file:
     
115.             for n in range(1, 11):
     
116.                 data1 = data.groupby(by=f'stock_name{n}').count()['fund_name']  # 最多持仓股
     
117.                 a = [i for i in data1.values]
     
118.                 b = [i for i in data1.index]
     
119.                 c = f'stock_name{n}分析：持仓股最多的股票为‘{b[a.index(max(a))]}’，一共{len(data)}个基金，有{max(a)}家持仓' + '\n'
     
120.                 print(c)
     
121.                 file.write(c)
     
122. 
     
123. 
     
124. if __name__ == '__main__':
     
125.     time1 = datetime.datetime.now()
     
126.     tiantian = TianTian_Fund()
     
127.     t = 27  # t=25股票型基金，t=26#指数型基金,t=27#混合型基金
     
128.     page_nums = 10
     
129.     tiantian.Get_Fund_Nname(t, page_nums)  # 传入页码参数
     
130.     tiantian.Save_Fund_all()
     
131.     time2 = datetime.datetime.now()
     
132.     delta = time1 - time2
     
133.     print(f'耗时{delta.seconds}秒')
     
134.     tiantian.Process_Data()
     

复制代码

爬取混合型基金，10页270个基金的前十位持仓内容，都是2020-6-30的调仓数据，比较慢，没用多线程之类的提速，大概花了25多分钟
stock_name1分析：持仓股最多的股票为‘贵州茅台’，一共270个基金，有39家持仓
stock_name2分析：持仓股最多的股票为‘中国平安’，一共270个基金，有34家持仓
stock_name3分析：持仓股最多的股票为‘招商银行’，一共270个基金，有26家持仓
stock_name4分析：持仓股最多的股票为‘恒瑞医药’，一共270个基金，有23家持仓
stock_name5分析：持仓股最多的股票为‘中信证券’，一共270个基金，有10家持仓
stock_name6分析：持仓股最多的股票为‘伊利股份’，一共270个基金，有12家持仓
stock_name7分析：持仓股最多的股票为‘中信证券’，一共270个基金，有12家持仓
stock_name8分析：持仓股最多的股票为‘中信证券’，一共270个基金，有10家持仓
stock_name9分析：持仓股最多的股票为‘中信证券’，一共270个基金，有8家持仓
stock_name10分析：持仓股最多的股票为‘中信证券’，一共270个基金，有10家持仓

仅作参考！虽然参考意义不大。。。。。。。。。。。。。。。

shadowmage

谢谢分享。
其实同样的思路，爬取定投榜单前10基金，进行定投，应该也是可以赚钱的。
另外，换个思路，找蓝筹股持股的基金，进行投资，赚钱几率也比较高吧。

Jameszsj

来向作者学下一下

hornwong

ooclk

taohuazhu

学习一下

Wzzhxy1

谢谢分享

牛魔王王

学习学习

P老板

看看

Mitzy

xuexi

吃饱饭打豆豆

看看

0aijiuaile

谢谢分享。

Le878857162

看看

chongma

想看啊，

yyl999

谢谢分享...

muchen1403

学习

rsj0315

看看

思齐贤

123

龙舞九天

菜头啊大

看看