[已解决]Pandas保存excel的一些疑问 希望大佬帮忙~

admintest166

在爬取完 安居客的数据以后 想保存为excel 方便做数据分析

但是我每爬取一页数据写入excel时 都会覆盖掉前一页的数据  想问下各位大佬有什么方法 可以不覆盖原有数据 新数据追加在后面的方法呢

1. import requests
   
2. from pyquery import PyQuery as pq
   
3. import re
   
4. import pandas as pd
   
5. import time
   
6. b=[]
   
7. 
   
8. headers={
   
9.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47'
   
10. }
    
11. for i in range(1,3):
    
12.     print(i)
    
13.     url='https://gl.zu.anjuke.com/fangyuan/p{}/'.format(i)
    
14.     request=requests.get(url,headers=headers).text
    
15.     doc=pq(request)
    
16. 
    
17. 
    
18.     #房品名称
    
19.     Real_estate=[]
    
20.     #a=doc('a .strongbox').eq(2).text()
    
21. 
    
22.     #提取房品名称
    
23. 
    
24. 
    
25.     a=doc('.zu-info a b').items()
    
26.     for i in a:
    
27.         Real_estate.append(i.text())
    
28. 
    
29.     print(len(Real_estate))
    
30.     #提取面积及楼层
    
31.     b=doc('.details-item.tag').text().split(' ')
    
32.     data = [x for i,x in enumerate(b) if x.find('\ue147') != -1]
    
33.     #删除元素
    
34.     for i in data:
    
35.         b.remove(i)
    
36. 
    
37.     print(b)
    
38.     #提取租房小区名称
    
39.     c=doc('.details-item a').text().split(' ')
    
40. 
    
41. 
    
42.     #提取租房区域
    
43.     d=doc('.zu-info address').text()
    
44. 
    
45.     dd=re.findall(r'[\u4e00-\u9fa5]{2}-',d)
    
46. 
    
47.     #提取租金
    
48.     f=doc('.zu-side p b').text().split()
    
49.     time.sleep(5)
    
50. 
    
51.     pf1=pd.DataFrame()
    
52.     pf1['房品名称']=Real_estate
    
53. 
    
54.     pf2=pd.DataFrame()
    
55.     pf2['面积及楼层']=b
    
56. 
    
57.     pf3=pd.DataFrame()
    
58.     pf3['小区名称']=c
    
59. 
    
60.     pf4=pd.DataFrame()
    
61.     pf4['房子区域']=dd
    
62. 
    
63.     pf5=pd.DataFrame()
    
64.     pf5['租金']=f
    
65. 
    
66.     pf=pd.concat([pf1,pf2,pf3,pf4,pf5],axis=1)
    
67.     pf.to_excel('E:\\pytest\\租房数据.xlsx',index=False)
    
68. 
    
69.     print('保存完毕')
    
70. 
    
71. 
    
72. 
    

复制代码

下面是写入数据的情况 爬取了3页的数据 每页大概是60条数据 按道理来说应该有120以上的数据 但是只有60条 而且还覆盖了前一页的数据

最佳答案

月排行榜 / 总排行榜

xiangjianshinan

2022-8-13 12:14:52

1. import requests
   
2. from pyquery import PyQuery as pq
   
3. import re
   
4. import pandas as pd
   
5. import time
   
6. b=[]
   
7. mydata = [[].copy() for _ in range(5)]
   
8. headers={
   
9.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47'
   
10. }
    
11. for i in range(1,3):
    
12.     print(i)
    
13.     url='https://gl.zu.anjuke.com/fangyuan/p{}/'.format(i)
    
14.     request=requests.get(url,headers=headers).text
    
15.     doc=pq(request)
    
16. 
    
17. 
    
18.     #房品名称
    
19.     Real_estate=[]
    
20.     #a=doc('a .strongbox').eq(2).text()
    
21. 
    
22.     #提取房品名称
    
23. 
    
24. 
    
25.     a=doc('.zu-info a b').items()
    
26.     for i in a:
    
27.         Real_estate.append(i.text())
    
28. 
    
29.     print(len(Real_estate))
    
30.     #提取面积及楼层
    
31.     b=doc('.details-item.tag').text().split(' ')
    
32.     data = [x for i,x in enumerate(b) if x.find('\ue147') != -1]
    
33.     #删除元素
    
34.     for i in data:
    
35.         b.remove(i)
    
36. 
    
37.     print(b)
    
38.     #提取租房小区名称
    
39.     c=doc('.details-item a').text().split(' ')
    
40. 
    
41. 
    
42.     #提取租房区域
    
43.     d=doc('.zu-info address').text()
    
44. 
    
45.     dd=re.findall(r'[\u4e00-\u9fa5]{2}-',d)
    
46. 
    
47.     #提取租金
    
48.     f=doc('.zu-side p b').text().split()
    
49.     time.sleep(5)
    
50. 
    
51. 
    
52.     # pf1=pd.DataFrame()
    
53.     # pf1['房品名称']=Real_estate
    
54.     #
    
55.     # pf2=pd.DataFrame()
    
56.     # pf2['面积及楼层']=b
    
57.     #
    
58.     # pf3=pd.DataFrame()
    
59.     # pf3['小区名称']=c
    
60.     #
    
61.     # pf4=pd.DataFrame()
    
62.     # pf4['房子区域']=dd
    
63.     #
    
64.     # pf5=pd.DataFrame()
    
65.     # pf5['租金']=f
    
66.     mydata[0].extend(Real_estate)
    
67.     mydata[1].extend(b)
    
68.     mydata[2].extend(c)
    
69.     mydata[3].extend(dd)
    
70.     mydata[4].extend(f)
    
71. 
    
72. mydata_a = {
    
73.     '房品名称':mydata[0],
    
74.     '面积及楼层':mydata[1],
    
75.     '小区名称':mydata[2],
    
76.     '房子区域':mydata[3],
    
77.     '租金':mydata[4],
    
78. }
    
79. 
    
80. pf=pd.DataFrame(mydata_a)
    
81. pf.to_excel('E:\\pytest\\租房数据.xlsx',index=False)
    
82. print('保存完毕')
    
83. 
    
84. 
    
85. 
    

复制代码

跳转到最佳答案楼层

xiangjianshinan

1. import requests
   
2. from pyquery import PyQuery as pq
   
3. import re
   
4. import pandas as pd
   
5. import time
   
6. b=[]
   
7. mydata = [[].copy() for _ in range(5)]
   
8. headers={
   
9.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47'
   
10. }
    
11. for i in range(1,3):
    
12.     print(i)
    
13.     url='https://gl.zu.anjuke.com/fangyuan/p{}/'.format(i)
    
14.     request=requests.get(url,headers=headers).text
    
15.     doc=pq(request)
    
16. 
    
17. 
    
18.     #房品名称
    
19.     Real_estate=[]
    
20.     #a=doc('a .strongbox').eq(2).text()
    
21. 
    
22.     #提取房品名称
    
23. 
    
24. 
    
25.     a=doc('.zu-info a b').items()
    
26.     for i in a:
    
27.         Real_estate.append(i.text())
    
28. 
    
29.     print(len(Real_estate))
    
30.     #提取面积及楼层
    
31.     b=doc('.details-item.tag').text().split(' ')
    
32.     data = [x for i,x in enumerate(b) if x.find('\ue147') != -1]
    
33.     #删除元素
    
34.     for i in data:
    
35.         b.remove(i)
    
36. 
    
37.     print(b)
    
38.     #提取租房小区名称
    
39.     c=doc('.details-item a').text().split(' ')
    
40. 
    
41. 
    
42.     #提取租房区域
    
43.     d=doc('.zu-info address').text()
    
44. 
    
45.     dd=re.findall(r'[\u4e00-\u9fa5]{2}-',d)
    
46. 
    
47.     #提取租金
    
48.     f=doc('.zu-side p b').text().split()
    
49.     time.sleep(5)
    
50. 
    
51. 
    
52.     # pf1=pd.DataFrame()
    
53.     # pf1['房品名称']=Real_estate
    
54.     #
    
55.     # pf2=pd.DataFrame()
    
56.     # pf2['面积及楼层']=b
    
57.     #
    
58.     # pf3=pd.DataFrame()
    
59.     # pf3['小区名称']=c
    
60.     #
    
61.     # pf4=pd.DataFrame()
    
62.     # pf4['房子区域']=dd
    
63.     #
    
64.     # pf5=pd.DataFrame()
    
65.     # pf5['租金']=f
    
66.     mydata[0].extend(Real_estate)
    
67.     mydata[1].extend(b)
    
68.     mydata[2].extend(c)
    
69.     mydata[3].extend(dd)
    
70.     mydata[4].extend(f)
    
71. 
    
72. mydata_a = {
    
73.     '房品名称':mydata[0],
    
74.     '面积及楼层':mydata[1],
    
75.     '小区名称':mydata[2],
    
76.     '房子区域':mydata[3],
    
77.     '租金':mydata[4],
    
78. }
    
79. 
    
80. pf=pd.DataFrame(mydata_a)
    
81. pf.to_excel('E:\\pytest\\租房数据.xlsx',index=False)
    
82. print('保存完毕')
    
83. 
    
84. 
    
85. 
    

复制代码

cflying

要么前后数据合并成一个，然后最后一次写入
要么用open或者xwl追加写入

Py与C。。。

多加一条

1. writer = pd.ExcelWriter(表格名)
   
2. pf.to_excel(writer, sheet_name='sheet1')
   
3. writer.save()
   

复制代码

theS

你的pf.to_excel是在for循环里面的，所以最终保存的只有一页数据。

admintest166

theS 发表于 2022-8-13 13:14
你的pf.to_excel是在for循环里面的，所以最终保存的只有一页数据。

如果不在for 循环里面 也是只有一页的数据

admintest166

Py与C。。。 发表于 2022-8-13 12:57
多加一条

试了 还是会覆盖前一页的数据

xiangjianshinan

另外，你这里range(1,3) 爬取的只有2页，而不是3页。