设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › python之pandas的基本使用
返回列表 发新帖
查看: 1658|回复: 2

[技术交流] python之pandas的基本使用

[复制链接]
溪水叮咚
发表于 2020-4-1 09:47:49 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
python之pandas的基本使用

一、pandas概述
pandas ：pannel data analysis（面板数据分析）。pandas是基于numpy构建的，为时间序列分析提供了很好的支持。pandas中有两个主要的数据结构，一个是Series，另一个是DataFrame。

二、数据结构 Series
Series 类似于一维数组与字典(map)数据结构的结合。它由一组数据和一组与数据相对应的数据标签（索引index）组成。这组数据和索引标签的基础都是一个一维ndarray数组。可将index索引理解为行索引。 Series的表现形式为：索引在左，数据在右。


• 获取数据和索引：ser_obj.index, ser_obj.values


• 预览数据：ser_obj.head(n), ser_obj.tail(n)


Series的使用代码示例：
  1. import pandas as pd
  2. from pandas import Series,DataFrame

  4. print '用一维数组生成Series'
  5. x = Series([1,2,3,4])
  6. print x
  7. '''
  8. 0    1
  9. 1    2
  10. 2    3
  11. 3    4
  12. '''
  13. print x.values # [1 2 3 4]
  14. # 默认标签为0到3的序号
  15. print x.index # RangeIndex(start=0, stop=4, step=1)

  17. print '指定Series的index' # 可将index理解为行索引
  18. x = Series([1, 2, 3, 4], index = ['a', 'b', 'd', 'c'])
  19. print x
  20. '''
  21. a    1
  22. b    2
  23. d    3
  24. c    4
  25. '''
  26. print x.index # Index([u'a', u'b', u'd', u'c'], dtype='object')
  27. print x['a'] # 通过行索引来取得元素值：1
  28. x['d'] = 6 # 通过行索引来赋值
  29. print x[['c', 'a', 'd']] # 类似于numpy的花式索引
  30. '''
  31. c    4
  32. a    1
  33. d    6
  34. '''
  35. print x[x > 2]  # 类似于numpy的布尔索引
  36. '''
  37. d    6
  38. c    4
  39. '''
  40. print 'b' in x # 类似于字典的使用：是否存在该索引：True
  41. print 'e' in x # False


  44. print '使用字典来生成Series'
  45. data = {'a':1, 'b':2, 'd':3, 'c':4}
  46. x = Series(data)
  47. print x
  48. '''
  49. a    1
  50. b    2
  51. c    4
  52. d    3
  53. '''
  54. print '使用字典生成Series,并指定额外的index，不匹配的索引部分数据为NaN。'
  55. exindex = ['a', 'b', 'c', 'e']
  56. y = Series(data, index = exindex) # 类似替换索引
  57. print y
  58. '''
  59. a    1.0
  60. b    2.0
  61. c    4.0
  62. e    NaN
  63. '''
  64. print 'Series相加，相同行索引相加，不同行索引则数值为NaN'
  65. print x+y
  66. '''
  67. a    2.0
  68. b    4.0
  69. c    8.0
  70. d    NaN
  71. e    NaN
  72. '''
  73. print '指定Series/索引的名字'
  74. y.name = 'weight of letters'
  75. y.index.name = 'letter'
  76. print y
  77. '''
  78. letter
  79. a    1.0
  80. b    2.0
  81. c    4.0
  82. e    NaN
  83. Name: weight of letters, dtype: float64
  84. '''
  85. print '替换index'
  86. y.index = ['a', 'b', 'c', 'f']
  87. print y # 不匹配的索引部分数据为NaN
  88. '''
  89. a    1.0
  90. b    2.0
  91. c    4.0
  92. f    NaN
  93. Name: weight of letters, dtype: float64
  94. '''
复制代码
三、数据结构 DataFrame
DataFrame是一个类似表格的数据结构，索引包括列索引和行索引，包含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame的每一行和每一列都是一个Series，这个Series的name属性为当前的行索引名/列索引名。


通过列索引获取列数据（Series类型 ）：df_obj[col_idx] 或 df_obj.col_idx


.ix，标签与位置混合索引


可输入给DataFrame构造器的数据：
20170118132516344.jpg



DataFrame的使用代码示例：


  1. print '使用字典生成DataFrame，key为列名字。'
  2. data = {'state':['ok', 'ok', 'good', 'bad'],
  3.         'year':[2000, 2001, 2002, 2003],
  4.         'pop':[3.7, 3.6, 2.4, 0.9]}
  5. print DataFrame(data) # 行索引index默认为0，1，2，3
  6. '''
  7.    pop state  year
  8. 0  3.7    ok  2000
  9. 1  3.6    ok  2001
  10. 2  2.4  good  2002
  11. 3  0.9   bad  2003
  12. '''
  13. # 指定列索引columns,不匹配的列为NaN
  14. print DataFrame(data, columns = ['year', 'state', 'pop','debt'])
  15. '''
  16.    year state  pop
  17. 0  2000    ok  3.7
  18. 1  2001    ok  3.6
  19. 2  2002  good  2.4
  20. 3  2003   bad  0.9
  21. '''
  22. print '指定行索引index'
  23. x = DataFrame(data,
  24.                     columns = ['year', 'state', 'pop', 'debt'],
  25.                     index = ['one', 'two', 'three', 'four'])
  26. print x
  27. '''
  28.        year state  pop debt
  29. one    2000    ok  3.7  NaN
  30. two    2001    ok  3.6  NaN
  31. three  2002  good  2.4  NaN
  32. four   2003   bad  0.9  NaN
  33. '''

  35. import numpy
  36. print 'DataFrame元素的索引与修改'
  37. print x['state'] # 返回一个名为state的Series
  38. '''
  39. one        ok
  40. two        ok
  41. three    good
  42. four      bad
  43. Name: state, dtype: object
  44. '''
  45. print x.state # 可直接用.进行列索引
  46. print x.ix['three'] # 用.ix[]来区分[]进行行索引
  47. '''
  48. year     2002
  49. state    good
  50. pop       2.4
  51. debt      NaN
  52. Name: three, dtype: object
  53. '''
  54. x['debt'] = 16.5 # 修改一整列数据
  55. print x
  56. '''
  57.        year state  pop  debt
  58. one    2000    ok  3.7  16.5
  59. two    2001    ok  3.6  16.5
  60. three  2002  good  2.4  16.5
  61. four   2003   bad  0.9  16.5
  62. '''
  63. x.debt = numpy.arange(4)  # 用numpy数组修改元素
  64. print x
  65. '''
  66.        year state  pop  debt
  67. one    2000    ok  3.7     0
  68. two    2001    ok  3.6     1
  69. three  2002  good  2.4     2
  70. four   2003   bad  0.9     3
  71. '''

  73. print '用Series修改元素，没有指定的默认数据用NaN'
  74. val = Series([-1.2, -1.5, -1.7,0], index = ['one', 'two', 'five','six'])
  75. x.debt = val # DataFrame的行索引不变
  76. print x
  77. '''
  78.        year state  pop  debt
  79. one    2000    ok  3.7  -1.2
  80. two    2001    ok  3.6  -1.5
  81. three  2002  good  2.4   NaN
  82. four   2003   bad  0.9   NaN
  83. '''

  85. print '给DataFrame添加新列'
  86. x['gain'] = (x.debt > 0)  # 如果debt大于0为True
  87. print x
  88. '''
  89.        year state  pop  debt   gain
  90. one    2000    ok  3.7  -1.2  False
  91. two    2001    ok  3.6  -1.5  False
  92. three  2002  good  2.4   NaN  False
  93. four   2003   bad  0.9   NaN  False
  94. '''
  95. print x.columns
  96. # Index([u'year', u'state', u'pop', u'debt', u'gain'], dtype='object')

  98. print 'DataFrame转置'
  99. print x.T
  100. '''
  101.          one    two  three   four
  102. year    2000   2001   2002   2003
  103. state     ok     ok   good    bad
  104. pop      3.7    3.6    2.4    0.9
  105. debt    -1.2   -1.5    NaN    NaN
  106. gain   False  False  False  False
  107. '''

  109. print '使用切片初始化数据,未被匹配的数据为NaN'
  110. pdata = {'state':x['state'][0:3], 'pop':x['pop'][0:2]}
  111. y = DataFrame(pdata)
  112. print y
  113. '''
  114.        pop state
  115. one    3.7    ok
  116. three  NaN  good
  117. two    3.6    ok
  118. '''

  120. print '指定索引和列的名称'
  121. # 与Series的index.name相区分
  122. y.index.name = '序号'
  123. y.columns.name = '信息'
  124. print y
  125. '''
  126. 信息 pop state
  127. 序号              
  128. one    3.7    ok
  129. three  NaN  good
  130. two    3.6    ok
  131. '''
  132. print y.values
  133. '''
  134. [[3.7 'ok']
  135. [nan 'good']
  136. [3.6 'ok']]
  137. '''
复制代码


四、索引对象

pandas的索引对象负责管理轴标签和轴名称等。构建Series或DataFrame时，所用到的任何数组或其他序列的标签都会被转换成一个Index对象。 Index对象是不可修改的，Series和DataFrame中的索引都是Index对象。

代码示例：

  1. from pandas import Index
  2. print '获取Index对象'
  3. x = Series(range(3), index = ['a', 'b', 'c'])
  4. index = x.index
  5. print index
  6. # Index([u'a', u'b', u'c'], dtype='object')
  7. print index[0:2]
  8. # Index([u'a', u'b'], dtype='object')
  9. try:
  10.     index[0]='d'
  11. except:
  12.     print "Index is immutable"

  14. print '构造/使用Index对象'
  15. index = Index(numpy.arange(3))
  16. obj2 = Series([1.5, -2.5, 0], index = index)
  17. print obj2
  18. '''
  19. 0    1.5
  20. 1   -2.5
  21. 2    0.0
  22. dtype: float64
  23. '''
  24. print obj2.index is index # True


  27. print '判断列/行索引是否存在'
  28. data = {'pop':{2.4, 2.9},
  29.         'year':{2001, 2002} }
  30. x = DataFrame(data)
  31. print x
  32. '''
  33.           pop          year
  34. 0  {2.4, 2.9}  {2001, 2002}
  35. 1  {2.4, 2.9}  {2001, 2002}
  36. '''
  37. print 'pop' in x.columns # True
  38. print 1 in x.index # True
复制代码


五、基本功能

对列/行索引重新指定索引（删除/增加：行/列）：reindex函数

reindex的method选项：

20170118164406291.jpg

代码示例：

  1. print '重新指定索引及NaN填充值'
  2. x = Series([4, 7, 5], index = ['a', 'b', 'c'])
  3. y = x.reindex(['a', 'b', 'c', 'd'])
  4. print y
  5. '''
  6. a    4.0
  7. b    7.0
  8. c    5.0
  9. d    NaN
  10. dtype: float64
  11. '''
  12. print x.reindex(['a', 'b', 'c', 'd'], fill_value = 0)
  13. # fill_value 指定不存在元素NaN的默认值
  14. '''
  15. a    4
  16. b    7
  17. c    5
  18. d    0
  19. dtype: int64
  20. '''

  22. print '重新指定索引并指定填充NaN的方法'
  23. x = Series(['blue', 'purple'], index = [0, 2])
  24. print x.reindex(range(4), method = 'ffill')
  25. '''
  26. 0      blue
  27. 1      blue
  28. 2    purple
  29. 3    purple
  30. dtype: object
  31. '''

  33. print '对DataFrame重新指定行/列索引'
  34. x = DataFrame(numpy.arange(9).reshape(3, 3),
  35.                   index = ['a', 'c', 'd'],
  36.                   columns = ['A', 'B', 'C'])
  37. print x
  38. '''
  39.    A  B  C
  40. a  0  1  2
  41. c  3  4  5
  42. d  6  7  8
  43. '''
  44. x =  x.reindex(['a', 'b', 'c', 'd'],method = 'bfill')
  45. print x
  46. '''
  47.    A  B  C
  48. a  0  1  2
  49. b  3  4  5
  50. c  3  4  5
  51. d  6  7  8
  52. '''
  53. print '重新指定column'
  54. states = ['A', 'B', 'C','D']
  55. x =  x.reindex(columns = states,fill_value = 0)
  56. print x
  57. '''
  58.    A  B  C  D
  59. a  0  1  2  0
  60. b  3  4  5  0
  61. d  6  7  8  0
  62. c  3  4  5  0
  63. '''
  64. print x.ix[['a', 'b', 'd', 'c'], states]
  65. '''
  66.    A  B  C  D
  67. a  0  1  2  0
  68. b  3  4  5  0
  69. d  6  7  8  0
  70. c  3  4  5  0
  71. '''
复制代码

删除（丢弃）整一行/列的元素：drop函数

  1. print 'Series根据行索引删除行'
  2. x = Series(numpy.arange(4), index = ['a', 'b', 'c','d'])
  3. print x.drop('c')
  4. '''
  5. a    0
  6. b    1
  7. d    3
  8. dtype: int32
  9. '''
  10. print x.drop(['a', 'b'])  #  花式删除
  11. '''
  12. c    2
  13. d    3
  14. dtype: int32
  15. '''

  17. print 'DataFrame根据索引行/列删除行/列'
  18. x = DataFrame(numpy.arange(16).reshape((4, 4)),
  19.                   index = ['a', 'b', 'c', 'd'],
  20.                   columns = ['A', 'B', 'C', 'D'])
  21. print x
  22. '''
  23.     A   B   C   D
  24. a   0   1   2   3
  25. b   4   5   6   7
  26. c   8   9  10  11
  27. d  12  13  14  15
  28. '''
  29. print x.drop(['A','B'],axis=1) # 在列的维度上删除AB两行
  30. '''
  31.     C   D
  32. a   2   3
  33. b   6   7
  34. c  10  11
  35. d  14  15
  36. '''
  37. print x.drop('a', axis = 0) # 在行的维度上删除行
  38. '''
  39.     A   B   C   D
  40. b   4   5   6   7
  41. c   8   9  10  11
  42. d  12  13  14  15
  43. '''
  44. print x.drop(['a', 'b'], axis = 0)
  45. '''
  46.   A   B   C   D
  47. c   8   9  10  11
  48. d  12  13  14  15
  49. '''
复制代码

索引、选取和过滤：

DataFrame的索引选项：

20170118174348085.jpg

  1. print 'Series的数组索引/字典索引'
  2. x = Series(numpy.arange(4), index = ['a', 'b', 'c', 'd'])
  3. print x['b'] # 1 像字典一样索引
  4. print x[1] # 1  像数组一样索引
  5. print x[[1, 3]] # 花式索引
  6. '''
  7. b    1
  8. d    3
  9. dtype: int32
  10. '''
  11. print x[x < 2] # 布尔索引
  12. '''
  13. a    0
  14. b    1
  15. dtype: int32
  16. '''
  17. print 'Series的数组切片'
  18. print x['a':'c']  # 闭区间，索引顺序须为前后
  19. '''
  20. a    0
  21. b    1
  22. c    2
  23. '''
  24. x['a':'c'] = 5
  25. print x
  26. '''
  27. a    5
  28. b    5
  29. c    5
  30. d    3
  31. '''

  33. print 'DataFrame的索引'
  34. data = DataFrame(numpy.arange(16).reshape((4, 4)),
  35.                   index = ['a', 'b', 'c', 'd'],
  36.                   columns = ['A', 'B', 'C', 'D'])
  37. print data
  38. '''
  39.     A   B   C   D
  40. a   0   1   2   3
  41. b   4   5   6   7
  42. c   8   9  10  11
  43. d  12  13  14  15
  44. '''
  45. print data['A'] # 打印列
  46. '''
  47. a     0
  48. b     4
  49. c     8
  50. d    12
  51. Name: A, dtype: int32
  52. '''
  53. print data[['A', 'B']] # 花式索引
  54. '''
  55.     A   B
  56. a   0   1
  57. b   4   5
  58. c   8   9
  59. d  12  13
  60. '''
  61. print data[:2] # 切片索引,选择行
  62. '''
  63.    A  B  C  D
  64. a  0  1  2  3
  65. b  4  5  6  7
  66. '''
  67. print data.ix[:2, ['A', 'B']] # 指定行和列索引
  68. '''
  69.    A  B
  70. a  0  1
  71. b  4  5
  72. '''
  73. print data.ix[['a', 'b'], [3, 0, 1]] #行:字典索引，列:数组索引
  74. '''
  75.    D  A  B
  76. a  3  0  1
  77. b  7  4  5
  78. '''
  79. print data.ix[2]  # 打印第2行（从0开始）
  80. '''
  81. A     8
  82. B     9
  83. C    10
  84. D    11
  85. '''
  86. print data.ix[:'b', 'A'] # 行从开始到b，第A列。
  87. '''
  88. a    0
  89. b    4
  90. Name: A, dtype: int32
  91. '''
  92. print '根据条件选择'
  93. print data
  94. '''
  95.     A   B   C   D
  96. a   0   1   2   3
  97. b   4   5   6   7
  98. c   8   9  10  11
  99. d  12  13  14  15
  100. '''
  101. print data[data.A > 5] # 根据条件选择行
  102. '''
  103.     A   B   C   D
  104. c   8   9  10  11
  105. d  12  13  14  15
  106. '''
  107. print data < 5  # 打印True或者False
  108. '''
  109.        A      B      C      D
  110. a   True   True   True   True
  111. b   True  False  False  False
  112. c  False  False  False  False
  113. d  False  False  False  False
  114. '''
  115. data[data < 5] = 0 # 条件索引
  116. print data
  117. '''
  118.     A   B   C   D
  119. a   0   0   0   0
  120. b   0   5   6   7
  121. c   8   9  10  11
  122. d  12  13  14  15
  123. '''
复制代码

算术运算和数据对齐

代码示例：

  1. print 'DataFrame算术:不重叠部分为NaN,重叠部分元素运算'
  2. x = DataFrame(numpy.arange(9.).reshape((3, 3)),
  3.                 columns = ['A','B','C'],
  4.                 index = ['a', 'b', 'c'])
  5. y = DataFrame(numpy.arange(12).reshape((4, 3)),
  6.                 columns = ['A','B','C'],
  7.                 index = ['a', 'b', 'c', 'd'])
  8. print x
  9. print y
  10. print x + y
  11. '''
  12.       A     B     C
  13. a   0.0   2.0   4.0
  14. b   6.0   8.0  10.0
  15. c  12.0  14.0  16.0
  16. d   NaN   NaN   NaN
  17. '''
  18. print '对x/y的不重叠部分填充，不是对结果NaN填充'
  19. print x.add(y, fill_value = 0) # x不变化
  20. '''

  22.       A     B     C
  23. a   0.0   2.0   4.0
  24. b   6.0   8.0  10.0
  25. c  12.0  14.0  16.0
  26. d   9.0  10.0  11.0
  27. '''

  29. print 'DataFrame与Series运算：每行/列进行运算'
  30. frame = DataFrame(numpy.arange(9).reshape((3, 3)),
  31.                   columns = ['A','B','C'],
  32.                   index = ['a', 'b', 'c'])
  33. series = frame.ix[0]
  34. print frame
  35. '''
  36.    A  B  C
  37. a  0  1  2
  38. b  3  4  5
  39. c  6  7  8
  40. '''
  41. print series
  42. '''
  43. A    0
  44. B    1
  45. C    2
  46. '''
  47. print frame - series # 默认按行运算
  48. '''
  49.    A  B  C
  50. a  0  0  0
  51. b  3  3  3
  52. c  6  6  6
  53. '''
  54. series2 = Series(range(4), index = ['A','B','C','D'])
  55. print frame + series2 # 按行运算：缺失列则为NaN
  56. '''
  57.    A  B   C   D
  58. a  0  2   4 NaN
  59. b  3  5   7 NaN
  60. c  6  8  10 NaN
  61. '''
  62. series3 = frame.A
  63. print series3
  64. '''
  65. a    0
  66. b    3
  67. c    6
  68. '''
  69. print frame.sub(series3, axis = 0)  # 按列运算。
  70. '''
  71.    A  B  C
  72. a  0  1  2
  73. b  0  1  2
  74. c  0  1  2
  75. '''
复制代码

numpy函数应用与映射

代码示例：

  1. print 'numpy函数在Series/DataFrame的应用'
  2. frame = DataFrame(numpy.arange(9).reshape(3,3),
  3.                   columns = ['A','B','C'],
  4.                   index = ['a', 'b', 'c'])
  5. print frame
  6. '''
  7.    A  B  C
  8. a  0  1  2
  9. b  3  4  5
  10. c  6  7  8
  11. '''
  12. print numpy.square(frame)
  13. '''
  14.     A   B   C
  15. a   0   1   4
  16. b   9  16  25
  17. c  36  49  64
  18. '''

  20. series = frame.A
  21. print series
  22. '''
  23. a    0
  24. b    3
  25. c    6
  26. '''
  27. print numpy.square(series)
  28. '''
  29. a     0
  30. b     9
  31. c    36
  32. '''


  35. print 'lambda(匿名函数)以及应用'
  36. print frame
  37. '''

  39.    A  B  C
  40. a  0  1  2
  41. b  3  4  5
  42. c  6  7  8
  43. '''
  44. print frame.max()
  45. '''
  46. A    6
  47. B    7
  48. C    8
  49. '''
  50. f = lambda x: x.max() - x.min()
  51. print frame.apply(f) # 作用到每一列
  52. '''
  53. A    6
  54. B    6
  55. C    6
  56. '''
  57. print frame.apply(f, axis = 1) # 作用到每一行
  58. '''
  59. a    2
  60. b    2
  61. c    2
  62. '''
  63. def f(x): # Series的元素的类型为Series
  64.     return Series([x.min(), x.max()], index = ['min', 'max'])
  65. print frame.apply(f)
  66. '''
  67.      A  B  C
  68. min  0  1  2
  69. max  6  7  8
  70. '''

  72. print 'applymap和map：作用到每一个元素'
  73. _format = lambda x: '%.2f' % x
  74. print frame.applymap(_format) # 针对DataFrame
  75. '''
  76.       A     B     C
  77. a  0.00  1.00  2.00
  78. b  3.00  4.00  5.00
  79. c  6.00  7.00  8.00
  80. '''
  81. print frame['A'].map(_format) # 针对Series
  82. '''
  83. a    0.00
  84. b    3.00
  85. c    6.00
  86. Name: A, dtype: object
  87. '''
复制代码

版权声明：本文为CSDN博主「cxmscb」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/cxmscb/article/details/54632492


小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Hello.
发表于 2020-4-1 09:49:37 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

溪水叮咚
 楼主| 发表于 2020-4-1 09:53:26 | 显示全部楼层
Hello. 发表于 2020-4-1 09:49

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-18 11:29

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表