[已解决]pyspark报错

澍梵.

dataZscore：

1. dataZscore = (dataTransformed - dataTransformed.mean(axis=0)) /dataTransformed.std(axis=0)
   
2. dataZscore.columns = ['Z' + i for i in dataTransformed.columns]
   
3. dataZscore.head()
   
4. 
   
5.         ZL         ZR         ZF         ZM         ZC
   
6. 0         1.435707         -0.944948         14.034016         26.761154         0.315041
   
7. 1         1.307152         -0.911894         9.073213         13.126864         0.315041
   
8. 2         1.328381         -0.889859         8.718869         12.653481         0.315041
   
9. 3         0.658476         -0.416098         0.781585         12.540622         0.315041
   
10. 4         0.386032         -0.922912         9.923636         13.898736         0.315041
    

复制代码

1. #Kmeans
   
2. #导入工具包
   
3. import time
   
4. import pyspark.ml.clustering as clu
   
5. # 获取程序运行前时间
   
6. start = time.time()
   
7. #通过上图观察可知最好的簇数量为5
   
8. #初始化Kmeans模型
   
9. kmodel = clu.KMeans(k=5, initMode='k-means||', initSteps=10,maxIter=300, seed=0)
   
10. kmodel.fit(dataZscore)
    
11. # # 获取程序运行结束后时间
    
12. # end = time.time()
    
13. # print(f"使用K-means聚类算法的运行时间为：%.3fs" % (end-start))
    
14. # # 聚类算法的评价指标CH值的计算：
    
15. # score = calinski_harabaz_score(dataZscore, labels)  # 至越大表示聚类效果越好
    
16. # print("CH值：", score)

复制代码

一直报错，没办法解决

1. ---------------------------------------------------------------------------
   
2. AttributeError                            Traceback (most recent call last)
   
3. <ipython-input-87-01ba619cc4ab> in <module>()
   
4.      16 # kmodel = KMeans(k=5 ,maxIter=300, initSteps=10, initMode='k-means||', seed=0)
   
5.      17 kmodel = clu.KMeans(k=5, initMode='k-means||', initSteps=10,maxIter=300, seed=0)
   
6. ---> 18 kmodel.fit(dataZscore)
   
7.      19 # kmodel = KMeans(k=5 ,maxIter=300)
   
8.      20 # kmodel.fit(dataZscore)
   
9. 
   
10. ~/hadoop/spark/python/pyspark/ml/base.py in fit(self, dataset, params)
    
11.     159                 return self.copy(params)._fit(dataset)
    
12.     160             else:
    
13. --> 161                 return self._fit(dataset)
    
14.     162         else:
    
15.     163             raise ValueError("Params must be either a param map or a list/tuple of param maps, "
    
16. 
    
17. ~/hadoop/spark/python/pyspark/ml/wrapper.py in _fit(self, dataset)
    
18.     333
    
19.     334     def _fit(self, dataset):
    
20. --> 335         java_model = self._fit_java(dataset)
    
21.     336         model = self._create_model(java_model)
    
22.     337         return self._copyValues(model)
    
23. 
    
24. ~/hadoop/spark/python/pyspark/ml/wrapper.py in _fit_java(self, dataset)
    
25.     330         """
    
26.     331         self._transfer_params_to_java()
    
27. --> 332         return self._java_obj.fit(dataset._jdf)
    
28.     333
    
29.     334     def _fit(self, dataset):
    
30. 
    
31. ~/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py in __getattr__(self, name)
    
32.    4370             if self._info_axis._can_hold_identifiers_and_holds_name(name):
    
33.    4371                 return self[name]
    
34. -> 4372             return object.__getattribute__(self, name)
    
35.    4373
    
36.    4374     def __setattr__(self, name, value):
    
37. 
    
38. AttributeError: 'DataFrame' object has no attribute '_jdf'

复制代码

1. 'DataFrame' object has no attribute '_jdf'

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2022-4-29 20:58:12

参考文章：https://stackoverflow.com/questi ... as-no-attribute-jdf

DataFrame 对象没有 _jdf 属性，将 DataFrame 对象转换为 Spark 对象试试看？

1. from pyspark.sql import SQLContext
   
2. sc = SparkContext.getOrCreate()
   
3. sqlContext = SQLContext(sc)
   
4. 
   
5. spark_dff = sqlContext.createDataFrame(panada_df)

复制代码

跳转到最佳答案楼层

Twilight6

参考文章：https://stackoverflow.com/questi ... as-no-attribute-jdf

DataFrame 对象没有 _jdf 属性，将 DataFrame 对象转换为 Spark 对象试试看？

1. from pyspark.sql import SQLContext
   
2. sc = SparkContext.getOrCreate()
   
3. sqlContext = SQLContext(sc)
   
4. 
   
5. spark_dff = sqlContext.createDataFrame(panada_df)

复制代码

澍梵.

Twilight6 发表于 2022-4-29 20:58
参考文章：https://stackoverflow.com/questions/55604506/error-attributeerror-dataframe-object-has-no- ...

这个解决了，但是又报新错

1. IllegalArgumentException                  Traceback (most recent call last)
   
2. <ipython-input-53-ce53578cdb27> in <module>()
   
3.      12 # kmodel = KMeans(k=5 ,maxIter=300, initSteps=10, initMode='k-means||', seed=0)
   
4.      13 kmodel = clu.KMeans(k=5, initMode='k-means||', initSteps=10,maxIter=300, seed=0)
   
5. ---> 14 kmodel.fit(spark_df)
   
6.      15 # kmodel = KMeans(k=5 ,maxIter=300)
   
7.      16 # kmodel.fit(dataZscore)
   
8. 
   
9. ~/hadoop/spark/python/pyspark/ml/base.py in fit(self, dataset, params)
   
10.     159                 return self.copy(params)._fit(dataset)
    
11.     160             else:
    
12. --> 161                 return self._fit(dataset)
    
13.     162         else:
    
14.     163             raise ValueError("Params must be either a param map or a list/tuple of param maps, "
    
15. 
    
16. ~/hadoop/spark/python/pyspark/ml/wrapper.py in _fit(self, dataset)
    
17.     333
    
18.     334     def _fit(self, dataset):
    
19. --> 335         java_model = self._fit_java(dataset)
    
20.     336         model = self._create_model(java_model)
    
21.     337         return self._copyValues(model)
    
22. 
    
23. ~/hadoop/spark/python/pyspark/ml/wrapper.py in _fit_java(self, dataset)
    
24.     330         """
    
25.     331         self._transfer_params_to_java()
    
26. --> 332         return self._java_obj.fit(dataset._jdf)
    
27.     333
    
28.     334     def _fit(self, dataset):
    
29. 
    
30. ~/hadoop/spark/python/lib/py4j-0.10.9-src.zip/py4j/java_gateway.py in __call__(self, *args)
    
31.    1303         answer = self.gateway_client.send_command(command)
    
32.    1304         return_value = get_return_value(
    
33. -> 1305             answer, self.gateway_client, self.target_id, self.name)
    
34.    1306
    
35.    1307         for temp_arg in temp_args:
    
36. 
    
37. ~/hadoop/spark/python/pyspark/sql/utils.py in deco(*a, **kw)
    
38.     115                 # Hide where the exception came from that shows a non-Pythonic
    
39.     116                 # JVM exception message.
    
40. --> 117                 raise converted from None
    
41.     118             else:
    
42.     119                 raise
    
43. 
    
44. IllegalArgumentException: features does not exist. Available: ZL, ZR, ZF, ZM, ZC

复制代码

Twilight6

澍梵. 发表于 2022-4-29 22:07
这个解决了，但是又报新错

这不太清楚了

澍梵.

Twilight6 发表于 2022-4-29 22:09
这不太清楚了

好的吧，感谢了！