损失上百万如何解决

Terence888

FishC 发表于 2024-10-26 16:02
出现这个错误的原因是数据框 `X_test` 仍然包含一些无法转换为数值型的数据。我们需要对 `X_test` 做进 ...

1. MSSubClass               float64
   
2. LotArea                  float64
   
3. OverallQual              float64
   
4. OverallCond              float64
   
5. YearBuilt                float64
   
6.                           ...   
   
7. SaleCondition_AdjLand       bool
   
8. SaleCondition_Alloca        bool
   
9. SaleCondition_Family        bool
   
10. SaleCondition_Normal        bool
    
11. SaleCondition_Partial       bool
    
12. Length: 153, dtype: object

复制代码

以上是结果 ，说明数据类型都是数值型了吗

FishC

Terence888 发表于 2024-10-26 16:20
MSSubClass               float64
LotArea          ...

您提供的结果显示，除了 `bool` 类型外，其他都是 `float64` 类型，这些都可以被转换为数值类型。`bool` 类型的列也可以直接转换为 `int` 类型。

在将数据转换为 PyTorch 张量之前，可以按以下步骤进行处理：

1. # 将布尔型转为整数型
   
2. X_test = X_test.astype(int)
   
3. 
   
4. # 转换为 PyTorch 张量
   
5. X_test_tensor = torch.tensor(X_test.values, dtype=torch.float32)
   
6. 
   
7. # 进行预测
   
8. with torch.no_grad():
   
9.     test_output = dnn_model(X_test_tensor)
   
10.     test_output_numpy = test_output.numpy().flatten()  # 将张量转换为 numpy 数组
    
11.    
    
12.     # 假设 X_test 有一个 Id 列用于唯一标识，如果没有需要自行定义
    
13.     submission = pd.DataFrame({'Id': X_test.index, 'SalePrice': test_output_numpy})
    
14.     submission.to_csv('submission.csv', index=False)
    
15. 
    
16. print("Submission file created successfully.")

复制代码

这样，可以确保您的数据框中，所有的布尔型和浮点型数据都不会导致类型问题。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

Terence888

FishC 发表于 2024-10-26 16:20
您提供的结果显示，除了 `bool` 类型外，其他都是 `float64` 类型，这些都可以被转换为数值类型。`bool ...

1. test_data['Id']
   
2. 0       1461
   
3. 1       1462
   
4. 2       1463
   
5. 3       1464
   
6. 4       1465
   
7.         ...
   
8. 1454    2915
   
9. 1455    2916
   
10. 1456    2917
    
11. 1457    2918
    
12. 1458    2919
    
13. Name: Id, Length: 1459, dtype: int64

复制代码

test_data的Id值如何作为新dataframe的id列，以下代码存在报错

1. #模型期望输入的是PyTorch 张量,先将 DataFrame 转换为张量
   
2. 
   
3. X_test = X_test.astype(int)# 将布尔型转为整数型
   
4. X_test_tensor = torch.tensor(X_test.values, dtype=torch.float32)# 转换为 PyTorch 张量
   
5. 
   
6. with torch.no_grad():
   
7.     test_output = dnn_model(X_test_tensor)
   
8.     test_output_numpy = test_output.numpy().flatten() # 将张量转换为 numpy 数组
   
9.     submission = pd.DataFrame({'Id': test_data['Id'].values, 'SalePrice': test_output})
   
10.     #submission.to_csv('submission.csv', index=False)

复制代码

错误如下：

1. ---------------------------------------------------------------------------
   
2. ValueError                                Traceback (most recent call last)
   
3. Cell In[94], line 9
   
4.       7 test_output = dnn_model(X_test_tensor)
   
5.       8 test_output_numpy = test_output.numpy().flatten() # 将张量转换为 numpy 数组
   
6. ----> 9 submission = pd.DataFrame({'Id': test_data['Id'].values, 'SalePrice': test_output})
   
7.      10 #submission.to_csv('submission.csv', index=False)
   
8. 
   
9. File /opt/conda/lib/python3.10/site-packages/pandas/core/frame.py:778, in DataFrame.__init__(self, data, index, columns, dtype, copy)
   
10.     772     mgr = self._init_mgr(
    
11.     773         data, axes={"index": index, "columns": columns}, dtype=dtype, copy=copy
    
12.     774     )
    
13.     776 elif isinstance(data, dict):
    
14.     777     # GH#38939 de facto copy defaults to False only in non-dict cases
    
15. --> 778     mgr = dict_to_mgr(data, index, columns, dtype=dtype, copy=copy, typ=manager)
    
16.     779 elif isinstance(data, ma.MaskedArray):
    
17.     780     from numpy.ma import mrecords
    
18. 
    
19. File /opt/conda/lib/python3.10/site-packages/pandas/core/internals/construction.py:503, in dict_to_mgr(data, index, columns, dtype, typ, copy)
    
20.     499     else:
    
21.     500         # dtype check to exclude e.g. range objects, scalars
    
22.     501         arrays = [x.copy() if hasattr(x, "dtype") else x for x in arrays]
    
23. --> 503 return arrays_to_mgr(arrays, columns, index, dtype=dtype, typ=typ, consolidate=copy)
    
24. 
    
25. File /opt/conda/lib/python3.10/site-packages/pandas/core/internals/construction.py:119, in arrays_to_mgr(arrays, columns, index, dtype, verify_integrity, typ, consolidate)
    
26.     116         index = ensure_index(index)
    
27.     118     # don't force copy because getting jammed in an ndarray anyway
    
28. --> 119     arrays, refs = _homogenize(arrays, index, dtype)
    
29.     120     # _homogenize ensures
    
30.     121     #  - all(len(x) == len(index) for x in arrays)
    
31.     122     #  - all(x.ndim == 1 for x in arrays)
    
32.    (...)
    
33.     125
    
34.     126 else:
    
35.     127     index = ensure_index(index)
    
36. 
    
37. File /opt/conda/lib/python3.10/site-packages/pandas/core/internals/construction.py:629, in _homogenize(data, index, dtype)
    
38.     626         val = dict(val)
    
39.     627     val = lib.fast_multiget(val, oindex._values, default=np.nan)
    
40. --> 629 val = sanitize_array(val, index, dtype=dtype, copy=False)
    
41.     630 com.require_length_match(val, index)
    
42.     631 refs.append(None)
    
43. 
    
44. File /opt/conda/lib/python3.10/site-packages/pandas/core/construction.py:633, in sanitize_array(data, index, dtype, copy, allow_2d)
    
45.     631     else:
    
46.     632         data = np.array(data, copy=copy)
    
47. --> 633     return sanitize_array(
    
48.     634         data,
    
49.     635         index=index,
    
50.     636         dtype=dtype,
    
51.     637         copy=False,
    
52.     638         allow_2d=allow_2d,
    
53.     639     )
    
54.     641 else:
    
55.     642     _sanitize_non_ordered(data)
    
56. 
    
57. File /opt/conda/lib/python3.10/site-packages/pandas/core/construction.py:659, in sanitize_array(data, index, dtype, copy, allow_2d)
    
58.     656             subarr = cast(np.ndarray, subarr)
    
59.     657             subarr = maybe_infer_to_datetimelike(subarr)
    
60. --> 659 subarr = _sanitize_ndim(subarr, data, dtype, index, allow_2d=allow_2d)
    
61.     661 if isinstance(subarr, np.ndarray):
    
62.     662     # at this point we should have dtype be None or subarr.dtype == dtype
    
63.     663     dtype = cast(np.dtype, dtype)
    
64. 
    
65. File /opt/conda/lib/python3.10/site-packages/pandas/core/construction.py:718, in _sanitize_ndim(result, data, dtype, index, allow_2d)
    
66.     716     if allow_2d:
    
67.     717         return result
    
68. --> 718     raise ValueError(
    
69.     719         f"Data must be 1-dimensional, got ndarray of shape {data.shape} instead"
    
70.     720     )
    
71.     721 if is_object_dtype(dtype) and isinstance(dtype, ExtensionDtype):
    
72.     722     # i.e. NumpyEADtype("O")
    
73.     724     result = com.asarray_tuplesafe(data, dtype=np.dtype("object"))
    
74. 
    
75. ValueError: Data must be 1-dimensional, got ndarray of shape (1459, 1) instead

复制代码

FishC

Terence888 发表于 2024-10-26 17:01
test_data
0       1461
1       1462
2       146 ...

错误是因为 `test_output` 是一个二维张量。需要将其转换为一维数组。修正如下：

1. # 模型期望输入的是 PyTorch 张量，先将 DataFrame 转换为张量
   
2. X_test = X_test.astype(int)  # 将布尔型转为整数型
   
3. X_test_tensor = torch.tensor(X_test.values, dtype=torch.float32)  # 转换为 PyTorch 张量
   
4. 
   
5. with torch.no_grad():
   
6.     test_output = dnn_model(X_test_tensor)
   
7.     test_output_numpy = test_output.numpy().flatten()  # 将张量转换为一维 numpy 数组
   
8.     submission = pd.DataFrame({'Id': test_data, 'SalePrice': test_output_numpy})
   
9.     submission.to_csv('submission.csv', index=False)
   
10. 
    
11. print("Submission file created successfully.")

复制代码

### 修正要点：

1. **使用 `flatten()` 将张量展平**：
   - 确保 `test_output` 在转换为 numpy 数组时是一维的。

2. **使用 `test_data` 作为 `Id`**：
   - 确保 `test_data` 是一个包含唯一标识符的有效序列（例如 DataFrame 或 Series）。

这样，您的 `submission` DataFrame 将正确映射 `Id` 列和 `SalePrice` 列。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。