[已解决]自己爬不动了，寻求支持

wp231957

1. https://www.philips.com.cn/c-w/search.html#q=%E7%A9%BA%E6%B0%94%E5%87%80%E5%8C%96%E5%99%A8&sort=relevancy

复制代码

这里面有1314条记录   我想获取他们的二级链接

这里面有个payload 面板   完全看不懂啊

这里面q=空气净化器

最佳答案

月排行榜 / 总排行榜

isdkz

2023-4-28 20:54:26

wp231957 发表于 2023-4-28 20:26
略改进：
就是把前面的产品 勾挑
https://www.philips.com.cn/c-w/search.html#q=空气净化器&sort=re ...

1. import requests
   
2. 
   
3. url = 'https://koninklijkephilipsnvproduction2k8xfrmr.org.coveo.com/rest/search/v2'
   
4. headers = {
   
5.     'Authorization': 'Bearer xx0d641857-e140-4e94-af32-ea8fe1063ce8'
   
6. }
   
7. 
   
8. data1 = {'q': '空气净化器', 'facets': '[{"field":"commoncontenttypedict", "currentValues":[{"value":"产品","state":"selected"}]}]'}
   
9. num = requests.post(url, data=data1, headers=headers).json()['totalCount']
   
10. 
    
11. data2={
    
12.     'facets': '[{"field":"commoncontenttypedict", "currentValues":[{"value":"产品","state":"selected"}]}]',
    
13.     "q":"空气净化器",
    
14.     'numberOfResults': num
    
15. }
    
16. 
    
17. 
    
18. resp = requests.post(url, data=data2, headers=headers)
    
19. print(resp.text)
    
20. results = resp.json()['results']
    
21. for i in results:
    
22.     print(i['uri'])
    
23. 
    
24. print(f'一共有{num}个结果')
    

复制代码

跳转到最佳答案楼层

isdkz

1. import requests
   
2. 
   
3. url = 'https://koninklijkephilipsnvproduction2k8xfrmr.org.coveo.com/rest/search/v2'
   
4. headers = {
   
5.     'Authorization': 'Bearer xx0d641857-e140-4e94-af32-ea8fe1063ce8'
   
6. }
   
7. num = requests.post(url, data={'q': '空气净化器'}, headers=headers).json()['totalCount']
   
8. resp = requests.post(url, data={'q': '空气净化器', 'numberOfResults': num}, headers=headers)
   
9. results = resp.json()['results']
   
10. for i in results:
    
11.     print(i['uri'])
    
12. 
    
13. print(f'一共有{num}个结果')
    

复制代码

isdkz

我觉得授人以鱼不如授人以渔，所以在这里给出过程，给你一些 chatgpt 工程师的参考 ：

一、先在浏览器的开发者工具中搜索空气净化器的数据来自于哪个请求



二、然后将该http请求包的内容丢到 chatgpt 询问











三、然后自己调测一下，就有了以下的代码：

1. import requests
   
2. 
   
3. url = 'https://koninklijkephilipsnvproduction2k8xfrmr.org.coveo.com/rest/search/v2'
   
4. headers = {
   
5.     'Authorization': 'Bearer xx0d641857-e140-4e94-af32-ea8fe1063ce8'
   
6. }
   
7. num = requests.post(url, data={'q': '空气净化器'}, headers=headers).json()['totalCount']
   
8. resp = requests.post(url, data={'q': '空气净化器', 'numberOfResults': num}, headers=headers)
   
9. results = resp.json()['results']
   
10. for i in results:
    
11.     print(i['uri'])
    
12. 
    
13. print(f'一共有{num}个结果')
    

复制代码

wp231957

isdkz 发表于 2023-4-28 20:00

略改进：
就是把前面的产品 勾挑
https://www.philips.com.cn/c-w/search.html#q=空气净化器&sort=relevancy&f:@commoncontenttypedict=[产品]

但是代码运行错误：

1. import requests
   
2. 
   
3. url = 'https://koninklijkephilipsnvproduction2k8xfrmr.org.coveo.com/rest/search/v2'
   
4. headers = {
   
5.     'Authorization': 'Bearer xx0d641857-e140-4e94-af32-ea8fe1063ce8'
   
6. }
   
7. num = requests.post(url, data={'q': '空气净化器'}, headers=headers).json()['totalCount']
   
8. 
   
9. data={
   
10.    'facets':
    
11.     {
    
12.         "facetId":"@commoncontenttypedict",
    
13.         "field":"commoncontenttypedict",
    
14.         "type":"specific",
    
15.         "injectionDepth":1000,
    
16.         "filterFacetCount":'true',
    
17.         "currentValues":[{"value":"产品","state":"selected"}],
    
18.         "numberOfValues":8,
    
19.         "freezeCurrentValues":'false',
    
20.         "preventAutoSelect":'false',
    
21.         "isFieldExpanded":'false'
    
22.     },
    
23.     "q":"空气净化器",
    
24.     'numberOfResults': num
    
25. }
    
26. 
    
27. resp = requests.post(url, data=data, headers=headers)
    
28. print(resp.json())
    
29. results = resp.json()['results']
    
30. for i in results:
    
31.     print(i['uri'])
    
32. 
    
33. print(f'一共有{num}个结果')
    
34. 
    
35. 
    
36. 
    

复制代码

wp231957

isdkz 发表于 2023-4-28 20:21
我觉得授人以鱼不如授人以渔，所以在这里给出过程，给你一些 chatgpt 工程师的参考 ：

一、先 ...

谢了，我没有chatgpt

isdkz

wp231957 发表于 2023-4-28 20:26
略改进：
就是把前面的产品 勾挑
https://www.philips.com.cn/c-w/search.html#q=空气净化器&sort=re ...

1. import requests
   
2. 
   
3. url = 'https://koninklijkephilipsnvproduction2k8xfrmr.org.coveo.com/rest/search/v2'
   
4. headers = {
   
5.     'Authorization': 'Bearer xx0d641857-e140-4e94-af32-ea8fe1063ce8'
   
6. }
   
7. 
   
8. data1 = {'q': '空气净化器', 'facets': '[{"field":"commoncontenttypedict", "currentValues":[{"value":"产品","state":"selected"}]}]'}
   
9. num = requests.post(url, data=data1, headers=headers).json()['totalCount']
   
10. 
    
11. data2={
    
12.     'facets': '[{"field":"commoncontenttypedict", "currentValues":[{"value":"产品","state":"selected"}]}]',
    
13.     "q":"空气净化器",
    
14.     'numberOfResults': num
    
15. }
    
16. 
    
17. 
    
18. resp = requests.post(url, data=data2, headers=headers)
    
19. print(resp.text)
    
20. results = resp.json()['results']
    
21. for i in results:
    
22.     print(i['uri'])
    
23. 
    
24. print(f'一共有{num}个结果')
    

复制代码

歌者文明清理员

wp231957 发表于 2023-4-28 20:28
谢了，我没有chatgpt

ai.wuguokai.cn
https://chat2.aichatos.top/
https://chat.jinshutuan.com
等等