[已解决]python爬虫爬取知识库，json报文无法完整获取

过去的云雾

最近想把统信uos的问题库离线化，在爬取过程中发现无法获取完整的返回，无论使用httpx还是用requests。也试过selenium，同样的结果。其中有意思的是firefox中对响应报文提示响应已截断，chrome没有类似提示也能够完整的获取json响应内容。

1. import httpx
   
2. import json
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. 
   
6. def getHtml():
   
7.     data = []
   
8.     header = {"User-Agent": "Chrome/96.0.4664.45 Safari/537.36"}
   
9.     url = "https://ecology.chinauos.com/adaptidentification/uos/knowledge/everyoneget?parent=%E7%B3%BB%E7%BB%9F%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98&type=%E5%85%B6%E4%BB%96%E7%B3%BB%E7%BB%9F%E9%97%AE%E9%A2%98&"
   
10.     try:
    
11.         resp = httpx.get(url, headers = header)
    
12.     finally:
    
13.         resp.close()
    
14.     print(resp.content)
    
15.    
    
16. def dataReact(html):
    
17.     soup = BeautifulSoup(html,'lxml')
    
18.     print(soup.prettify())
    
19.    
    
20. if __name__ == '__main__':
    
21.     textHtml = []
    
22.     html = getHtml()

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-23 15:25:17

过去的云雾 发表于 2021-11-23 14:55
请看一下原贴中的截图，python库取回的结果不完整，报文被截断了

我没有httpx库，用requests库爬下来保存文件看，数据全的。

1. import requests
   
2. 
   
3. 
   
4. def main():
   
5.     url = "https://ecology.chinauos.com/adaptidentification/uos/knowledge/everyoneget?parent=%E7%B3%BB%E7%BB%9F%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98&type=%E5%85%B6%E4%BB%96%E7%B3%BB%E7%BB%9F%E9%97%AE%E9%A2%98&"
   
6.     headers = {'user-agent': 'firefox'}
   
7.     r = requests.get(url, headers=headers)
   
8.     with open('r.txt', 'w', encoding='utf-8') as f:
   
9.         f.write(r.text)
   
10. 
    
11. 
    
12. if __name__ == '__main__':
    
13.     main()
    
14. 
    

复制代码

你把你用httpx下载的页面保存成文本看看呢，可能显示上会有截取。

跳转到最佳答案楼层

suchocolate

我看得到1278项，这也不完整吗？

过去的云雾

不完整，03003-00105

suchocolate

过去的云雾 发表于 2021-11-22 13:32
不完整，03003-00105

03003-00105是指什么？

过去的云雾

suchocolate 发表于 2021-11-22 14:07
03003-00105是指什么？

我错了，好像只有1278条数据

suchocolate

过去的云雾 发表于 2021-11-23 10:56
我错了，好像只有1278条数据

是不是还有下一页的url，访问那一页才能得到后面的数据？

过去的云雾

suchocolate 发表于 2021-11-23 12:00
是不是还有下一页的url，访问那一页才能得到后面的数据？

没有了，就是这个页面

suchocolate

过去的云雾 发表于 2021-11-23 13:33
没有了，就是这个页面

那接下来处理这些数据就可以了。

过去的云雾

suchocolate 发表于 2021-11-23 13:38
那接下来处理这些数据就可以了。

请看一下原贴中的截图，python库取回的结果不完整，报文被截断了

suchocolate

过去的云雾 发表于 2021-11-23 14:55
请看一下原贴中的截图，python库取回的结果不完整，报文被截断了

我没有httpx库，用requests库爬下来保存文件看，数据全的。

1. import requests
   
2. 
   
3. 
   
4. def main():
   
5.     url = "https://ecology.chinauos.com/adaptidentification/uos/knowledge/everyoneget?parent=%E7%B3%BB%E7%BB%9F%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98&type=%E5%85%B6%E4%BB%96%E7%B3%BB%E7%BB%9F%E9%97%AE%E9%A2%98&"
   
6.     headers = {'user-agent': 'firefox'}
   
7.     r = requests.get(url, headers=headers)
   
8.     with open('r.txt', 'w', encoding='utf-8') as f:
   
9.         f.write(r.text)
   
10. 
    
11. 
    
12. if __name__ == '__main__':
    
13.     main()
    
14. 
    

复制代码

你把你用httpx下载的页面保存成文本看看呢，可能显示上会有截取。

过去的云雾

suchocolate 发表于 2021-11-23 15:25
我没有httpx库，用requests库爬下来保存文件看，数据全的。

你把你用httpx下载的页面保存成文本看看呢 ...

可以获取到，谢谢