selenium获取源码是乱码

青出于蓝

代码如下：

1. from selenium import webdriver
   
2. 
   
3. driver = webdriver.Chrome()
   
4. driver.get('https://ai.hxkj.vip/')
   
5. 
   
6. html_source = driver.page_source
   
7. 
   
8. print(html_source)
   
9. driver.quit()
   

复制代码

selenium相对于requests的优点之一是不会出现乱码，但这到底是什么情况

问过chatgpt，各种办法都没用

isdkz

没有乱码呀

青出于蓝

isdkz 发表于 2023-6-27 18:40
没有乱码呀

我把源码保存成html文件是这样子：

                               
登录/注册后可看大图

你可以把这个与开发者工具里看到的源码对比，差别很大
求教

isdkz

青出于蓝 发表于 2023-6-27 19:00
我把源码保存成html文件是这样子：

你可以把这个与开发者工具里看到的源码对比，差别很大

你是怎么保存的？

青出于蓝

isdkz 发表于 2023-6-27 19:07
你是怎么保存的？

with open(1.html,’w’) as a:
    a.write……

歌者文明清理员

青出于蓝 发表于 2023-6-27 19:31
with open(1.html,’w’) as a:
    a.write……

1. with open("1.html", 'w', encoding='utf-8') as f:
   
2.     f.write(

复制代码

isdkz

青出于蓝 发表于 2023-6-27 19:31
with open(1.html,’w’) as a:
    a.write……

因为这个网站的代码在元数据那里指定的编码为 utf-8，所以浏览器会以 utf-8 编码来解码，但是你在windows中写入文件不加编码的时候默认是 gbk 编码，因为编码不一致所以导致了乱码



你可以先从元数据中获取编码再以指定编码写入文件：

1. import re
   
2. 
   
3. from selenium import webdriver
   
4. 
   
5. driver = webdriver.Chrome()
   
6. driver.get('https://ai.hxkj.vip/')
   
7. 
   
8. html_source = driver.page_source
   
9. 
   
10. pattern = '<meta charset="(.*?)">'
    
11. result = re.search(pattern, html_source)
    
12. encoding = result.group(1) if result else result
    
13. 
    
14. with open('1.html', 'w', encoding=encoding) as a:
    
15.         a.write(html_source)
    
16. driver.quit()
    

复制代码

cflying

乱码无非就是编码问题

歌者文明清理员

好了吗，只求

                               
登录/注册后可看大图

青出于蓝

@FishC

1. import requests,json
   
2. headers = {
   
3.         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
   
4. url='http://www.6002255.com/'
   
5. data={
   
6.         "input": '最后一页',#input('歌曲名：'),
   
7.         "filter": "name",
   
8.         "type": "lizhi",
   
9.         "page": "1"
   
10. }
    
11. response=json.loads(requests.post(url,headers=headers,data=data))
    
12. print(response)

复制代码

1. Traceback (most recent call last):
   
2.   File "C:\Users\shuoguo-win10\Desktop\333.py", line 11, in <module>
   
3.     response=json.loads(requests.post(url,headers=headers,data=data))
   
4.   File "C:\Users\shuoguo-win10\AppData\Local\Programs\Python\Python39\lib\json\__init__.py", line 339, in loads
   
5.     raise TypeError(f'the JSON object must be str, bytes or bytearray, '
   
6. TypeError: the JSON object must be str, bytes or bytearray, not Response

复制代码

FishC

青出于蓝 发表于 2024-05-05 10:01
@FishC
import requests,json
headers = {
        ...

你的代码出错的原因是`requests.post()`返回的是一个`Response`对象，而`json.loads()`方法要求传入的参数是一个字符串、字节或字节数组类型的JSON对象。你需要将`Response`对象转换成字符串，然后再解析成JSON对象。

以下是修正后的代码：

1. import requests
   
2. import json
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
   
6. }
   
7. 
   
8. url = 'http://www.6002255.com/'
   
9. 
   
10. data = {
    
11.     "input": '最后一页',  # input('歌曲名：'),
    
12.     "filter": "name",
    
13.     "type": "lizhi",
    
14.     "page": "1"
    
15. }
    
16. 
    
17. response = requests.post(url, headers=headers, data=data)
    
18. response_text = response.text
    
19. response_json = json.loads(response_text)
    
20. 
    
21. print(response_json)

复制代码

这样就能够正常解析JSON对象了。注意，如果返回的是字节类型的内容，则需要使用`response.content`进行解析。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

青出于蓝

FishC 发表于 2024-5-5 10:01
你的代码出错的原因是`requests.post()`返回的是一个`Response`对象，而`json.loads()`方法要求传入的 ...

Traceback (most recent call last):
  File "C:\Users\shuoguo-win10\Desktop\333.py", line 19, in <module>
    response_json = json.loads(response_text)
  File "C:\Users\shuoguo-win10\AppData\Local\Programs\Python\Python39\lib\json\__init__.py", line 346, in loads
    return _default_decoder.decode(s)
  File "C:\Users\shuoguo-win10\AppData\Local\Programs\Python\Python39\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\shuoguo-win10\AppData\Local\Programs\Python\Python39\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

FishC

青出于蓝 发表于 2024-05-05 10:02
Traceback (most recent call last):
  File "C:\Use ...

这个错误通常是由于返回的内容不是有效的JSON导致的。可以尝试检查一下返回的内容是否包含有效的JSON数据。

你可以使用以下代码进行调试，输出返回的文本内容，查看其中是否包含JSON数据：

1. import requests
   
2. 
   
3. headers = {
   
4.     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
   
5. }
   
6. 
   
7. url = 'http://www.6002255.com/'
   
8. 
   
9. data = {
   
10.     "input": '最后一页',
    
11.     "filter": "name",
    
12.     "type": "lizhi",
    
13.     "page": "1"
    
14. }
    
15. 
    
16. response = requests.post(url, headers=headers, data=data)
    
17. response_text = response.text
    
18. 
    
19. print(response_text)

复制代码

请确保这个文本内容是JSON格式的数据，否则如果返回的不是有效的JSON，你需要检查请求参数、请求头、URL等是否正确，并根据具体的接口文档来进行调整和处理。

希望这个能够帮到你！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。