鱼C论坛

 找回密码
 立即注册
查看: 475|回复: 4

[已解决]request库 解码问题

[复制链接]
发表于 2020-2-19 09:38:02 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import requests
import pandas as pd
import  numpy as np
import matplotlib.pyplot as plt
import datetime
from bs4 import BeautifulSoup
import sys
import chardet
print(sys.getdefaultencoding())

url1='http://www.dce.com.cn/publicweb/quotesdata/exportMemberDealPosiQuotesBatchData.html'
headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'}

form = {    "memberDealPosiQuotes.trade_type": "0",
            "contract.contract_id": "all",
            "year": "2020",
            "month": "2",
            "day": "11",
            "batchExportFlag": "batch"}

r = requests.post(url = url1, headers=headers,data = form)
print(r.headers)
print(chardet.detect(r.content))
print(r.content.decode('ISO-8859-1'))

输出结果为:
utf-8
{'Date': 'Wed, 19 Feb 2020 00:59:24 GMT', 'Server': 'ABC', 'charset': 'ISO-8859-1', 'Content-Disposition': 'attachment;filename=20200211_DCE_DPL.zip', 'Content-Type': 'application/octet-stream;charset=utf-8', 'Vary': 'Accept-Encoding', 'Keep-Alive': 'timeout=5, max=200', 'Connection': 'Keep-Alive', 'Transfer-Encoding': 'chunked'}
{'encoding': None, 'confidence': 0.0, 'language': None}

I$òe4#é)WH÷ìì~è&#155; %!y&#187;{zoY&#155;e&#197;&#143;&#187;&#188;Z&#206;NYáw&#238;`{~é_&#248;&#157;-&#207;|o V&#223;&#239;=&#153;&#143;&#135;té&#246;|re&#196;&#245;&#143;&#138;&#255;ü&#238;OnD&#207;6767ü&#160;·&#184;&#255;u>1X&#188;Tt&#231;á&#248;&#235;/!:&#203;>&#255;a&#155;ˉà##&#140;&#235;P&#140;á4&#255;êlyw&#229;o&#239;üThtpì&#246;_&#196;0}&#255;&#238;<&#203;&#138;ˉ7[&#139;&#171;aV&#230; I&#190;9u&#248;&#190;1Aáh&#244;jù~&#187;&#136;&#148;é\&#248;&#142;&#229;&#138;r&#212;&#156;q4&#246;×ó&#209;5&#152;d"gT&#160;.ems&#131;0YT&#189;q&#239;&#159;f<7ê&#160;Nxe#7}&#132;r&#196;&#248;&#147;,£9uüYà&#174;&#212;&#137;&#228;¨küê×óù1&#155;ü&#251;!°!&&#248;&#141;:&#188;&#172;g&#238;f'ú3&#156;&#139;&#160;nP&#135;×&#223;-&#235;TR&#212;&#137; ù&#219;&#160;&#251;&#219;a&#212;inmD&#153;2&#161;>&#144;,x/>TT2SB&#153;|ü*&#153;&#135;&#251;1ò§P@w&#184;á        &#194;&#155;p2<¤&#143;E&#246;&#195;Q&#149;èR¢?GO0á&#128;&#229;′f&#128;&#149;51=°&#245;t&#189;ú:&#174;dt&#212;&#182;8]a&#246;{t~Pê&#219;#há&#141;&#213;;&#248;&#203;&#188;-d        .&#214;2X.&#153;-&#190;y-&#146;1)&#138;ü±v&#227;&#153;&#219;&#219;/e&#206;á[éPY&#134;&#149;&#223;&#214;ˉF&#184;D9¤&#230;·&&#203;&#155;s&#156;&#161;s&#134;&#153;è1M&#251;/&#128;aZ&#198;C×?D&#134;ˉ]&#194;0HMbà&#141;úk)2&#198;"&#188;&#174;&#187;=&#149;&#133;&#227;I&#196;&#182;&#129;&#157;2&#213;ùF&#203;T ^3&#136;kw&#133;%&#182;T&#169;à&#223;êe_w4&#137;&#144;6 &#146;X§U        D:&#161;A&#212;&#152;'8&#194;ícP.! Z&#161;ùhGe;&#145;,K&#255;9¢E$&#209;ú&#196;dc&&#152;&#197;KèV&#153;

&#198;&#151;&#213;íY&#229;¢jT-m
&#230;Tób&#131;ó Z&#154;(l&#172; &#134;&#141;&#213;2B°&#198;&#195;cIüáj&#235;&#189;-5&#248;|&#195;×è31FX.&#153;t&#246;`_·±·6_&#203;'Mì5&#151; ·
G¥X&#174;&#188;a &#151;&#244;o&#190;|0à&#241;&#151;üfw&#143;&#227;&#213;6àêi&#244;àòjrD&#133;&#195;O&#251;h&#157;>&#158;±à!`U&#134;%è&#142;Qa×/&#216;2ò
i~6&#136;&#138;bLkv}U&#203;(W&#136;&#146;[ì?&#230;Oê-D?&#131; k&#128;&#239;&#227;&#197;"&#223;!3"&#128;3e&#161;a7?&#231;÷&#245;qEüB        á;8¤%-àu&#134;&#248;]&#145;K2&#213;&#255;&#189;6[I
£EE.]Nj3&#161;&#172;A&#136;&#138;ü&#214;&#147;ù$ê&#188;&#130;&#138;ü&#150; *,&#142;6C1


输出问题内容为乱码
输出结果为乱码,请哪位大神帮忙给解答一下。

最佳答案
2020-2-19 09:42:26
  1. import requests
  2. import pandas as pd
  3. import numpy as np
  4. import matplotlib.pyplot as plt
  5. import datetime
  6. from bs4 import BeautifulSoup
  7. import sys
  8. import chardet

  9. print(sys.getdefaultencoding())

  10. url1 = 'http://www.dce.com.cn/publicweb/quotesdata/exportMemberDealPosiQuotesBatchData.html'
  11. headers = {
  12.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
  13.                   '(KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'}

  14. form = {"memberDealPosiQuotes.trade_type": "0",
  15.         "contract.contract_id": "all",
  16.         "year": "2020",
  17.         "month": "2",
  18.         "day": "11",
  19.         "batchExportFlag": "batch"}

  20. r = requests.post(url=url1, headers=headers, data=form)
  21. print(r.headers)
  22. print(chardet.detect(r.content))
  23. print(r.content.decode())
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-19 09:42:26 | 显示全部楼层    本楼为最佳答案   
  1. import requests
  2. import pandas as pd
  3. import numpy as np
  4. import matplotlib.pyplot as plt
  5. import datetime
  6. from bs4 import BeautifulSoup
  7. import sys
  8. import chardet

  9. print(sys.getdefaultencoding())

  10. url1 = 'http://www.dce.com.cn/publicweb/quotesdata/exportMemberDealPosiQuotesBatchData.html'
  11. headers = {
  12.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
  13.                   '(KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'}

  14. form = {"memberDealPosiQuotes.trade_type": "0",
  15.         "contract.contract_id": "all",
  16.         "year": "2020",
  17.         "month": "2",
  18.         "day": "11",
  19.         "batchExportFlag": "batch"}

  20. r = requests.post(url=url1, headers=headers, data=form)
  21. print(r.headers)
  22. print(chardet.detect(r.content))
  23. print(r.content.decode())
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2020-2-19 09:43:38 | 显示全部楼层
我这里用上面那段代码没问题。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-2-19 09:47:52 | 显示全部楼层
zltzlt 发表于 2020-2-19 09:43
我这里用上面那段代码没问题。

谢谢支持,应该是我爬取网址不对,这个网址只是对于当日的。运行没有问题是没有成功导入问题。
还是谢谢版主
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-2-19 09:48:34 | 显示全部楼层
srxh17 发表于 2020-2-19 09:47
谢谢支持,应该是我爬取网址不对,这个网址只是对于当日的。运行没有问题是没有成功导入问题。
还是谢谢 ...


我这里测试得到的 encoding 是 utf-8 ,你的怎么是 None ?

PS:如果你的问题已解决,请设置【最佳答案】。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-3-2 18:25

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表