[已解决]求助：网络爬虫编码问题！没辙了help！！

花蝴蝶¤

用python2.7爬取股票信息的时候遇到了如下编码问题：

转码前打印了一次发现是ascii格式，然后通过.decode('ascii').encode('utf-8')进行转码，但是转码后还是ascii格式的。并且输出文件里面的内容格式也是有点奇怪 。麻烦帮忙看一下哪里写错了，谢谢


完整代码如下：

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. import traceback
   
6. import re
   
7. import random
   
8. import chardet
   
9. 
   
10. 
    
11. def getHTMLText(url):
    
12.     headers_list = [
    
13.         {
    
14.             "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"},
    
15.         {
    
16.             "User-Agent": "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.66 Safari/535.11"},
    
17.         {
    
18.             "User-Agent": "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.17 Safari/537.11"}
    
19.     ]
    
20.     header = random.choice(headers_list)
    
21.     try:
    
22.         r = requests.get(url = url, headers = header)
    
23.         r.raise_for_status()
    
24.         r.encoding = r.apparent_encoding
    
25.         return r.text
    
26.         #print(r.text)
    
27.     except:
    
28.         return ""
    
29.       
    
30.    
    
31. def getStockList(lst, stockURL):
    
32.     html = getHTMLText(stockURL)
    
33.     # print(chardet.detect(html))
    
34.     soup = BeautifulSoup(html, "html.parser")
    
35.     a = soup.find_all("a")
    
36.     for i in a:
    
37.         try:
    
38.             href = i.attrs['href']
    
39.             lst.append(re.findall(r"[s][hz]\d{6}", href)[0])
    
40.         except:
    
41.             continue
    
42.     # print(chardet.detect(lst))
    
43. 
    
44. 
    
45. def getStockInfo(lst, stockURL, fpath):
    
46.     count = 0
    
47.     for stock in lst:
    
48.         url = stockURL + stock + ".html"
    
49.         html = getHTMLText(url)
    
50.         # print(chardet.detect(html))
    
51.         try:
    
52.             if html == "":
    
53.                 continue
    
54.             infoDict = {}
    
55.             soup = BeautifulSoup(html, "html.parser")
    
56.             stockInfo = soup.find('div', attrs={'class':'stock-bets'})
    
57.             name = stockInfo.find_all(attrs = {'class':'bets-name'})[0]
    
58.             # print(name.text.split()[0])
    
59.             infoDict.update({'股票名称':name.text.split()[0]})
    
60.             # print(infoDict)
    
61.             keyList = stockInfo.find_all('dt')
    
62.             valueList = stockInfo.find_all('dd')
    
63.             for i in range(len(keyList)):
    
64.                 key = keyList[i].text
    
65.                 val = valueList[i].text
    
66.                 # print(chardet.detect(key))
    
67.                 # print(chardet.detect(val))
    
68.                 infoDict[key] = val
    
69.             # print(infoDict)
    
70. 
    
71.             with open(fpath, 'a') as f:
    
72.                 print(chardet.detect(str(infoDict)))
    
73.                 content = str(infoDict).decode('ascii').encode('utf-8')
    
74.                 print(chardet.detect(content))
    
75.                 f.write( content + '\n')
    
76.                 count += 1
    
77.                 print("\r当前进度：{:.2f}%".format(count*100/len(lst)))
    
78.         except:
    
79. 
    
80.             count += 1
    
81.             print ("\r当前进度：{:.2f}%".format(count*100/len(lst)))
    
82.             continue
    
83.             
    
84. 
    
85. def main():
    
86.     stock_list_url = "http://quote.eastmoney.com/stocklist.html"
    
87.     stock_info_url = "https://gupiao.baidu.com/stock/"
    
88.     output_file = './gupiao.txt'
    
89.     slist = []
    
90.     getStockList(slist, stock_list_url)
    
91.     getStockInfo(slist, stock_info_url, output_file)
    
92.    
    
93. main()

复制代码

最佳答案

月排行榜 / 总排行榜

wei_Y

2017-9-3 13:04:29

花蝴蝶¤ 发表于 2017-9-2 20:17
输出的文件内容是中文吗

没注意你的python是2.7。
直接用str将字典转换成字符串这个方法在2.7是有问题的。
你可以换个方法。

1. with .. as f:
   
2.     f.write('{')
   
3.     for i in dict:
   
4.         f.write(i+':'+dict[i])
   
5.     f.write('}')

复制代码

跳转到最佳答案楼层

花蝴蝶¤

刚刚才发现贴中的代码多了一条线。。可能是论坛限制了，直接复制代码应该可以粘贴的，粘贴不了哪位大神愿意帮忙看一下的话我可以再单独发！

domenet

decode('gbk').encode('utf-8')

花蝴蝶¤

domenet 发表于 2017-8-30 20:43
decode('gbk').encode('utf-8')

不好意思回复慢了。decode('gbk').encode('utf-8')改了还是不行。

wei_Y

你这应该是个mac吧。
改下python默认编码试下。

1. import sys
   
2. reload(sys)
   
3. sys.setdefaultencoding('utf-8')
   

复制代码

花蝴蝶¤

谢谢你的帮助，我用的系统是ubuntu.16.4版本的，加你给的代码后运行程序没有报错但是也没有结果输出。请问代码在你电脑上能正常输出吗

花蝴蝶¤

wei_Y 发表于 2017-9-2 09:56
你这应该是个mac吧。
改下python默认编码试下。

谢谢你的帮助，我用的系统是ubuntu.16.4版本的，加你给的代码后运行程序没有报错但是也没有结果输出。请问代码在你电脑上能正常输出吗

wei_Y

花蝴蝶¤ 发表于 2017-9-2 19:28
谢谢你的帮助，我用的系统是ubuntu.16.4版本的，加你给的代码后运行程序没有报错但是也没有结果输出。 ...

我这里是win7, py3.4. 把用了chardet的去掉正常运行。

花蝴蝶¤

wei_Y 发表于 2017-9-2 19:43
我这里是win7, py3.4. 把用了chardet的去掉正常运行。

输出的文件内容是中文吗

wei_Y

花蝴蝶¤ 发表于 2017-9-2 20:17
输出的文件内容是中文吗

没注意你的python是2.7。
直接用str将字典转换成字符串这个方法在2.7是有问题的。
你可以换个方法。

1. with .. as f:
   
2.     f.write('{')
   
3.     for i in dict:
   
4.         f.write(i+':'+dict[i])
   
5.     f.write('}')

复制代码

花蝴蝶¤

wei_Y 发表于 2017-9-3 13:04
没注意你的python是2.7。
直接用str将字典转换成字符串这个方法在2.7是有问题的。
你可以换个方法。

很奇怪，用了这种方式输出文件里面没有内容只有很多的左括号‘{’。但是在pycharm里面打印write之前的数据是能显示中文的。

花蝴蝶¤

wei_Y 发表于 2017-9-3 13:04
没注意你的python是2.7。
直接用str将字典转换成字符串这个方法在2.7是有问题的。
你可以换个方法。

可以了！把你教的两种方法都一起用上输出就是中文了，多谢啊！