[已解决]第054讲：论一只爬虫的自我修养2：实战

小伤口

老版54讲甲鱼老师用python进行翻译
因为俺没找到有道在线翻译
所以我换成了百度翻译

1. import urllib.request
   
2. import urllib.parse
   
3. url='https://fanyi.baidu.com/v2transapi?from=zh&to=en'
   
4. data={}
   
5. data['from']= 'zh'
   
6. data['to']= 'en'
   
7. data['query']= '昨日大雪纷飞'
   
8. data['transtype']= 'realtime'
   
9. data['simple_means_flag']= '3'
   
10. data['sign']= '864819.643330'
    
11. data['token']= '8ae61c874326aaec6916ceab4c8bac3c'
    
12. data['domain']= 'common'
    
13. 
    
14. data=urllib.parse.urlencode(data).encode('utf-8')
    
15. response=urllib.request.urlopen(url,data)
    
16. data=urllib.parse.urlencode(data)
    
17. html=response.read().decode('utf-8')
    
18. print(html)
    
19. 
    

复制代码

不过报错了

1. Traceback (most recent call last):
   
2.   File "C:\Users\ASUS\AppData\Local\Programs\Python\Python37\lib\urllib\parse.py", line 858, in urlencode
   
3.     raise TypeError
   
4. TypeError
   
5. 
   
6. During handling of the above exception, another exception occurred:
   
7. 
   
8. Traceback (most recent call last):
   
9.   File "C:\Users\ASUS\Desktop\搜狗翻译爬取.py", line 16, in <module>
   
10.     data=urllib.parse.urlencode(data)
    
11.   File "C:\Users\ASUS\AppData\Local\Programs\Python\Python37\lib\urllib\parse.py", line 866, in urlencode
    
12.     "or mapping object").with_traceback(tb)
    
13.   File "C:\Users\ASUS\AppData\Local\Programs\Python\Python37\lib\urllib\parse.py", line 858, in urlencode
    
14.     raise TypeError
    
15. TypeError: not a valid non-string sequence or mapping object#不是有效的非字符串序列或映射对象
    

复制代码

是我代码或方法的问题
还是网页不允许呀
能烦请各位帮俺解解惑吗

为什莫俺找的有道翻译都翻译不了呀
谢谢大家了

最佳答案

月排行榜 / 总排行榜

笨鸟学飞

2020-12-14 10:26:14

小伤口 发表于 2020-12-14 10:19
还是不行
我试试有道吧
但是俺的有道全是get类型欸

有道翻译url:http://fanyi.youdao.com/
有道是采用的post

百度不是啊，百度直接转换url就行了
例如百度翻译小甲鱼，直接访问url
https://fanyi.baidu.com/?aldtype=16047#zh/en/小甲鱼
这就清楚了吧，zh表示原文是中文，en表示翻译成英文，待翻译的原文是小甲鱼

跳转到最佳答案楼层

笨鸟学飞

加个User-Agent伪装下浏览器标识试试看

小小小菜菜菜

按照下面加上个User-Agent信息看看

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. url ="http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
   
6. 
   
7. #此处是使用Request方法时直接在里边加入headers参数
   
8. '
   
9. head = {}
   
10. head["User-Agent"]= "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
    
11. '
    
12. 
    
13. data ={}
    
14. data["i"] ="I am  busing learn the language"
    
15. data["from"] = "AUTO"
    
16. data["to"] = "AUTO"
    
17. data["smartresult"] = "dict"
    
18. data["client"] = "fanyideskweb"
    
19. data["salt"] = "1532682135404"
    
20. data["sign"] = "76e5abce434c682300cb2d488bf326e8"
    
21. data["doctype"] = "json"
    
22. data["version"] = "2.1"
    
23. data["keyfrom"] = "fanyi.web"
    
24. data["action"] = "FY_BY_REALBUTTON"
    
25. data["typoResult"] = "false"
    
26. 
    
27. data = urllib.parse.urlencode(data).encode("utf-8")
    
28. req = urllib.request.Request(url,data,head)#使用Request方法在请求中加入headers参数先获得请求
    
29. 
    
30. response = urllib.request.urlopen(req)#在使用urlopen函数打开
    
31. html = reponse.read().decode("utf-8")#在windows上可以不用decode()解码
    
32. 
    
33. target = json.loads(html)
    
34. print(target['translateResult'][0][0]['tgt'])

复制代码

守望星星

学习

qq1151985918

小伤口

小小小菜菜菜 发表于 2020-12-13 22:29
按照下面加上个User-Agent信息看看

还是不行报错内容：需要一个整数（got类型字典）
我试试有道吧
但是俺的有道全是get类型欸
所以我想要一下你们的有道翻译网址
可以吗

小伤口

笨鸟学飞 发表于 2020-12-13 21:01
加个User-Agent伪装下浏览器标识试试看

还是不行报错内容：需要一个整数（got类型字典）
我试试有道吧
但是俺的有道全是get类型欸
所以我想要一下你们的有道翻译网址
可以吗

笨鸟学飞

小伤口 发表于 2020-12-14 10:19
还是不行
我试试有道吧
但是俺的有道全是get类型欸

有道翻译url:http://fanyi.youdao.com/
有道是采用的post

百度不是啊，百度直接转换url就行了
例如百度翻译小甲鱼，直接访问url
https://fanyi.baidu.com/?aldtype=16047#zh/en/小甲鱼
这就清楚了吧，zh表示原文是中文，en表示翻译成英文，待翻译的原文是小甲鱼

小伤口

笨鸟学飞 发表于 2020-12-14 10:26
有道翻译url:http://fanyi.youdao.com/
有道是采用的post

(⊙o⊙)哦
涨知识了
所以用有道的方法就不行了两者翻译的方法不一样
对吗

qq1151985918

老板你没发现你代码有问题吗？你代码第16行和第14行，看看，
第14行已经把data编码过了，你第16行还要把编码过后的再编一次他的格式类型能正确么？？
你把第16行data=urllib.parse.urlencode(data)注释掉再试试

qq1151985918

老板你没发现你代码有问题吗？你代码第16行和第14行，看看，
第14行已经把data编码过了，你第16行还要把编码过后的再编一次他的格式类型能正确么？？
你把第16行 data=urllib.parse.urlencode(data) 注释掉再试试

小伤口

qq1151985918 发表于 2020-12-14 11:24
老板你没发现你代码有问题吗？你代码第16行和第14行，看看，
第14行已经把data编码过了，你第16行还要把编 ...

发现了，感谢感谢
现在行了
谢谢