设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 甲鱼老师的爬虫视频实践出了问题
返回列表 发新帖
查看: 1777|回复: 6

[已解决]甲鱼老师的爬虫视频实践出了问题

[复制链接]
mintaka
发表于 2017-9-28 22:07:24 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. import urllib.request
  2. import urllib.parse

  4. url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom='
  5. data={}
  6. data['i']='i+love+fishc.com'
  7. data['from']='AUTO'
  8. data['to']=        'AUTO'
  9. data['smartresult']='dict'
  10. data['client']='fanyideskweb'
  11. data['salt']='1506606349344'
  12. data['sign']='6915fc7b51560092d859a327286f1af8'
  13. data['doctype']='json'
  14. data['version']='2.1'
  15. data['keyfrom']='fanyi.web'
  16. data['action']='FY_BY_CLICKBUTTION'
  17. data['typoResult']='true'
  18. data=urllib.parse.urlencode(data).encode('utf-8')

  20. response=urllib.request.urlopen(url)
  21. html=response.read().decode('utf-8')
  22. print(html)
复制代码
模仿甲鱼老师的代码，其中data[]的参数是火狐打开看到的


是哪里出错了
最佳答案
月排行榜 / 总排行榜
ba21
2017-9-28 23:07:47
问题出在URL
老URL：
  1. import os,urllib.request
  2. import urllib.parse
  3. import json
  4. a = 5
  5. while a > 0:
  6.         txt = input('输入要翻译的内容!')
  7.         if txt == '0':
  8.                 break
  9.                
  10.         else:
  11.                 os.chdir('e:\\python')
  12.                 url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=https://www.baidu.com/link'

  14.                 data = {
  15.                 'from':'AUTO',
  16.                 'to':'AUTO',
  17.                 'smartresult':'dict',
  18.                 'client':'fanyideskweb',
  19.                 'salt':'1500092479607',
  20.                 'sign':'c98235a85b213d482b8e65f6b1065e26',
  21.                 'doctype':'json',
  22.                 'version':'2.1',
  23.                 'keyfrom':'fanyi.web',
  24.                 'action':'FY_BY_CL1CKBUTTON',
  25.                 'typoResult':'true'}

  27.                 data['i'] = txt

  29.                 data = urllib.parse.urlencode(data).encode('utf - 8')
  30.                 wy = urllib.request.urlopen(url,data)
  31.                 html = wy.read().decode('utf - 8')
  32.                 print(html)

  34.                 ta = json.loads(html)
  35.                 print('翻译结果: %s '% (ta['translateResult'][0][0]['tgt']))
  36.                 a = a - 1
  37.                
复制代码


新URL：
  1. import urllib.request
  2. import urllib.parse
  3. import time
  4. import random
  5. import hashlib
  6. import json

  8. url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
  9. u='fanyideskweb'
  10. d='you'
  11. f=str(int(time.time()*1000))
  12. c="rY0D^0'nM0}g5Mm1z%1G4"
  13. g=hashlib.md5()
  14. g.update((u + d + f + c).encode('utf-8'))
  15. head={}
  16. head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'
  17. head['Host']='fanyi.youdao.com'
  18. head['Referer']='http://fanyi.youdao.com/'
  19. data={}
  20. data['i']=d
  21. data['from']='AUTO'
  22. data['to']='AUTO'
  23. data['smartresult']='dict'
  24. data['client']=u
  25. data['salt']=f
  26. data['sign']=g.hexdigest()
  27. data['doctype']='json'
  28. data['version']='2.1'
  29. data['keyfrom']='fanyi.web'
  30. data['action']='FY_BY_CL1CKBUTTON'
  31. data['typoResult']='true'
  32. data=urllib.parse.urlencode(data).encode('utf-8')

  34. req=urllib.request.Request(url,data,head)
  35. response=urllib.request.urlopen(req)
  36. html=response.read().decode('utf-8')
  37. target=json.loads(html)
  38. #print(html)
  39. print('翻译结果： %s ' % (target['translateResult'][0][0]['tgt']))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

mintaka
 楼主| 发表于 2017-9-28 22:09:26 | 显示全部楼层
补一张截图
)NW_9C7K4H$K_C}GN%E){FR.png
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

ba21
发表于 2017-9-28 23:07:47 | 显示全部楼层    本楼为最佳答案   
问题出在URL
老URL：
  1. import os,urllib.request
  2. import urllib.parse
  3. import json
  4. a = 5
  5. while a > 0:
  6.         txt = input('输入要翻译的内容!')
  7.         if txt == '0':
  8.                 break
  9.                
  10.         else:
  11.                 os.chdir('e:\\python')
  12.                 url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=https://www.baidu.com/link'

  14.                 data = {
  15.                 'from':'AUTO',
  16.                 'to':'AUTO',
  17.                 'smartresult':'dict',
  18.                 'client':'fanyideskweb',
  19.                 'salt':'1500092479607',
  20.                 'sign':'c98235a85b213d482b8e65f6b1065e26',
  21.                 'doctype':'json',
  22.                 'version':'2.1',
  23.                 'keyfrom':'fanyi.web',
  24.                 'action':'FY_BY_CL1CKBUTTON',
  25.                 'typoResult':'true'}

  27.                 data['i'] = txt

  29.                 data = urllib.parse.urlencode(data).encode('utf - 8')
  30.                 wy = urllib.request.urlopen(url,data)
  31.                 html = wy.read().decode('utf - 8')
  32.                 print(html)

  34.                 ta = json.loads(html)
  35.                 print('翻译结果: %s '% (ta['translateResult'][0][0]['tgt']))
  36.                 a = a - 1
  37.                
复制代码


新URL：
  1. import urllib.request
  2. import urllib.parse
  3. import time
  4. import random
  5. import hashlib
  6. import json

  8. url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
  9. u='fanyideskweb'
  10. d='you'
  11. f=str(int(time.time()*1000))
  12. c="rY0D^0'nM0}g5Mm1z%1G4"
  13. g=hashlib.md5()
  14. g.update((u + d + f + c).encode('utf-8'))
  15. head={}
  16. head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'
  17. head['Host']='fanyi.youdao.com'
  18. head['Referer']='http://fanyi.youdao.com/'
  19. data={}
  20. data['i']=d
  21. data['from']='AUTO'
  22. data['to']='AUTO'
  23. data['smartresult']='dict'
  24. data['client']=u
  25. data['salt']=f
  26. data['sign']=g.hexdigest()
  27. data['doctype']='json'
  28. data['version']='2.1'
  29. data['keyfrom']='fanyi.web'
  30. data['action']='FY_BY_CL1CKBUTTON'
  31. data['typoResult']='true'
  32. data=urllib.parse.urlencode(data).encode('utf-8')

  34. req=urllib.request.Request(url,data,head)
  35. response=urllib.request.urlopen(req)
  36. html=response.read().decode('utf-8')
  37. target=json.loads(html)
  38. #print(html)
  39. print('翻译结果： %s ' % (target['translateResult'][0][0]['tgt']))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

mintaka
 楼主| 发表于 2017-9-29 19:15:11 | 显示全部楼层
ba21 发表于 2017-9-28 23:07
问题出在URL
老URL：

非常感谢
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

mintaka
 楼主| 发表于 2017-9-29 19:21:12 | 显示全部楼层
ba21 发表于 2017-9-28 23:07
问题出在URL
老URL：

再打扰一下，这两句是从哪获得的
u='fanyideskweb
c="rY0D^0'nM0}g5Mm1z%1G4"
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

ba21
发表于 2017-9-29 20:25:05 | 显示全部楼层
mintaka 发表于 2017-9-29 19:21
再打扰一下，这两句是从哪获得的
u='fanyideskweb
c="rY0D^0'nM0}g5Mm1z%1G4"

还不是抓包分析来的
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

mintaka
 楼主| 发表于 2017-9-29 21:46:21 | 显示全部楼层
ba21 发表于 2017-9-29 20:25
还不是抓包分析来的

其他都找到了，这个c是什么
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-3-2 18:24

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表