设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 请问这段爬虫代码在哪里有问题
返回列表 发新帖
查看: 2870|回复: 8

[已解决]请问这段爬虫代码在哪里有问题

[复制链接]
tommyyu
发表于 2022-8-3 16:42:00 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. import urllib.request
  2. import urllib.parse
  3. import json

  5. content = input("请输入翻译的内容：")

  7. url = "https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

  9. head = {}
  10. head['Referer'] = 'http://fanyi.youdao.com'
  11. head['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36X-Requested-With: XMLHttpRequest"

  13. data = {}
  14. data['type'] = 'AUTO'
  15. data['i'] = content
  16. data['doctype'] = 'json'
  17. data['xmlVersion'] = '1.6'
  18. data['keyfrom'] = 'fanyi.web'
  19. data['ue'] = 'UTF-8'
  20. data['typoResult'] = 'true'
  21. data = urllib.parse.urlencode(data).encode('utf-8')

  23. req = urllib.request.Request(url, data, head)
  24. response = urllib.request.urlopen(req)
  25. html = response.read().decode('utf-8')
  26. target = json.loads(html)
  27. print(html)
  28. #print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))
复制代码


按照小甲鱼书上给出的代码敲的，设置了headers参数，但是还被拦截了，请问原因是什么
最佳答案
月排行榜 / 总排行榜
临时号
2022-8-3 19:05:47
tommyyu 发表于 2022-8-3 18:50
好像没啥用啊……

网站改了,data要多点东西
  1. import urllib.request
  2. import urllib.parse
  3. import json

  5. content = input("请输入翻译的内容：")

  7. url = "https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"

  9. head = {}
  10. head['Referer'] = 'http://fanyi.youdao.com'
  11. head['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36X-Requested-With: XMLHttpRequest"

  13. data = {}
  14. data["i"] = content
  15. data["from"] = "AUTO"
  16. data["to"] = "AUTO"
  17. data["smartresult"] = "dict"
  18. data["client"] = "fanyideskweb"
  19. data["salt"] = "16595244179934"
  20. data["sign"] = "762040024cd23ba625a1ab1ddae94a20"
  21. data["lts"] = "1659524417993"
  22. data["bv"] = "a16a6033635b516a9006542112cdda8f"
  23. data["doctype"] = "json"
  24. data["version"] = "2.1"
  25. data["keyfrom"] = "fanyi.web"
  26. data["action"] = "FY_BY_REALTlME"
  27. data = urllib.parse.urlencode(data).encode('utf-8')

  29. req = urllib.request.Request(url, data, head)
  30. response = urllib.request.urlopen(req)
  31. html = response.read().decode('utf-8')
  32. target = json.loads(html)
  33. #print(html)
  34. print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wp231957
发表于 2022-8-3 16:46:44 From FishC Mobile | 显示全部楼层
有道的代码坛子里实在是太多了，自己先搜搜
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

临时号
发表于 2022-8-3 18:11:14 | 显示全部楼层
网站改版了,现在有道翻译有反爬措施,你的爬虫被拦截了,你可以把url中的translate_o改为translate,这样爬虫就可以正常运行了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

tommyyu
 楼主| 发表于 2022-8-3 18:50:59 | 显示全部楼层
临时号 发表于 2022-8-3 18:11
网站改版了,现在有道翻译有反爬措施,你的爬虫被拦截了,你可以把url中的translate_o改为translate,这样爬虫 ...

好像没啥用啊……
屏幕截图 2022-08-03 185029.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

临时号
发表于 2022-8-3 19:05:47 | 显示全部楼层    本楼为最佳答案   
tommyyu 发表于 2022-8-3 18:50
好像没啥用啊……

网站改了,data要多点东西
  1. import urllib.request
  2. import urllib.parse
  3. import json

  5. content = input("请输入翻译的内容：")

  7. url = "https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"

  9. head = {}
  10. head['Referer'] = 'http://fanyi.youdao.com'
  11. head['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36X-Requested-With: XMLHttpRequest"

  13. data = {}
  14. data["i"] = content
  15. data["from"] = "AUTO"
  16. data["to"] = "AUTO"
  17. data["smartresult"] = "dict"
  18. data["client"] = "fanyideskweb"
  19. data["salt"] = "16595244179934"
  20. data["sign"] = "762040024cd23ba625a1ab1ddae94a20"
  21. data["lts"] = "1659524417993"
  22. data["bv"] = "a16a6033635b516a9006542112cdda8f"
  23. data["doctype"] = "json"
  24. data["version"] = "2.1"
  25. data["keyfrom"] = "fanyi.web"
  26. data["action"] = "FY_BY_REALTlME"
  27. data = urllib.parse.urlencode(data).encode('utf-8')

  29. req = urllib.request.Request(url, data, head)
  30. response = urllib.request.urlopen(req)
  31. html = response.read().decode('utf-8')
  32. target = json.loads(html)
  33. #print(html)
  34. print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

tommyyu
 楼主| 发表于 2022-8-3 19:13:54 | 显示全部楼层
临时号 发表于 2022-8-3 19:05
网站改了,data要多点东西

是这里的都要写么
屏幕截图 2022-08-03 185029.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

临时号
发表于 2022-8-3 19:14:18 | 显示全部楼层
tommyyu 发表于 2022-8-3 19:13
是这里的都要写么

对
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

临时号
发表于 2022-8-3 19:15:56 | 显示全部楼层
tommyyu 发表于 2022-8-3 19:13
是这里的都要写么

如果你对有道的反爬加密算法感兴趣的话可以看看我之前的有道爬虫代码
  1. import urllib.request
  2. import urllib.parse
  3. import hashlib
  4. import random
  5. import time
  6. import json

  8. #init
  9. url = "https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

  11. headers = {
  12.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36',
  13.     'Referer': 'https://fanyi.youdao.com/',
  14.     'Cookie': 'OUTFOX_SEARCH_USER_ID=1907954952@182.203.147.49; OUTFOX_SEARCH_USER_ID_NCOO=2032702153.1070416; fanyi-ad-id=306808; fanyi-ad-closed=1; ___rl__test__cookies=1654931146702'
  15. }


  18. content = input("请输入翻译的内容：")


  21. #加密
  22. lts = str(int(time.time()*1000))
  23. salt = lts + str(random.randint(0,10))
  24. sign_str = 'fanyideskweb' + content + salt + 'Ygy_4c=r#e#4EX^NUGUc5'
  25. m = hashlib.md5(sign_str.encode())
  26. sign = m.hexdigest()


  29. #配置data
  30. data = {
  31.     "i":content,
  32.     "from":"AUTO",
  33.     "to":"AUTO",
  34.     "smartresult":"dict",
  35.     "client":"fanyideskweb",
  36.     "salt":salt,
  37.     "sign":sign,
  38.     "lts":lts,
  39.     "bv":"a16a6033635b516a9006542112cdda8f",
  40.     "doctype":"json",
  41.     "version":"2.1",
  42.     "keyfrom":"fanyi.web",
  43.     "action":"FY_BY_CLICKBUTTION"
  44. }

  46. #爬虫
  47. data = urllib.parse.urlencode(data).encode('utf-8')
  48. request = urllib.request.Request(url,data,headers)
  49. response = urllib.request.urlopen(request)
  50. html = response.read().decode('utf-8')
  51. target = json.loads(html)
  52. try:
  53.     resalut = target["translateResult"][0][0]["tgt"]
  54.     print("翻译结果:",resalut)
  55. except:
  56.     print("翻译失败")
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

tommyyu
 楼主| 发表于 2022-8-3 19:16:33 | 显示全部楼层
临时号 发表于 2022-8-3 19:15
如果你对有道的反爬加密算法感兴趣的话可以看看我之前的有道爬虫代码

好的，谢谢
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-27 15:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表