新手求助 爬虫 求思路

cxthief

求教    爬取 www74.woaifanyi.com 的翻译结果    求助诸位大神   不想给代码  哪怕给个思路也行   

Jons

我看了一下接口地址  https://www74.woaifanyi.com/web_system/ilovetranslation_com/wwwroot/key/google/save/?ajaxtimestamp=1540796958072
参数

fy_nr: 下单就金大厦
y_s_y_y: auto
m_b_y_y: ru

请求方式 POST


具体看图分析吧

414290013

思路就是你常规的手动操作步骤! 结合开发人员工具 分析访问网址的URL结构 和 一些参数来源,分析status Code状态 如是否重定向以及提交的数据和返回数据进行分析

fish_游鱼

代码有点问题，给你参考下:

1. import urllib.request
   
2. import urllib.parse
   
3. import time as t
   
4. import json
   
5. import re
   
6. 
   
7. def timestamp():
   
8.     str1 = t.time() * 1000
   
9.     str1 = str(int(str1))
   
10.     return str1
    
11. 
    
12. url = 'https://www74.woaifanyi.com/web_system/ilovetranslation_com/wwwroot/key/baidu/save/?ajaxtimestamp='
    
13. #url_2 = 'https://www74.woaifanyi.com/web_system/ilovetranslation_com/wwwroot/key/google/save/?ajaxtimestamp='
    
14. 
    
15. url = url + timestamp()
    
16. 
    
17. data = {
    
18.     'fy_nr' : 'Python字典是另一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型',
    
19.     'y_s_y_y' : 'zh',
    
20.     'm_b_y_y' : 'en'
    
21.     }
    
22. #data_2 = {
    
23. #    'fy_nr' : 'Python字典是另一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型',
    
24. #    'y_s_y_y' : 'zh-CN',
    
25. #   'm_b_y_y' : 'en'
    
26. #    }
    
27. 
    
28. data = urllib.parse.urlencode(data).encode('utf-8')
    
29. 
    
30. response = urllib.request.urlopen(url, data)
    
31. html = response.read().decode('utf-8')
    
32. 
    
33. new_data = {'hhid' : html.split('"')[-2]}
    
34. new_data = urllib.parse.urlencode(new_data).encode('utf-8')
    
35. 
    
36. print('Python字典是另一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型')
    
37. print('waiting...')
    
38. while True:
    
39.     url = 'https://www74.woaifanyi.com/web_system/ilovetranslation_com/wwwroot/key/baidu/get/?ajaxtimestamp='
    
40.     url = url + timestamp()
    
41.    
    
42.     response = urllib.request.urlopen(url, new_data)
    
43.     html = response.read().decode('utf-8')
    
44.     if html[-3] == '2':
    
45.         mod  = '<p>([^"]+)<'
    
46.         target = re.search(mod, html)
    
47.         print(target.group(1))
    
48.         break
    
49.     t.sleep(0.1)

复制代码

fish_游鱼

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. 
   
5. text = input('only en-->ch: ')
   
6. 
   
7. start = 'https://api.microsofttranslator.com/v2/ajax.svc/TranslateArray?appId=%22T-a9Lzl-SqyqsWg3bIkVJjhFrAsoOSDue5J1E-PRxDO8*%22&texts=[%22'
   
8. 
   
9. text = text.replace(' ', '+')
   
10. end = '%22]&from=%22en%22&to=%22zh-CHS%22&oncomplete=_mstc2&onerror=_mste2&loc=zh-chs&ctr=&ref=WidgetV3&rgp=2038f2bc'
    
11. url = start + text + end
    
12. 
    
13. response = urllib.request.urlopen(url)
    
14. html = response.read().decode('utf-8')
    
15. 
    
16. mod  = 'TranslatedText":"([^"]+)"'
    
17. target = re.search(mod, html)
    
18. print(target.group(1))

复制代码