python爬虫逆向

后会无期@77

现在学python遇到问题，现在学完了爬虫基本库requests,scrapy什么的，一部分网站没加密都是可以爬到的，有些有加密使用playwright也是可以抓的，但有些有加密和检测人机使用playwright过不了，所以需要学习逆向，想问一下应该从哪里开始学习逆向，应该看什么视频或者书籍

FishC

首先，理解你的问题：学完基本爬虫库后，遇到加密和反爬虫机制时，需要学习逆向工程来破解。逆向主要涉及分析JavaScript代码、加密算法和网络请求。

学习逆向可以从以下几个方面开始：

• 基础知识：
    - 学习JavaScript基础，因为很多网站加密在客户端用JS实现。
    - 了解常见加密算法，如AES、RSA、Base64等，以及哈希函数如MD5、SHA。
    - 掌握HTTP协议和网络请求分析，使用浏览器开发者工具（按F12）查看网络请求和响应。
• 工具使用：
    - 浏览器开发者工具：用于分析网络请求、调试JavaScript代码（Sources面板）。
    - 抓包工具：如Fiddler或Charles，捕获HTTP/HTTPS请求，帮助分析数据流。
    - Python库：如PyExecJS或js2py，用于在Python中执行JavaScript代码；requests模拟请求时处理加密参数。
• 学习资源：
    - 视频：可以在视频平台搜索“JavaScript逆向”、“爬虫逆向工程”等关键词，观看相关教程系列，注意选择更新较新的内容。
    - 书籍：推荐《Python网络数据采集》（Web Scraping with Python），但更侧重基础；对于逆向，可以关注《Web黑客攻防》或在线技术博客的案例分析。
    - 实践：多参考技术论坛中的逆向案例分享，但注意不要直接复制代码，要理解原理。
• 实践步骤：
    - 从简单网站开始，尝试分析其登录或数据请求的加密参数。
    - 使用开发者工具定位加密函数，通过调试找出关键代码。
    - 在Python中重现加密逻辑，或调用JS代码生成参数。
  

关键操作示例：
1. 打开浏览器开发者工具，切换到Network面板，找到加密请求。
2. 在Sources面板搜索加密关键词（如encrypt、sign），断点调试JS代码。
3. 将JS加密函数提取到Python中，使用execjs执行。

代码示例：

1. 
   
2. import requests
   
3. import execjs
   
4. 
   
5. # 读取JavaScript加密代码
   
6. with open('encrypt.js', 'r', encoding='utf-8') as f:
   
7.     js_code = f.read()
   
8. 
   
9. # 编译JS代码
   
10. ctx = execjs.compile(js_code)
    
11. 
    
12. # 调用加密函数
    
13. data_to_encrypt = "example"
    
14. encrypted_param = ctx.call("encryptFunction", data_to_encrypt)
    
15. 
    
16. # 发送请求
    
17. url = "目标网址"
    
18. headers = {"User-Agent": "自定义"}
    
19. response = requests.post(url, data={"param": encrypted_param}, headers=headers)
    
20. print(response.text)
    

复制代码

注意事项：
- 逆向可能涉及法律风险，请确保仅用于学习和合法用途。
- 从易到难练习，逐步积累经验。

希望这些建议能帮你入门逆向工程！坚持下去，你会越来越熟练。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是

不太方便说，逆向不建议自学

第_个鱼油

JavaScript基础，加密算法如AES、RSA、Base64，哈希函数如MD5、SHA，浏览器开发者工具

MC.Steve

推荐书籍：《JavaScript 高级程序设计（第 4 版）》（红宝书），只看核心概念部分，不用全背。
推荐视频：B 站搜索"JavaScript 教程”，找播放量高的基础课快速过一遍