requests和node.js爬取煎蛋网

wongyusing

效果如图：


注意：需要python3和node.js环境，windows上未测试过。
仅在ubuntu上运行成功。

原理和思路写好了，但是尚未整理。就不发出来了。  
暂时只有代码。思路以后有空了再整理
一定要配置好node.js和python3的环境变量后方可使用。

无聊写了条爬虫
https://fishc.com.cn/forum.php?m ... peid%26typeid%3D729

无聊又写了条爬虫
https://fishc.com.cn/forum.php?m ... peid%26typeid%3D729


无聊又双写了条爬虫
https://fishc.com.cn/forum.php?m ... peid%26typeid%3D729

requests和node.js爬取煎蛋网

游客，如果您要查看本帖隐藏内容请回复

改一下里面的jiandan.py
如下：

1. import requests
   
2. import os
   
3. import time
   
4. from bs4 import BeautifulSoup as bs
   
5. 
   
6. # 打开网页函数
   
7. def get_response(url):
   
8.     headers = {
   
9.         'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
10.     response = requests.get(url, headers) # 加上浏览器头，以防被禁
    
11.     response.encoding = 'utf-8'      # 指定编码格式
    
12.     #response.encoding = 'gbk'      # 指定编码格式
    
13.     return response
    
14. 
    
15. # 写一个js代码
    
16. def writeFile(content):
    
17.     with open('js/cest.js','w',encoding='utf-8')as txt_file:
    
18.         txt_file.write("var JianDan = require('./main');\n")
    
19.         txt_file.write(f'var e = "{content}";\n')
    
20.         txt_file.write('hello = new JianDan(e);\n')
    
21.         txt_file.close
    
22. # 获取并下载图片
    
23. def get_img():
    
24.     # 运行js代码
    
25.     url = 'http:' + os.popen(cmd="node js/cest.js").read()[:-1]
    
26.     headers = {
    
27.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    
28.     'Accept-Encoding': 'gzip, deflate',
    
29.     'Accept-Language': 'zh-CN,zh;q=0.9',
    
30.     'Cache-Control': 'no-cache',
    
31.     'Connection': 'keep-alive',
    
32.     'Pragma': 'no-cache',
    
33.     'Upgrade-Insecure-Requests': '1',
    
34.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    
35.         }
    
36.     response = requests.get(url=url,headers=headers)
    
37.     suffix = url[-4:]  # 改这里
    
38.     file_time = time.strftime("%Y-%m-%d_%H:%M:%S", time.localtime())
    
39.     print(suffix)
    
40.     try:
    
41.         os.mkdir(f'download_img')
    
42.     except Exception as e:
    
43.         pass
    
44. 
    
45.     path = f'download_img/{file_time}{suffix}'
    
46.     print(path)
    
47.     f = open(path, 'wb')
    
48.     f.write(response.content)
    
49.     f.close()
    
50. # 主要函数
    
51. def main():
    
52.     url = 'http://jandan.net/ooxx'
    
53.     response = get_response(url)
    
54.     soup = bs(response.text,'lxml')
    
55.     # 获取最大页码数
    
56.     max_pages = int(soup.select('.cp-pagenavi .current-comment-page')[0].text.replace('[','').replace(']',''))+1
    
57.     for i in range(1,max_pages):
    
58.         url = f'http://jandan.net/ooxx/page-{i}'
    
59.         response = get_response(url)
    
60.         soup = bs(response.text,'lxml')
    
61.         # 获取密文
    
62.         print(f'>>>>>>>>>>>>>>>>>>>>>>当前第{i}页')
    
63.         for i in soup.select('.commentlist .img-hash'):
    
64.             # 写js代码
    
65.             writeFile(i.text)
    
66.             # 获取真实链接
    
67.             get_img()
    
68. if __name__ == '__main__':
    
69.     main()

复制代码

wongyusing

自顶一下，审核了5个小时。
排名太后了。

Rain宇凡

学习

小章郎

看看

海风zZ

学习一下

cable

正好在学习爬虫了。谢谢分享

sokaZ

不错！

Angelcatch

gaoqingmei606

wty7892011

亚里是多德

FishC_TYRANT

学习学习，嘿嘿

子临

666

cupbbboom

大神，要是能抽时间写一篇py结合js爬虫的实战详解教程（介绍思路、js前端学习、需要模块等等方面）。绝对超级火的    看见我期待的小眼神了嘛

陌生の你

学习看一下

ekong

luck波

学习学习

沐锦风

要好好学学

parry123a

学习一下

wongyusing

cupbbboom 发表于 2018-11-24 08:39
大神，要是能抽时间写一篇py结合js爬虫的实战详解教程（介绍思路、js前端学习、需要模块等等方面）。绝对超 ...

没必要吧，这些只是基本操作而已