requests和node.js爬取煎蛋网

asw7900766

不错哦

平头哥爱python

很厉害，想知道怎么写的

于睿瀛

前来学习写爬虫代码，哈哈哈1024

贵在赤心

优秀，优秀，我也要无聊写爬虫

wwl12250

受不了了

菜菜爱生活

666

watercn

学习

小污龟233

学习学习

小cp

一起学猫叫

d

Robot_Lcx

Shafa

张小凡123

向楼主学习

鸡汁的李白

学习

AtticusWang

wongyusing 发表于 2018-11-21 23:22
自顶一下，审核了5个小时。
排名太后了。

楼主，请教一下，python3，已安装node.js，windows环境下运行，这样报错：

1. >>>>>>>>>>>>>>>>>>>>>>当前第1页
   
2. Traceback (most recent call last):
   
3.   File "D:/jiandan/jiandan/jandan.py", line 67, in <module>
   
4.     main()
   
5.   File "D:/jiandan/jiandan/jandan.py", line 65, in main
   
6.     get_img()
   
7.   File "D:/jiandan/jiandan/jandan.py", line 45, in get_img
   
8.     f = open(path, 'wt')
   
9. OSError: [Errno 22] Invalid argument: 'download_img/2018-12-11_10:51:43.'
   
10. 
    
11. Process finished with exit code 1

复制代码

源代码未更改，报错的那几行代码是这样的：

1.     try:
   
2.         os.mkdir(f'download_img')
   
3.     except Exception as e:
   
4.         pass
   
5.     path = f'download_img/{file_time}{suffix}'
   
6.     f = open(path, 'wb')
   
7.     f.write(response.content)
   
8.     f.close()

复制代码

wongyusing

AtticusWang 发表于 2018-12-11 10:58
楼主，请教一下，python3，已安装node.js，windows环境下运行，这样报错：

好像是因为没有后缀名，jpg和gif
一会我测试一下

AtticusWang

wongyusing 发表于 2018-12-11 11:08
好像是因为没有后缀名，jpg和gif
一会我测试一下

嗯嗯，好的。

我在后面加个jpg，即：

1. path = f'download_img/{file_time}{suffix}jpg'

复制代码

报错就成了：

1. OSError: [Errno 22] Invalid argument: 'download_img/2018-12-11_12:24:46.jpg'

复制代码

wongyusing

AtticusWang 发表于 2018-12-11 12:26
嗯嗯，好的。

我在后面加个jpg，即：

看一下第一页哪里，windows需要稍微修改一下保存的路径

需要改成绝对路径，就你文件的绝对路径

AtticusWang

wongyusing 发表于 2018-12-11 13:21
看一下第一页哪里，windows需要稍微修改一下保存的路径

需要改成绝对路径，就你文件的绝对路径

抱歉，我看了两三遍代码，不知道改哪里。比如我想保存到这个绝对路径，“D:\jiandan”，我应该将下面代码的哪一行修改成什么样呢？

1. import requests
   
2. import os
   
3. import time
   
4. from bs4 import BeautifulSoup as bs
   
5. 
   
6. # 打开网页函数
   
7. def get_response(url):
   
8.     headers = {
   
9.         'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
10.     response = requests.get(url, headers) # 加上浏览器头，以防被禁
    
11.     response.encoding = 'utf-8'      # 指定编码格式
    
12.     return response
    
13. 
    
14. # 写一个js代码
    
15. def writeFile(content):
    
16.     with open('js/cest.js','w',encoding='utf-8')as txt_file:
    
17.         txt_file.write("var JianDan = require('./main');\n")
    
18.         txt_file.write(f'var e = "{content}";\n')
    
19.         txt_file.write('hello = new JianDan(e);\n')
    
20.         txt_file.close
    
21. # 获取并下载图片
    
22. def get_img():
    
23.     # 运行js代码
    
24.     url = 'http:' + os.popen(cmd="node js/cest.js").read()[:-1]
    
25.     headers = {
    
26.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    
27.     'Accept-Encoding': 'gzip, deflate',
    
28.     'Accept-Language': 'zh-CN,zh;q=0.9',
    
29.     'Cache-Control': 'no-cache',
    
30.     'Connection': 'keep-alive',
    
31.     'Pragma': 'no-cache',
    
32.     'Upgrade-Insecure-Requests': '1',
    
33.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    
34.         }
    
35.     response = requests.get(url=url,headers=headers)
    
36.     suffix = url[-4]
    
37.     file_time = time.strftime("%Y-%m-%d_%H:%M:%S", time.localtime())#以时间命名文件，使文件不重名，方便保存下载
    
38.     try:
    
39.         os.mkdir(f'download_img')
    
40.     except Exception as e:
    
41.         pass
    
42. 
    
43.     path = f'download_img/{file_time}{suffix}'
    
44.     f = open(path, 'wb')
    
45.     f.write(response.content)
    
46.     f.close()
    
47. 
    
48. def main():
    
49.     url = 'http://jandan.net/ooxx'
    
50.     response = get_response(url)
    
51.     soup = bs(response.text,'lxml')
    
52.     # 获取最大页码数
    
53.     max_pages = int(soup.select('.cp-pagenavi .current-comment-page')[0].text.replace('[','').replace(']',''))+1
    
54.     for i in range(1,max_pages):
    
55.         url = f'http://jandan.net/ooxx/page-{i}'
    
56.         response = get_response(url)
    
57.         soup = bs(response.text,'lxml')
    
58.         # 获取密文
    
59.         print(f'>>>>>>>>>>>>>>>>>>>>>>当前第{i}页')
    
60.         for i in soup.select('.commentlist .img-hash'):
    
61.             # 写js代码
    
62.             writeFile(i.text)
    
63.             # 获取真实链接
    
64.             get_img()
    
65. if __name__ == '__main__':
    
66.     main()
    

复制代码

wongyusing

AtticusWang 发表于 2018-12-11 13:55
抱歉，我看了两三遍代码，不知道改哪里。比如我想保存到这个绝对路径，“D:\jiandan”，我应该 ...

改36行的索引

绝对路径是(改43行)

1. path = f'D:\jiandan\download_img\{file_time}{suffix}'

复制代码

AtticusWang

wongyusing 发表于 2018-12-11 14:00
改36行的索引

绝对路径是(改43行)

36行的索引是这样，由于我不知道具体含义，就修改了一下数字，原本是这样：

1. suffix = url[-4]

复制代码

把-4改成-5后，后缀"."就变成了”r“

然后我又改成这样：

1. suffix = url[-4'jpg']

复制代码

也显示有问题，jpg下面有红色波浪线；所以不清楚怎么改了……

还有就是绝对路径43行，我怕出错，就把左斜杠换成了右斜杠，成了这样：

1. path = f'D:/jiandan/download_img/{file_time}{suffix}'

复制代码