[已解决]爬取煎蛋网图片

今天的我更强了

网址和小甲鱼老师讲的完全不一样，弹幕说加密了 需要解密 有大佬懂的吗？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-25 21:30:31

建议爬这个吧：https://www.mzitu.com

新人可以练习用的

论坛里很多人也是拿这个爬的

跳转到最佳答案楼层

青出于蓝

在网站源代码中利用正则表达式寻找【下一页】超链接应该可以。

今天的我更强了

青出于蓝 发表于 2020-6-25 21:17
在网站源代码中利用正则表达式寻找【下一页】超链接应该可以。

还没学到正则表达式..下一章才是正则表达式

小甲鱼的铁粉

今天的你变强了

青出于蓝

今天的我更强了 发表于 2020-6-25 21:23
还没学到正则表达式..下一章才是正则表达式

那有点难度了，学学看吧，正则很好用，我那天气代码就是正则表达式做的（前两课足够，参考一下我的，很轻松就能写出来）
解密的话..不懂了

今天的我更强了

小甲鱼的铁粉 发表于 2020-6-25 21:25
今天的你变强了

今天的我变强失败

今天的我更强了

青出于蓝 发表于 2020-6-25 21:26
那有点难度了，学学看吧，正则很好用，我那天气代码就是正则表达式做的（前两课足够，参考一下我的，很轻 ...

好的 实在不行我就跳过urllib了 直接去学requests

Twilight6

建议爬这个吧：https://www.mzitu.com

新人可以练习用的

论坛里很多人也是拿这个爬的

青出于蓝

今天的我更强了 发表于 2020-6-25 21:28
好的 实在不行我就跳过urllib了 直接去学requests

requests确实好用，配合re，真牜

小甲鱼的铁粉

Twilight6 发表于 2020-6-25 21:30
建议爬这个吧：https://www.mzitu.com

新人可以练习用的

好东西

suchocolate

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. 
   
5. 
   
6. def ck_dir():
   
7.     if not os.path.exists('pics'):
   
8.         os.mkdir('pics')
   
9. 
   
10. 
    
11. def main():
    
12.     # num = int(input('请输入下载的页数：'))
    
13.     num = 2
    
14.     count = 1
    
15.     global url
    
16.     n_url = url
    
17.     ck_dir()
    
18.     for i in range(num):
    
19.         r = requests.get(n_url, headers=headers)
    
20.         html = etree.HTML(r.text)
    
21.         pics_list = html.xpath('//a[@class="view_img_link"]/@href')
    
22.         for item in pics_list:
    
23.             p_url = 'http:' + item
    
24.             picname = item.split('/')[-1]
    
25.             r = requests.get(p_url, headers=headers)
    
26.             with open(picname, 'wb') as f:
    
27.                 f.write(r.content)
    
28.                 print('已下载%s, 共下载%d张。' % (picname, count))
    
29.             count += 1
    
30.         n_url = 'http:' + html.xpath('//a[@class="previous-comment-page"]/@href')[0]
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.     url = 'http://jandan.net/ooxx'
    
35.     headers = {'user-agent': 'firefox'}
    
36.     main()
    

复制代码

今天的我更强了

Twilight6 发表于 2020-6-25 21:30
建议爬这个吧：https://www.mzitu.com

新人可以练习用的

这这这

Twilight6

今天的我更强了 发表于 2020-6-25 22:40
这这这

真的 论坛里很多人都是爬这个的，这个新人练手是最好不过的了

今天的我更强了

Twilight6 发表于 2020-6-25 22:43
真的 论坛里很多人都是爬这个的，这个新人练手是最好不过的了

好刺激 哈哈哈

Twilight6

今天的我更强了 发表于 2020-6-25 22:46
好刺激 哈哈哈

哈哈哈 看看我当时爬虫差不多学完就重新写了个代码  这个更刺激：

【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com.cn/thread-168018-1-1.html
(出处: 鱼C论坛)

seslovelm

Twilight6 发表于 2020-6-25 22:48
哈哈哈 看看我当时爬虫差不多学完就重新写了个代码  这个更刺激：

【New】6月13日更新—抓MM图 —> ...

这个帖子删除了，你有保存吗？

Twilight6

seslovelm 发表于 2021-8-4 15:10
这个帖子删除了，你有保存吗？

我自己删了的，感觉影响不太好，哈

而且刚刚我去试了试，代码已经爬不了了，要重新写

seslovelm

Twilight6 发表于 2021-8-5 11:09
我自己删了的，感觉影响不太好，哈

而且刚刚我去试了试，代码已经爬不了了，要重新写

......改进下，在分享一次嘛，不然单身程序员如何有动力？