今天的我更强了 发表于 2020-6-25 21:11:15

爬取煎蛋网图片

网址和小甲鱼老师讲的完全不一样，弹幕说加密了 需要解密 有大佬懂的吗？

青出于蓝 发表于 2020-6-25 21:17:45

在网站源代码中利用正则表达式寻找【下一页】超链接应该可以。

今天的我更强了 发表于 2020-6-25 21:23:22

青出于蓝 发表于 2020-6-25 21:17
在网站源代码中利用正则表达式寻找【下一页】超链接应该可以。

还没学到正则表达式..下一章才是正则表达式

小甲鱼的铁粉 发表于 2020-6-25 21:25:43

今天的你变强了

青出于蓝 发表于 2020-6-25 21:26:06

今天的我更强了 发表于 2020-6-25 21:23
还没学到正则表达式..下一章才是正则表达式

那有点难度了，学学看吧，正则很好用，我那天气代码就是正则表达式做的（前两课足够，参考一下我的，很轻松就能写出来）
解密的话..不懂了{:10_250:}

今天的我更强了 发表于 2020-6-25 21:27:00

小甲鱼的铁粉 发表于 2020-6-25 21:25
今天的你变强了

今天的我变强失败{:10_266:}

今天的我更强了 发表于 2020-6-25 21:28:38

青出于蓝 发表于 2020-6-25 21:26
那有点难度了，学学看吧，正则很好用，我那天气代码就是正则表达式做的（前两课足够，参考一下我的，很轻 ...

好的 实在不行我就跳过urllib了 直接去学requests

Twilight6 发表于 2020-6-25 21:30:31

本帖最后由 Twilight6 于 2020-6-25 21:32 编辑



建议爬这个吧：https://www.mzitu.com

新人可以练习用的

论坛里很多人也是拿这个爬的

青出于蓝 发表于 2020-6-25 21:31:13

今天的我更强了 发表于 2020-6-25 21:28
好的 实在不行我就跳过urllib了 直接去学requests

requests确实好用，配合re，真牜

小甲鱼的铁粉 发表于 2020-6-25 21:35:04

Twilight6 发表于 2020-6-25 21:30
建议爬这个吧：https://www.mzitu.com

新人可以练习用的


好东西{:10_256:}

suchocolate 发表于 2020-6-25 22:17:39

import requests
from lxml import etree
import os


def ck_dir():
    if not os.path.exists('pics'):
      os.mkdir('pics')


def main():
    # num = int(input('请输入下载的页数：'))
    num = 2
    count = 1
    global url
    n_url = url
    ck_dir()
    for i in range(num):
      r = requests.get(n_url, headers=headers)
      html = etree.HTML(r.text)
      pics_list = html.xpath('//a[@class="view_img_link"]/@href')
      for item in pics_list:
            p_url = 'http:' + item
            picname = item.split('/')[-1]
            r = requests.get(p_url, headers=headers)
            with open(picname, 'wb') as f:
                f.write(r.content)
                print('已下载%s, 共下载%d张。' % (picname, count))
            count += 1
      n_url = 'http:' + html.xpath('//a[@class="previous-comment-page"]/@href')


if __name__ == '__main__':
    url = 'http://jandan.net/ooxx'
    headers = {'user-agent': 'firefox'}
    main()

今天的我更强了 发表于 2020-6-25 22:40:34

Twilight6 发表于 2020-6-25 21:30
建议爬这个吧：https://www.mzitu.com

新人可以练习用的


这这这 {:10_247:}

Twilight6 发表于 2020-6-25 22:43:53

今天的我更强了 发表于 2020-6-25 22:40
这这这

真的 论坛里很多人都是爬这个的，这个新人练手是最好不过的了

今天的我更强了 发表于 2020-6-25 22:46:16

Twilight6 发表于 2020-6-25 22:43
真的 论坛里很多人都是爬这个的，这个新人练手是最好不过的了

好刺激 哈哈哈

Twilight6 发表于 2020-6-25 22:48:27

今天的我更强了 发表于 2020-6-25 22:46
好刺激 哈哈哈

哈哈哈 看看我当时爬虫差不多学完就重新写了个代码这个更刺激：

【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com.cn/thread-168018-1-1.html
(出处: 鱼C论坛)

seslovelm 发表于 2021-8-4 15:10:07

Twilight6 发表于 2020-6-25 22:48
哈哈哈 看看我当时爬虫差不多学完就重新写了个代码这个更刺激：

【New】6月13日更新—抓MM图 —> ...

这个帖子删除了，你有保存吗？

Twilight6 发表于 2021-8-5 11:09:32

seslovelm 发表于 2021-8-4 15:10
这个帖子删除了，你有保存吗？



我自己删了的，感觉影响不太好，哈

而且刚刚我去试了试，代码已经爬不了了，要重新写

seslovelm 发表于 2021-12-12 14:55:21

Twilight6 发表于 2021-8-5 11:09
我自己删了的，感觉影响不太好，哈

而且刚刚我去试了试，代码已经爬不了了，要重新写

......改进下，在分享一次嘛，不然单身程序员如何有动力？{:5_91:}
页: [1]
查看完整版本: 爬取煎蛋网图片