【第四版】pyspider框架爬取笔趣阁小说

wp231957 · 发表于 2020-5-3 14:51:46

有反爬啊，你爬长篇小说有木有遇到

admintest166 · 发表于 2020-5-3 18:06:23

wp231957 发表于 2020-5-3 14:51
有反爬啊，你爬长篇小说有木有遇到

没有啊我连headers都不没加

wp231957 · 发表于 2020-5-3 18:29:12

admintest166 发表于 2020-5-3 18:06
没有啊我连headers都不没加

我爬了一个2000多章的小说，有时下载七八十章，就挂掉，最好的没过200章，当然了，我不是用python爬的

admintest166 · 发表于 2020-5-3 20:14:00

wp231957 发表于 2020-5-3 18:29
我爬了一个2000多章的小说，有时下载七八十章，就挂掉，最好的没过200章，当然了，我不是用python爬的

一般大规划爬取一个网站数据的话我都是用框架的

我当时爬笔趣阁的时候没有反爬

这个笔趣阁因为最近我在弄后端等有空再爬一下看看

wp231957 · 发表于 2020-5-3 20:16:09

admintest166 发表于 2020-5-3 20:14
一般大规划爬取一个网站数据的话我都是用框架的

我当时爬笔趣阁的时候没有反爬

你用啥做后台？

admintest166 · 发表于 2020-5-3 20:18:20

wp231957 发表于 2020-5-3 20:16
你用啥做后台？

用flask 轻量好用

自己玩一玩够用了

admintest166 · 发表于 2020-5-3 20:18:55

wp231957 发表于 2020-5-3 20:16
你用啥做后台？

pyspider后端也是flask

wp231957 · 发表于 2020-5-3 20:30:16

admintest166 发表于 2020-5-3 20:18
pyspider后端也是flask

哦，python+flask 我基本放弃了

zzs52547 · 发表于 2021-1-7 18:45:29

膜拜大佬们写的代码，我来copy一下哈哈

chenpa · 发表于 2021-9-17 07:25:07

前来学习

学习编程中的Ben · 发表于 2021-11-28 19:24:02

谢谢

zxcv1100 · 发表于 2023-4-1 16:47:12

学习学习

大眼牌肥哥 · 发表于 2023-7-5 09:12:52

鹿怀欣 · 发表于 2023-11-10 09:49:22

蕴蕴y · 发表于 2024-1-16 10:53:20

学习

zzl0619 · 发表于 2024-1-16 14:09:03

FC10086 · 发表于 2024-1-16 15:51:49

yh0719 · 发表于 2024-3-6 16:41:12

瞄一瞄

账号		自动登录	找回密码
密码			立即注册

[作品展示] 【第四版】pyspider框架爬取笔趣阁小说