昨非 发表于 2021-3-18 10:41:58

爬取免费小说的相关

        主要还是来咨询一下经验，大概搜了下，不少鱼友都爬过小说，所以来咨询下经验
        首先问一下，正版网站VIP部分爬取可行性如何？（感觉大概率搞不定）
        其次就是，盗版网站也有比较有名的，比如我就是万年老笔趣阁了，但是问题来了，我发现这些网站url不稳定
        过段时间就封掉了，就，没办法，所以来问问有无前辈有经验的，能否提供个稳定点儿的站{:10_245:}

        （主要后期距离验收还有两个月时间来作图形化界面，生怕前期工作出问题，给后面整尴尬了{:10_284:} ）

        还请有经验的小伙伴分享下，分析下可行性啥的{:10_250:}

昨非 发表于 2021-3-19 19:20:47

本帖不设时间限制
想要分享经验或吐槽的鱼友都可以来
后续会有小项目相关问题或成果在这里交流哦

小伤口 发表于 2021-3-18 21:16:11

用vip的账号去爬行吗{:10_245:}

昨非 发表于 2021-3-18 21:21:44

小伤口 发表于 2021-3-18 21:16
用vip的账号去爬行吗

大可不必{:10_329:}

小伤口 发表于 2021-3-18 21:29:11

昨非 发表于 2021-3-18 21:21
大可不必

要不多爬几个
这个挂了
另一个补上{:10_250:}

昨非 发表于 2021-3-18 21:31:40

小伤口 发表于 2021-3-18 21:29
要不多爬几个
这个挂了
另一个补上

我最初的设想就是想尽量避免这种情况
毕竟不同的网站网页结构可能大概率不同
这也就意味着爬虫后台的代码无法通用，得改就很麻烦

小伤口 发表于 2021-3-18 21:39:00

昨非 发表于 2021-3-18 21:31
我最初的设想就是想尽量避免这种情况
毕竟不同的网站网页结构可能大概率不同
这也就意味着爬虫后台的代 ...

有道理{:5_102:}
的确麻烦{:10_266:}

hornwong 发表于 2021-3-18 22:18:54

{:5_95:}

Daniel_Zhang 发表于 2021-3-18 22:25:58

不稳定就将就着用呗，每次让用户输入最新的网页地址就行了

一般来讲，就算地址改了，基本的内容啊，设置啊，排版啊，html标签什么的也不会改，只是改了一个地址而已

只要你学过前后端知识就知道，牵一发而动全身，大改的话真不如重新做

你可以先蹲一会儿看看有没有人推荐一个稳定的{:10_250:}

qiyuewuxi 发表于 2021-3-18 22:33:16

{:10_266:}

qiyuewuxi 发表于 2021-3-18 22:34:01

{:10_266:}

大仙爱吃糖 发表于 2021-3-18 22:44:52

稳定的还真不好找,每次我都是起点的书看到收费章节,再去搜,找的网站每次都不一样{:10_277:}

昨非 发表于 2021-3-18 23:15:50

大仙爱吃糖 发表于 2021-3-18 22:44
稳定的还真不好找,每次我都是起点的书看到收费章节,再去搜,找的网站每次都不一样

嗯，我再考虑考虑

落花盈满绣！ 发表于 2021-3-19 00:02:01

{:9_227:}

yuedong 发表于 2021-3-19 00:10:26

{:9_227:}

sevendevix 发表于 2021-3-19 08:35:21

666

昨非 发表于 2021-3-19 10:19:54

Daniel_Zhang 发表于 2021-3-18 22:25
不稳定就将就着用呗，每次让用户输入最新的网页地址就行了

一般来讲，就算地址改了，基本的内容啊，设置 ...

有道理，所以我决定先做界面{:10_256:}

键盘老实人 发表于 2021-3-19 10:58:18

学python就是想搞爬虫

柿子饼同学 发表于 2021-3-19 12:43:23

嗯

喵喵不咪 发表于 2021-3-19 15:25:58

爬正版网站有风险
{:10_333:}
爬虫学得好监狱进的早
{:10_277:}

昨非 发表于 2021-3-19 15:32:34

喵喵不咪 发表于 2021-3-19 15:25
爬正版网站有风险

爬虫学得好监狱进的早

非商业行为{:10_245:}
页: [1] 2
查看完整版本: 爬取免费小说的相关