爬取免费小说的相关

昨非 · 发表于 2021-3-18 10:41:58

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

主要还是来咨询一下经验，大概搜了下，不少鱼友都爬过小说，所以来咨询下经验
首先问一下，正版网站VIP部分爬取可行性如何？（感觉大概率搞不定）
其次就是，盗版网站也有比较有名的，比如我就是万年老笔趣阁了，但是问题来了，我发现这些网站url不稳定
过段时间就封掉了，就，没办法，所以来问问有无前辈有经验的，能否提供个稳定点儿的站

（主要后期距离验收还有两个月时间来作图形化界面，生怕前期工作出问题，给后面整尴尬了

）

还请有经验的小伙伴分享下，分析下可行性啥的

昨非 · 发表于 2021-3-19 19:20:47

本帖不设时间限制
想要分享经验或吐槽的鱼友都可以来
后续会有小项目相关问题或成果在这里交流哦

小伤口 · 发表于 2021-3-18 21:16:11

用vip的账号去爬行吗

昨非 · 发表于 2021-3-18 21:21:44

小伤口发表于 2021-3-18 21:16
用vip的账号去爬行吗

大可不必

小伤口 · 发表于 2021-3-18 21:29:11

昨非发表于 2021-3-18 21:21
大可不必

要不多爬几个
这个挂了
另一个补上

昨非 · 发表于 2021-3-18 21:31:40

小伤口发表于 2021-3-18 21:29
要不多爬几个
这个挂了
另一个补上

我最初的设想就是想尽量避免这种情况
毕竟不同的网站网页结构可能大概率不同
这也就意味着爬虫后台的代码无法通用，得改就很麻烦

小伤口 · 发表于 2021-3-18 21:39:00

昨非发表于 2021-3-18 21:31
我最初的设想就是想尽量避免这种情况
毕竟不同的网站网页结构可能大概率不同
这也就意味着爬虫后台的代 ...

有道理

的确麻烦

hornwong · 发表于 2021-3-18 22:18:54

Daniel_Zhang · 发表于 2021-3-18 22:25:58

不稳定就将就着用呗，每次让用户输入最新的网页地址就行了

一般来讲，就算地址改了，基本的内容啊，设置啊，排版啊，html标签什么的也不会改，只是改了一个地址而已

只要你学过前后端知识就知道，牵一发而动全身，大改的话真不如重新做

你可以先蹲一会儿看看有没有人推荐一个稳定的

qiyuewuxi · 发表于 2021-3-18 22:33:16

qiyuewuxi · 发表于 2021-3-18 22:34:01

大仙爱吃糖 · 发表于 2021-3-18 22:44:52

稳定的还真不好找,每次我都是起点的书看到收费章节,再去搜,找的网站每次都不一样

昨非 · 发表于 2021-3-18 23:15:50

大仙爱吃糖发表于 2021-3-18 22:44
稳定的还真不好找,每次我都是起点的书看到收费章节,再去搜,找的网站每次都不一样

嗯，我再考虑考虑

落花盈满绣！ · 发表于 2021-3-19 00:02:01

yuedong · 发表于 2021-3-19 00:10:26

sevendevix · 发表于 2021-3-19 08:35:21

昨非 · 发表于 2021-3-19 10:19:54

Daniel_Zhang 发表于 2021-3-18 22:25
不稳定就将就着用呗，每次让用户输入最新的网页地址就行了

一般来讲，就算地址改了，基本的内容啊，设置 ...

有道理，所以我决定先做界面

键盘老实人 · 发表于 2021-3-19 10:58:18

学python就是想搞爬虫

柿子饼同学 · 发表于 2021-3-19 12:43:23

喵喵不咪 · 发表于 2021-3-19 15:25:58

爬正版网站有风险

爬虫学得好监狱进的早

昨非 · 发表于 2021-3-19 15:32:34

喵喵不咪发表于 2021-3-19 15:25
爬正版网站有风险

爬虫学得好监狱进的早

非商业行为

账号		自动登录	找回密码
密码			立即注册


48 鱼币	回复本帖可获得 4 鱼币奖励! 每人限 1 次

抢楼	查看抢中楼层本帖为抢楼帖，欢迎抢楼! 奖励楼层: 1,5,10,20,30,40

[吹水] 爬取免费小说的相关

马上注册，结交更多好友，享用更多功能^_^

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

评分

回帖奖励 +4 鱼币

评分

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

回帖奖励 +4 鱼币

浏览过的版块