设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 网络小说爬取
12345下一页
返回列表 发新帖
查看: 10580|回复: 88

[作品展示] 网络小说爬取

[复制链接]
大裤衩子
发表于 2019-3-23 12:53:00 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
目标网站是这个：http://www.xbiquge.la/fenlei/1_1.html
想下载喜欢的小说，又懒得注册登陆怎么办?就用这个试试看看，
格式化没有做好，代码写得很糟，总算能爬下来了。
目前还没有实现输入书名就下载全本，后面再看怎么实现吧。

游客，如果您要查看本帖隐藏内容请回复
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Ayluc
发表于 2019-4-8 17:02:17 | 显示全部楼层
学习学习
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

fdleva
发表于 2019-4-8 18:04:52 | 显示全部楼层
谢谢大佬
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

wp231957
发表于 2019-4-8 18:15:36 From FishC Mobile | 显示全部楼层
支持一下
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

wp231957
发表于 2019-4-8 18:19:21 From FishC Mobile | 显示全部楼层
你那个模拟浏览器的报文头，弄那么多，是为了更好的蒙蔽对方吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

ZIYUN
发表于 2019-4-8 18:53:08 | 显示全部楼层
学习学习
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

大裤衩子
 楼主| 发表于 2019-4-8 19:04:04 | 显示全部楼层
wp231957 发表于 2019-4-8 18:19
你那个模拟浏览器的报文头，弄那么多，是为了更好的蒙蔽对方吗

嗯
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

葫芦爷救娃娃
发表于 2019-4-8 19:15:59 | 显示全部楼层
学习！
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

fate繁曦
发表于 2019-4-8 19:48:14 | 显示全部楼层
学习学习
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

lys93
发表于 2019-4-8 23:08:14 | 显示全部楼层
学习学习
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

万中山
发表于 2019-4-9 18:08:59 | 显示全部楼层
see
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

noobbull
发表于 2019-4-9 20:49:14 | 显示全部楼层
多学习别人的代码才能更好的成长~ 谢谢大佬分享
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

qxwht5323
发表于 2019-4-9 21:27:37 | 显示全部楼层
学习了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

八云式
发表于 2019-4-9 22:05:27 | 显示全部楼层
牛逼
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

大裤衩子
 楼主| 发表于 2019-4-10 13:06:22 | 显示全部楼层
隐藏版本的内容写的很烂，这个稍微精简了下

  2. import os
  3. import re
  4. import requests
  5. import bs4
  6. import random

  8. class nov():
  9.     def __init__(self,url):
  10.         self.url=url
  11.    
  12.     def get_header(self):
  13.         agent = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
  14.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
  15.              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
  16.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
  17.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
  18.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
  19.              ]
  20.         i = random.randint(0,len(agent)-1)
  21.         header = {'User-Agent':agent[i]}
  22.         return header
  23.    
  24.     # 获取目录页面
  25.     def get_html(self,path):
  26.         self.path=path
  27.         res=requests.get(self.path,self.get_header())
  28.         res.encoding='utf-8'
  29.         html=res.text
  30.         return html
  31.    
  32.     #获取章节全路径
  33.     def get_each(self):
  34.         self.html=self.get_html(self.url)
  35.         soup=bs4.BeautifulSoup(self.html,'html.parser')
  36.         global nov_name
  37.         nov_name=soup.h1.text
  38.         each_path=soup.find_all('dd')
  39.         urlList=[]
  40.         for i in each_path:
  41.             each_name=i.a.text
  42.             each_full_path='http://www.xbiquge.la'+i.a['href']
  43.             urlList.append(each_full_path)
  44.         return urlList
  45.         
  46.     def get_content(self):
  47.         self.ulist=self.get_each()
  48.         print("匹配到小说:<<"+nov_name+">>共%d章节" % len(self.ulist))

  50.         down="D:/1/txt/"
  51.         if os.path.exists(down)!=True:
  52.             os.makedirs(down)
  53.         k=0
  54.         for i in self.ulist[:]:
  55.             k+=1
  56.             con=self.get_html(i)
  57.             soup=bs4.BeautifulSoup(con,'html.parser')
  58.             title=soup.h1.text
  59.             txt=soup.find_all('div',id="content")
  60.             spt=re.split("\s+",txt[0].text)
  61.             new=[]
  62.             new.append(str('    '+title+"\n\n"))
  63.             for i in spt:
  64.                 i='    '+i+"\n\n"
  65.                 new.append(i)
  66.             
  67.             print("正在写入第%d章" % k)
  68.             with open("D:/1/txt/"+nov_name+".txt",'a+',encoding='utf-8')as p:
  69.                 p.writelines(new)

  71. if __name__=="__main__":
  72.     www="http://www.xbiquge.la"
  73.     url=input("请输入"+str(www)+"中最任意一小说目录所在网址(例如：http://www.xbiquge.la/15/15409/)：")
  74.     n=nov(url)
  75.     n.get_html(url)
  76.     n.get_each()
  77.     n.get_content()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

ザード
发表于 2019-4-10 14:20:08 | 显示全部楼层
看隐藏
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

gimman
发表于 2019-4-10 15:12:27 | 显示全部楼层
学习了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

zjhahaha
发表于 2019-4-10 15:16:37 | 显示全部楼层
let me look at it. thanks.
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

kklnkklnkkln
发表于 2019-4-10 17:57:49 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wp231957
发表于 2019-4-11 14:20:58 | 显示全部楼层
  1. def getHeader():
  2.     agent = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
  3.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
  4.              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
  5.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
  6.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
  7.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
  8.              ]
  9.     i = random.randint(0,len(agent)-1)
  10.     header = {'User-Agent':agent}
  11.     return header
复制代码


我猜测你是从agent列表中随机抽取一个agent  可是却没看明白这两句代码是如何关联的呢
i = random.randint(0,len(agent)-1)
    header = {'User-Agent':agent}
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

下一页 »
12345下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-7-19 07:23

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表