网络小说爬取

大裤衩子

目标网站是这个：http://www.xbiquge.la/fenlei/1_1.html
想下载喜欢的小说，又懒得注册登陆怎么办?就用这个试试看看，
格式化没有做好，代码写得很糟，总算能爬下来了。
目前还没有实现输入书名就下载全本，后面再看怎么实现吧。

游客，如果您要查看本帖隐藏内容请回复

Ayluc

学习学习

fdleva

谢谢大佬

wp231957

支持一下

wp231957

你那个模拟浏览器的报文头，弄那么多，是为了更好的蒙蔽对方吗

ZIYUN

学习学习

大裤衩子

wp231957 发表于 2019-4-8 18:19
你那个模拟浏览器的报文头，弄那么多，是为了更好的蒙蔽对方吗

嗯

葫芦爷救娃娃

学习！

fate繁曦

学习学习

lys93

学习学习

万中山

see

noobbull

多学习别人的代码才能更好的成长~ 谢谢大佬分享

qxwht5323

学习了

八云式

牛逼

大裤衩子

隐藏版本的内容写的很烂，这个稍微精简了下

1. 
   
2. import os
   
3. import re
   
4. import requests
   
5. import bs4
   
6. import random
   
7. 
   
8. class nov():
   
9.     def __init__(self,url):
   
10.         self.url=url
    
11.    
    
12.     def get_header(self):
    
13.         agent = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
    
14.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    
15.              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    
16.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
    
17.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
    
18.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
    
19.              ]
    
20.         i = random.randint(0,len(agent)-1)
    
21.         header = {'User-Agent':agent[i]}
    
22.         return header
    
23.    
    
24.     # 获取目录页面
    
25.     def get_html(self,path):
    
26.         self.path=path
    
27.         res=requests.get(self.path,self.get_header())
    
28.         res.encoding='utf-8'
    
29.         html=res.text
    
30.         return html
    
31.    
    
32.     #获取章节全路径
    
33.     def get_each(self):
    
34.         self.html=self.get_html(self.url)
    
35.         soup=bs4.BeautifulSoup(self.html,'html.parser')
    
36.         global nov_name
    
37.         nov_name=soup.h1.text
    
38.         each_path=soup.find_all('dd')
    
39.         urlList=[]
    
40.         for i in each_path:
    
41.             each_name=i.a.text
    
42.             each_full_path='http://www.xbiquge.la'+i.a['href']
    
43.             urlList.append(each_full_path)
    
44.         return urlList
    
45.         
    
46.     def get_content(self):
    
47.         self.ulist=self.get_each()
    
48.         print("匹配到小说:<<"+nov_name+">>共%d章节" % len(self.ulist))
    
49. 
    
50.         down="D:/1/txt/"
    
51.         if os.path.exists(down)!=True:
    
52.             os.makedirs(down)
    
53.         k=0
    
54.         for i in self.ulist[:]:
    
55.             k+=1
    
56.             con=self.get_html(i)
    
57.             soup=bs4.BeautifulSoup(con,'html.parser')
    
58.             title=soup.h1.text
    
59.             txt=soup.find_all('div',id="content")
    
60.             spt=re.split("\s+",txt[0].text)
    
61.             new=[]
    
62.             new.append(str('    '+title+"\n\n"))
    
63.             for i in spt:
    
64.                 i='    '+i+"\n\n"
    
65.                 new.append(i)
    
66.             
    
67.             print("正在写入第%d章" % k)
    
68.             with open("D:/1/txt/"+nov_name+".txt",'a+',encoding='utf-8')as p:
    
69.                 p.writelines(new)
    
70. 
    
71. if __name__=="__main__":
    
72.     www="http://www.xbiquge.la"
    
73.     url=input("请输入"+str(www)+"中最任意一小说目录所在网址(例如：http://www.xbiquge.la/15/15409/)：")
    
74.     n=nov(url)
    
75.     n.get_html(url)
    
76.     n.get_each()
    
77.     n.get_content()
    

复制代码

ザード

看隐藏

gimman

学习了

zjhahaha

let me look at it. thanks.

kklnkklnkkln

wp231957

1. def getHeader():
   
2.     agent = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
   
3.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
   
4.              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
   
5.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
   
6.              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
   
7.              'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
   
8.              ]
   
9.     i = random.randint(0,len(agent)-1)
   
10.     header = {'User-Agent':agent}
    
11.     return header

复制代码

我猜测你是从agent列表中随机抽取一个agent  可是却没看明白这两句代码是如何关联的呢
i = random.randint(0,len(agent)-1)
    header = {'User-Agent':agent}