完美世界小说爬取程序

specail

看动漫看上瘾了。刚好学到爬虫，试着简单写一个。内置库的urllib.request库用不明白，只能用第三方库写一个了。比较写得比较粗糙，不知道怎么优化输出格式，有知道的可以回复一下。有其他建议的也可说一下，大家一起学习。

                               
登录/注册后可看大图

import re
import requests

class Spider:
    headers = { #发送HTTP请求时的HEAD信息
        'Connection': 'Keep-Alive',
        'Accept': 'text/html, application/xhtml+xml, */*',
        'Accept-Language':
        'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
        'Accept-Encoding': 'gzip, deflate',
        'User-Agent':
        'Mozilla/6.1 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
    }
    def __init__(self,url,timeout=60):  
        self.url = url
        self.timeout = timeout
        self.titles = []
        self.data = None
        
        
   
    def getHtml(self):     #获取网页内容
        response = requests.get(self.url,timeout = self.timeout,headers=self.headers)
        response.encoding = "utf-8"
        self.html = response.text
        #print(self.html)
        
    def getContent(self):   #获取标题及网页信息
        titles = []
        self.title=re.findall(r'<div class="read_title"><h1>(.*?)</h1>',self.html)
        content_list=re.findall(r'\S&nbsp;&nbsp;&nbsp;&nbsp;(.*?)\s',self.html)
        return content_list
   
    def save_info(self,content):  #保存文件
        with open("wangmeishijie.txt","a+",encoding="utf-8") as f:
            f.write(f"{self.title[0]}\n")
            for each in content:
                f.write(f"    {each}\n")
        
def getPage(page):   
    print("正在搜索第 {} 章".format(page-643602))
    url = "https://www.soshuw.com/WanMeiShiJie/"+str(page)+".html"
    web = Spider(url)
    web.getHtml()
    content = web.getContent()
    web.save_info(content)
   
if __name__ == "__main__":
    page = 643866  #对应264章
    n = int(input("输入需要爬取的页数(从264章开始)："))
    for i in range(n):
        page += 1
        getPage(page)
    print("爬取完成")

specail

1. import re
   
2. import requests
   
3. 
   
4. class Spider:
   
5.     headers = { #发送HTTP请求时的HEAD信息
   
6.         'Connection': 'Keep-Alive',
   
7.         'Accept': 'text/html, application/xhtml+xml, */*',
   
8.         'Accept-Language':
   
9.         'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
   
10.         'Accept-Encoding': 'gzip, deflate',
    
11.         'User-Agent':
    
12.         'Mozilla/6.1 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
    
13.     }
    
14.     def __init__(self,url,timeout=60):  
    
15.         self.url = url
    
16.         self.timeout = timeout
    
17.         self.titles = []
    
18.         self.data = None
    
19.         
    
20.         
    
21.    
    
22.     def getHtml(self):     #获取网页内容
    
23.         response = requests.get(self.url,timeout = self.timeout,headers=self.headers)
    
24.         response.encoding = "utf-8"
    
25.         self.html = response.text
    
26.         #print(self.html)
    
27.         
    
28.     def getContent(self):   #获取标题及网页信息
    
29.         titles = []
    
30.         self.title=re.findall(r'<div class="read_title"><h1>(.*?)</h1>',self.html)
    
31.         content_list=re.findall(r'\S&nbsp;&nbsp;&nbsp;&nbsp;(.*?)\s',self.html)
    
32.         return content_list
    
33.    
    
34.     def save_info(self,content):  #保存文件
    
35.         with open("wangmeishijie.txt","a+",encoding="utf-8") as f:
    
36.             f.write(f"{self.title[0]}\n")
    
37.             for each in content:
    
38.                 f.write(f"    {each}\n")
    
39.         
    
40. def getPage(page):   
    
41.     print("正在搜索第 {} 章".format(page-643602))
    
42.     url = "https://www.soshuw.com/WanMeiShiJie/"+str(page)+".html"
    
43.     web = Spider(url)
    
44.     web.getHtml()
    
45.     content = web.getContent()
    
46.     web.save_info(content)
    
47.    
    
48. if __name__ == "__main__":
    
49.     page = 643866  #对应264章
    
50.     n = int(input("输入需要爬取的页数(从264章开始)："))
    
51.     for i in range(n):
    
52.         page += 1
    
53.         getPage(page)
    
54.     print("爬取完成")
    

复制代码

specail

有鱼B！

hornwong

我爱小师妹

dlas[dl

好人不好。

ILY39

bksn，牛皮