哪里错了，怎么弄，点不会，怎么爬

过默

1. import requests
   
2. from lxml import etree
   
3. import os
   
4.     #设计模式--面向对象
   
5. class Spider(object):
   
6.     #1.请求一级页面HTML源代码
   
7.     def start_request(self):
   
8.         response = requests.get("https://www.qidian.com/all")
   
9.         html=etree.HTML(response.text)
   
10.         Bigtit_list=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
    
11.         Bigsrc_list=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
    
12.         for Bigtit, Bigsrc in zip(Bigtit_list,Bigsrc_list):
    
13.             if os.path.exists(Bigtit)==False:
    
14.                 os.mkdir(Bigtit)
    
15.             self.next_file(Bigtit,Bigsrc)
    
16.     def next_file(self,Bigtit,Bigsrc):
    
17.         response=requests.get("https:" + Bigsrc)
    
18.         html=etree.HTML(response.text)
    
19.         Littit_list=html.xpath('//ul[@class="cf"]/li/a/text')
    
20.         Litsrc_list=html.xpath('//ul[@class="cf"]/li/a/@href')
    
21.         for Littit,Litsrc in zip(Littit_list,Litsrc_list):
    
22.             self.finally_file(Littit,Litsrc,Bigtit)
    
23.         
    
24. 
    
25.     def finally_file(self, Littit,Litsrc,Bigtit):
    
26.         response=requests.get("https:"+Litsrc)
    
27.         html=etree.HTML(response.text)
    
28.         content = "\n".join(html.xpath('//div[@class="read-content j_readContent"]/p/text()'))
    
29.         file_name=Bigtit+"\"+Littit+".txt"
    
30.         print("正在保存文件:"+file_name)
    
31.         with open(file_name,"w",encoding="utf-8")as f:
    
32.             f.file_name
    
33.         
    
34. 
    
35. spider = Spider()
    
36. spider.start_request()

复制代码

哪里错了，怎么弄，点不会，怎么爬

tokeika

是要爬取起点中文网所有小说的名字么？
我使用requests模块和BeautifulSoup4模块

1. # import re
   
2. from bs4 import BeautifulSoup
   
3. import requests
   
4. 
   
5. def get_reqbs(url):
   
6.     '''
   
7.     获取目标网页的beautifulsoup
   
8.     :param url:
   
9.     :return:
   
10.     '''
    
11.     headers = {
    
12.         'Referer': url,
    
13.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
    
14.     }
    
15.     req = requests.get(url,headers=headers)
    
16.     urlbs = BeautifulSoup(req.text,'lxml')
    
17.     return urlbs
    
18. 
    
19. pages = input('输入爬取的页数：')
    
20. 
    
21. for page in range(1,int(pages)+1):
    
22.     base_url = 'https://www.qidian.com/all?orderId=&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=0&page={}'.format(page)
    
23.     soup = get_reqbs(base_url)
    
24.     infos = soup.find_all('div',class_='book-mid-info')
    
25.     novel_infos = {}
    
26.     for info in infos:
    
27.         novel_info = {'作者':info.find('a',class_='name').text,
    
28.                        '类型': info.find('p',class_='author').text.split('|')[1],
    
29.                       '简介':info.find('p',class_='intro').text.strip()
    
30.                       }
    
31.         novel_infos[info.h4.text] = novel_info
    
32.     print(novel_infos)

复制代码