[已解决]爬虫爬小说

君子好逑

1. import requests
   
2. import re
   
3. 
   
4. #name = input('请输入想要查找的小说的名字：')
   
5. 
   
6. params = {
   
7.     'q':'无敌真寂寞'
   
8. }
   
9. 
   
10. headers = {
    
11.     'Accept-Language': 'zh-CN',
    
12.     'Cache-Control': 'no-cache',
    
13.     'Connection': 'Keep-Alive',
    
14.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
15.     }
    
16. url = 'https://www.biduo.cc/search.php?'
    
17. res = requests.get(url=url,params=params,headers=headers)
    
18. html = res.text
    
19. 
    
20. # regular = re.compile('')
    
21. # m = regular.findall(html)
    
22. print(m)

复制代码

想爬个小说，html就是查找那部小说的连接，但是找小说章节连接的正则表达式写不出来，有大佬能指点一下吗

最佳答案

月排行榜 / 总排行榜

Wei_Jian_Xian

2020-8-22 02:51:18

这样能爬到搜索榜一的小说详情页,看看有没有启发

1. import requests
   
2. import bs4
   
3. import os
   
4. 
   
5. url = f'https://www.biduo.cc/search.php?q={input("请输入小说名：")}'
   
6. 
   
7. headers = {
   
8.     'Accept-Language': 'zh-CN',
   
9.     'Cache-Control': 'no-cache',
   
10.     'Connection': 'Keep-Alive',
    
11.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
12.     }
    
13. 
    
14. res = requests.get(url,headers=headers)
    
15. s = bs4.BeautifulSoup(res.text,features="lxml")
    
16. 
    
17. xiaoshuo = s.find("h3",class_="result-item-title result-game-item-title") #找到 第一个 标签(即为搜索榜一) 找全部可用s.find_all
    
18. 
    
19. url_ = xiaoshuo.find("a").get ('href')# 在获得的标签中 继续找到 a 标签，并get 到 href 属性
    
20. print("https://www.biduo.cc" + url_) #加前缀
    

复制代码

跳转到最佳答案楼层

Wei_Jian_Xian

这样能爬到搜索榜一的小说详情页,看看有没有启发

1. import requests
   
2. import bs4
   
3. import os
   
4. 
   
5. url = f'https://www.biduo.cc/search.php?q={input("请输入小说名：")}'
   
6. 
   
7. headers = {
   
8.     'Accept-Language': 'zh-CN',
   
9.     'Cache-Control': 'no-cache',
   
10.     'Connection': 'Keep-Alive',
    
11.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
12.     }
    
13. 
    
14. res = requests.get(url,headers=headers)
    
15. s = bs4.BeautifulSoup(res.text,features="lxml")
    
16. 
    
17. xiaoshuo = s.find("h3",class_="result-item-title result-game-item-title") #找到 第一个 标签(即为搜索榜一) 找全部可用s.find_all
    
18. 
    
19. url_ = xiaoshuo.find("a").get ('href')# 在获得的标签中 继续找到 a 标签，并get 到 href 属性
    
20. print("https://www.biduo.cc" + url_) #加前缀
    

复制代码

Wei_Jian_Xian

Wei_Jian_Xian 发表于 2020-8-22 02:51
这样能爬到搜索榜一的小说详情页,看看有没有启发

导入的os库没用

1q23w31

1. import requests
   
2. import re
   
3. 
   
4. #name = input('请输入想要查找的小说的名字：')
   
5. 
   
6. params = {
   
7.     'q':'无敌真寂寞'
   
8. }
   
9. 
   
10. headers = {
    
11.     'Accept-Language': 'zh-CN',
    
12.     'Cache-Control': 'no-cache',
    
13.     'Connection': 'Keep-Alive',
    
14.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
15.     }
    
16. url = 'https://www.biduo.cc/search.php?'
    
17. res = requests.get(url=url,params=params,headers=headers)
    
18. html = res.text
    
19. 
    
20. regular = re.compile('cpos="title".*?class')
    
21. m = regular.findall(html)
    
22. print(m)
    

复制代码

在此基础上提取链接

君子好逑

Wei_Jian_Xian 发表于 2020-8-22 02:51
这样能爬到搜索榜一的小说详情页,看看有没有启发

我感受到了自己知识的贫瘠

君子好逑

1q23w31 发表于 2020-8-22 07:51
在此基础上提取链接

谢谢大佬