爬虫

君子好逑

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. url_list = []
   
6. chapter = []
   
7. 
   
8. f = open('无敌真寂寞.txt','w')
   
9. 
   
10. def get_url(num=2):
    
11.     url = 'https://www.biduo.cc/biquge/39_39888/c'
    
12.     for i in range(num):
    
13.         chapter.append(i)
    
14.         num = 13353637+i
    
15.         num = str(num)
    
16.         url = url + num + '.html'
    
17.         url_list.append(url)
    
18.         url = 'https://www.biduo.cc/biquge/39_39888/c'
    
19.         
    
20. 
    
21. def get_html(url):
    
22. 
    
23.     headers = {
    
24.     'Accept-Language': 'zh-CN',
    
25.     'Cache-Control': 'no-cache',
    
26.     'Connection': 'Keep-Alive',
    
27.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
28.     }
    
29. 
    
30.     res = urllib.request.Request(url=url,headers=headers)
    
31. 
    
32.     response = urllib.request.urlopen(res)
    
33.     html = response.read().decode("gbk",'ignore')
    
34.     return html
    
35. 
    
36. def get_text(html):
    
37. 
    
38.     regular = re.compile(".*?<br><br>&nbsp;&nbsp;&nbsp;&nbsp;")
    
39. 
    
40.     m = regular.findall(html)
    
41. 
    
42.     for each in m:
    
43.         each = each[:-32]
    
44.         print('     ',end='')
    
45.         if '&nbsp;&nbsp;&nbsp;&nbsp;' in each :
    
46.             print(each.split(';')[-1])
    
47.             f.write(each.split(';')[-1])
    
48.             f.write('\n')
    
49.         else:
    
50.             print(each)
    
51.             f.write(each)
    
52.             f.write('\n')
    
53. 
    
54. def main():
    
55.     number = int(input('请输入您想获取的章节总数：'))
    
56.     get_url(number)
    
57.     for url in url_list:
    
58.         i = chapter[0]
    
59.         f.write('第'+str(i+1)+'章')
    
60.         f.write('\n')
    
61.         f.write('\n')
    
62.         f.write('\n')
    
63.         chapter.pop(0)
    
64.         
    
65.         html = get_html(url)
    
66.         get_text(html)
    
67. 
    
68.     f.close()
    
69. 
    
70. if __name__ == "__main__":
    
71.     main()

复制代码

爬了个小说，结果每一章跟下一章的地址不连续，除了去目录爬地址，还有啥方法吗，求大佬指点

1q23w31

还有一种，从第一页找出第二页地址，以此类推

君子好逑

1q23w31 发表于 2020-8-20 15:39
还有一种，从第一页找出第二页地址，以此类推

ok，我去在试试。谢谢大佬