爬小说有一些问题，请大神指教。

不尴尬

1. import requests
   
2. import re
   
3. import time
   
4. import random
   
5. 
   
6. headers = {'User-Agent':
   
7. 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0'}
   
8. 
   
9. def get_chapter_data(url):
   
10.     res = requests.get(url,headers=headers)
    
11.     res.encoding = 'gbk'
    
12.     html = res.text
    
13.     chapter_data = re.findall(r'<div class="yd_text2">(.*?)</div>',html,re.S)[0]
    
14.     chapter_data = chapter_data.strip()
    
15.     chapter_data = chapter_data.replace('&nbsp;','')
    
16.     chapter_data = chapter_data.replace('<br />','')
    
17.     return chapter_data
    
18. 
    
19. def get_chapter_infos(novel_url):
    
20.     res = requests.get(novel_url,headers=headers)
    
21.     res.encoding = 'gbk'
    
22.     html = res.text
    
23.     chapter_infos = re.findall(r'<li><a href="(.*?)">(.*?)</a></li>',html,re.S)
    
24.     return chapter_infos
    
25. 
    
26. url ='https://www.88dushu.com/xiaoshuo/71/71618/'
    
27. chapter_info = get_chapter_infos(url)
    
28. #print(chapter_info)
    
29. f = open('C:/Users/Administrator/Desktop/test(py)/废土崛起(1).txt', 'w',encoding='gbk')
    
30. for chapter in chapter_info:
    
31.     chapter_data = get_chapter_data('https://www.88dushu.com/xiaoshuo/71/71618/%s' %chapter[0])
    
32.     f.write(chapter[1])
    
33.     f.write('\n')
    
34.     f.write(chapter_data)
    
35.     print(chapter[1])
    
36.     time.sleep(random.randint(1,3))
    
37. f.close()
    

复制代码

不尴尬

图片

太阳花田

你用debug看啊！问题告诉你索引超界了！

不尴尬

太阳花田 发表于 2018-2-1 22:01
你用debug看啊！问题告诉你索引超界了！

debug不会

太阳花田

不尴尬 发表于 2018-2-1 23:28
debug不会

你pycharm右键点击run下面有一个debug啊！
你先在错误行行左边点击左键出现小红点，程序运行到这里就会停止，你看你程序里面各个参数的值
你可以在各种地方设置多个小红点，下面左边像暂停的绿色三角形点一下就会运行一步  到下一个小红点
这是最基本的操作，其他你去网上百度下吧，我这里没法贴图不好说。
另外：debug是基础   你不会怎么学到爬虫的！我真有点佩服你！