[已解决]关于for循环的一些问题

wongyusing

自从上一次写了爬取一本小说的爬虫，现在要爬取整个网站的小说，并按书名保存成一个txt文件，但在for循环上遇到的一些问题，想请教一下各位大神：

0. 为什么for循环在主函数内只会显示第一个拼接的url，而其他函数内却可以显示全部拼接成功的url
1. 爬取整个网站应该不会用到 Scrapy之类的吧？
代码如下

1. import re,urllib,os,html
   
2. import requests as req
   
3. 
   
4. def url_open(url):#网页打开函数，以防被禁
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9. 
   
10.     return html
    
11. 
    
12. 
    
13. 
    
14. def get_txt_url(url):#获取小说的url
    
15.     html = url_open(url).decode('gbk')
    
16.     reg = r'<li><a href="/(.*?)" title=".*?" target="_top">.*?</a></li>'
    
17.     book_url = re.findall(reg, html,re.S)
    
18.     #print(book_url)
    
19.     for i in book_url:
    
20.         url_1 = url + i#拼接小说的url
    
21.         return url_1
    
22. 
    
23. 
    
24. def get_txt_book(txt_url):
    
25.     html = url_open(txt_url).decode('gbk')
    
26.     reg = r'<li><a href="/.*?/(.*?)">.*?</a></li>'
    
27.     char = re.findall(reg,html,re.S)
    
28.     for a in char:
    
29.         url_z = txt_url+a
    
30.         return url_z
    
31. 
    
32. 
    
33. 
    
34. def gulong_txt(folder='txtbook',page=1):#主函数
    
35.     os.chdir(folder)
    
36.     url = 'http://www.gulongwang.com/'
    
37.     txt_url = get_txt_url(url)#获取小说的url
    
38.     print(txt_url)
    
39.     txt_book =get_txt_book(txt_url)#获取小说正文url
    
40.     print(txt_book)
    
41. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

wyp02033

2017-11-10 14:46:03

你的for循环在执行完第一循环后就返回退出了，所以你的循环实际上只执行了一次。
如果要获取全部的链接，你需要用一个列表来存储，然后返回整个列表。

跳转到最佳答案楼层

BngThea

你的主函数中没有for循环
爬虫进阶当然要用高端点的工具，比如scrapy

wyp02033

你的for循环在执行完第一循环后就返回退出了，所以你的循环实际上只执行了一次。
如果要获取全部的链接，你需要用一个列表来存储，然后返回整个列表。