爬虫问题，新人一枚，求各位大佬帮忙

梦想一事无成

这段代码是爬取百度百科胡歌这个页面的链接，我想要在爬取每个链接的外链，如此循环下去
但是我的函数 chaozhaourl(keyname)，参数keyname是解码后的，爬取的链接没有解码
新手一枚，都不知道怎么描述自己的想法。
求各位大佬看出我的代码给出指教。

1. import urllib.request
   
2. import random
   
3. import bs4
   
4. import re
   
5. headerss = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
   
6.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon/3.0'
   
7.             'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;  QIHU 360EE'
   
8.             'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3637.220 Safari/537.36']
   
9. 
   
10. def agent():
    
11.     thisagent = random.choice(headerss)
    
12.     print(thisagent)
    
13.     headers = ('User-Agent',thisagent)
    
14.     opener = urllib.request.build_opener()
    
15.     opener.addheaders = [headers]
    
16.     urllib.request.install_opener(opener)
    
17. 
    
18. 
    
19. def chaozhaourl(keyname):
    
20.     agent()
    
21.     key = urllib.request.quote(keyname)
    
22.     url = 'https://baike.baidu.com/item/'+key
    
23.     data = urllib.request.urlopen(url).read().decode('utf-8')
    
24.     bsobj = bs4.BeautifulSoup(data,'html.parser')
    
25.     for link in bsobj.find('div',{'class':'body-wrapper feature large-feature starLarge'}).findAll('a',href = re.compile('^(/item/)(.*)')):
    
26.         if 'href' in link.attrs:
    
27.             print(link.attrs['href'])
    
28.            
    
29. 
    
30. 
    
31. 
    
32. chaozhaourl('胡歌')
    

复制代码

gopythoner

你把报错发出来

梦想一事无成

gopythoner 发表于 2017-10-18 14:04
你把报错发出来

没有报错 就是想让你们帮我理一下思路，如何在从循环已查取的链接

colinshi

我简单讲一下我的爬虫思路吧。第一找到原始页面把你要的外链连接和你要的数据爬下来。将爬完的页面存入一个list内（比如起名oldurl）（数据量大的话可以直接存入数据库的一张表）。将下一个要爬的页面对比自己oldurl是不是存在，存在跳过。一直循环到自己设定的深度即可。