[已解决]小甲鱼 55讲

suchocolate

1. import urllib.request as ur
   
2. import urllib.parse as upa
   
3. from bs4 import BeautifulSoup as bso
   
4. import re
   
5. 
   
6. 
   
7. 
   
8. def main():
   
9.     keyword = input('请输入关键词:')
   
10.     keyword2 = upa.quote(keyword)
    
11.     url = 'http://baike.baidu.com/item/%s' % keyword2
    
12.     http1 = ur.Request(url)
    
13.     http1.addheaders = [('user-Agent',
    
14.                          'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')]
    
15.     html1 = ur.urlopen(http1).read().decode('utf-8')
    
16.     soup = bso(html1, 'html.parser')
    
17.     for i in soup.find_all(href=re.compile('item')):
    
18.         content = i.text     # 这里优化一下，可以直接用，不用join。
    
19.         url2 = 'http://baike.baidu.com' + upa.quote(i['href'])     # 忘记转成url编码了
    
20.         http2 = ur.Request(url2)
    
21.         http2.addheaders = [('user-Agent',
    
22.                              'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')]
    
23.         html2 = ur.urlopen(http2).read().decode('utf-8')
    
24.         soup2 = bso(html2, 'html.parser')
    
25.         if soup2.h2:
    
26.             content = ''.join([content, soup.h2.string])     # 是h2的string，不是h2
    
27.         content = ''.join([content, '->', url2])
    
28.         print(content)
    
29. 
    
30. 
    
31. if __name__ == '__main__':
    
32.     main()

复制代码

suchocolate

oneface 发表于 2020-12-2 16:06
每次爬到倒数第二个就报错

我这里没有报错
你现在运行的代码再发上来，还有输入的关键词。