055动动手第一题的代码

AINIDEREN

为啥小甲鱼的代码在我的电脑上会报错，是时间太久了吗？还是我的电脑的问题？
感觉爬虫好难啊？好多模块都没有学到

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
   
10.     html = response.read()
    
11.     soup = BeautifulSoup(html, "html.parser")
    
12. 
    
13.     for each in soup.find_all(href=re.compile("view")):
    
14.         content = ''.join([each.text])
    
15.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
16.         response2 = urllib.request.urlopen(url2)
    
17.         html2 = response2.read()
    
18.         soup2 = BeautifulSoup(html2, "html.parser")
    
19.         if soup2.h2:
    
20.             content = ''.join([content, soup2.h2.text])
    
21.         content = ''.join([content, " -> ", url2])
    
22.         print(content)
    
23. 
    
24. if __name__ == "__main__":
    
25.     main()
    

复制代码

沉好人

1. for each in soup.find_all(href=re.compile("view")):
   
2. #改成
   
3. for each in soup.find_all(href=re.compile("viewPageContent")):
   
4. #就好了
   

复制代码

zhuchuanhan

沉好人 发表于 2020-2-28 10:48

能爬取，但是获取的主标题不正确。