[已解决]爬虫课后题

小甲鱼的铁粉

编写一个爬虫，让用户输入关键字，爬百度百科“网络爬虫”的词条（链接 -> http://baike.baidu.com/view/284853.htm），将所有包含“view”的链接按下边格式打印出来
这是答案，有一个疑问

    response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)

这里面的/search/word?%s  % keyword是干嘛的，我在浏览器看了，用百度百科搜一个关键词网址并不会有/search/word

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
   
10.     html = response.read()
    
11.     soup = BeautifulSoup(html, "html.parser")
    
12. 
    
13.     for each in soup.find_all(href=re.compile("view")):
    
14.         content = ''.join([each.text])
    
15.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
16.         response2 = urllib.request.urlopen(url2)
    
17.         html2 = response2.read()
    
18.         soup2 = BeautifulSoup(html2, "html.parser")
    
19.         if soup2.h2:
    
20.             content = ''.join([content, soup2.h2.text])
    
21.         content = ''.join([content, " -> ", url2])
    
22.         print(content)
    
23. 
    
24. if __name__ == "__main__":
    
25.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-2 08:06:09

%s 这边就是 % 格式化，就是将你 input 的内容先通过 urlencode转为 URL 编码，然后在格式化到下面的链接中去，这样做到搜索的功能

代码应该改成这样才能正常运行的：

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
   
10.     html = response.read()
    
11.     soup = BeautifulSoup(html, "html.parser")
    
12. 
    
13.     for each in soup.find_all(href=re.compile("item"))[7:]:
    
14.         content = ''.join([each.text])
    
15.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
16.         response2 = urllib.request.urlopen(url2)
    
17.         html2 = response2.read()
    
18.         soup2 = BeautifulSoup(html2, "html.parser")
    
19.         if soup2.h2:
    
20.             content = ''.join([content, soup2.h2.text])
    
21.         content = ''.join([content, " -> ", url2])
    
22.         print(content)
    
23. 
    
24. if __name__ == "__main__":
    
25.     main()

复制代码

标签 href 的关键词是 item ， 而且前 7个标签无用，所以从第七个开始

跳转到最佳答案楼层

suchocolate

字符串格式化，参考：https://www.runoob.com/python3/python3-string.html

运行时，keyword的值会替换%s。

Twilight6

%s 这边就是 % 格式化，就是将你 input 的内容先通过 urlencode转为 URL 编码，然后在格式化到下面的链接中去，这样做到搜索的功能

代码应该改成这样才能正常运行的：

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
   
10.     html = response.read()
    
11.     soup = BeautifulSoup(html, "html.parser")
    
12. 
    
13.     for each in soup.find_all(href=re.compile("item"))[7:]:
    
14.         content = ''.join([each.text])
    
15.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
16.         response2 = urllib.request.urlopen(url2)
    
17.         html2 = response2.read()
    
18.         soup2 = BeautifulSoup(html2, "html.parser")
    
19.         if soup2.h2:
    
20.             content = ''.join([content, soup2.h2.text])
    
21.         content = ''.join([content, " -> ", url2])
    
22.         print(content)
    
23. 
    
24. if __name__ == "__main__":
    
25.     main()

复制代码

标签 href 的关键词是 item ， 而且前 7个标签无用，所以从第七个开始