爬虫课后题
编写一个爬虫，让用户输入关键字，爬百度百科“网络爬虫”的词条（链接 -> http://baike.baidu.com/view/284853.htm），将所有包含“view”的链接按下边格式打印出来这是答案，有一个疑问
response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
这里面的/search/word?%s% keyword是干嘛的，我在浏览器看了，用百度百科搜一个关键词网址并不会有/search/word
import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup
def main():
keyword = input("请输入关键词：")
keyword = urllib.parse.urlencode({"word":keyword})
response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
html = response.read()
soup = BeautifulSoup(html, "html.parser")
for each in soup.find_all(href=re.compile("view")):
content = ''.join()
url2 = ''.join(["http://baike.baidu.com", each["href"]])
response2 = urllib.request.urlopen(url2)
html2 = response2.read()
soup2 = BeautifulSoup(html2, "html.parser")
if soup2.h2:
content = ''.join()
content = ''.join()
print(content)
if __name__ == "__main__":
main() 本帖最后由 suchocolate 于 2020-7-2 00:24 编辑
字符串格式化，参考：https://www.runoob.com/python3/python3-string.html
运行时，keyword的值会替换%s。
%s 这边就是 % 格式化，就是将你 input 的内容先通过 urlencode转为 URL 编码，然后在格式化到下面的链接中去，这样做到搜索的功能
代码应该改成这样才能正常运行的：
import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup
def main():
keyword = input("请输入关键词：")
keyword = urllib.parse.urlencode({"word":keyword})
response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
html = response.read()
soup = BeautifulSoup(html, "html.parser")
for each in soup.find_all(href=re.compile("item")):
content = ''.join()
url2 = ''.join(["http://baike.baidu.com", each["href"]])
response2 = urllib.request.urlopen(url2)
html2 = response2.read()
soup2 = BeautifulSoup(html2, "html.parser")
if soup2.h2:
content = ''.join()
content = ''.join()
print(content)
if __name__ == "__main__":
main()
标签 href 的关键词是 item ， 而且前 7个标签无用，所以从第七个开始
页:
[1]