|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
这是小甲鱼的代码和结果
import urllib.request
import re
from bs4 import BeautifulSoup
def main():
url = "http://baike.baidu.com/view/284853.htm"
response = urllib.request.urlopen(url)
html = response.read()
soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
for each in soup.find_all(href=re.compile("view")):
print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
if __name__ == "__main__":
main()
然而我的问题是:
1.我按照小甲鱼给的链接进入了百度百科《网络爬虫》页,但是为什么此时的链接、不是小甲鱼给的那个了呢?
2.当我直接使用小甲鱼的代码时,得到的结果是这个
既然按照代码中URL的那个链接打开的是《网络爬虫》页,为什么抓取的结果相差那么大呢?
求求大神帮忙解答一下疑惑,谢谢!
把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB" 试试
|
|