python爬虫——我的第二个爬虫程序——百度

非凡

此处补充个知识点：
        1、访问浏览器是通过：请求（向浏览器发送请求包）——响应（得到浏览器响应的方式来获取网站资源的）。
        2、客户端和网站服务器之间进行 请求——响应，最常用的两种方式是GET：从服务器请求获得数据，POST：向指定服务器提交被处理数据
        3、静态网页中，get请求常在url中表现。动态网页中：post请求，在urllib库中是通过 urlopen() data 参数赋值，提出请求。
        4、urlopen() data 参数默认值是None，此时以GET方式发送请求；当用户给出data参数的时候，改为POST方式发送请求。

之前程序“猫片”，现在的“百度”，都是get请求。

1. from urllib import request
   
2. from urllib import parse
   
3. 
   
4. 
   
5. def get_url(word):
   
6.     #在向网页发送get请求时，会发现url会跟随你请求而变化，这变化时有规律的。url的变化部分一般是在接在s?后头
   
7.     #关于url变化后续爬虫中经常需要用的，比如页码的变化、二级、三级链接的变化。
   
8.     #仔细观察百度在搜索时的url，搜索的内容会在wd=后,
   
9.     url = 'http://www.baidu.com/s?wd='
   
10.     #将要搜索内容接入到url中，形成新的url
    
11.     params = parse.quote(word)
    
12.     full_url = url + params
    
13.     return full_url
    
14. 
    
15. def request_url(url,filename):
    
16.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52'}
    
17.     # 1、包装ua信息
    
18.     req = request.Request(url=url,headers=headers)
    
19.     # 2、构建get请求对象
    
20.     res = request.urlopen(req)
    
21.     # 3、解析浏览器响应内容
    
22.     html = res.read().decode('utf-8')
    
23.     # 4、保存爬取的网页源码
    
24.     filename = word + '.html'
    
25.     with open(filename,'w',encoding='utf-8') as f:
    
26.         f.write(html)
    
27. 
    
28. if __name__=='__main__':
    
29.     word = input('请求输入搜索内容：')
    
30.     url =get_url(word)
    
31.     filename = word + '.html'
    
32.     request_url(url,filename)

复制代码

hornwong