用css选择器进行爬虫实践

车小炮

# @Time    : 2020/5/20 22:16
# @Author  : 车小炮

#导入库
import requests
import parsel

#伪装浏览器
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",

}

#这个网址里面有7张图片，把7张都下载下来
for page in range(1,8):
    url = 'http://www.win4000.com/wallpaper_detail_168691_{}.html'.format(page)

    response = requests.get(url, headers=headers)

    html = response.text
    selector = parsel.Selector(html)

    img_url = selector.css('.pic-large::attr(src)').getall()
    for i in img_url:
        print(i)

    name = i.split('/')[-1]
    # print(name)

    img = requests.get(i, headers=headers)

    #保存文件
    with open('cheche\\' + name, mode='wb') as f:
        print('正在下载图片：', name)
        f.write(img.content)

自学爬虫两三个月左右了，从开始的print('hello world')，到自己会模糊地敲一些代码，感觉很开心

新手操作，刚学了css选择器，实践一下，欢迎大家讨论，一起学习

有大神觉得有哪里可以改进一下的也可以留言告诉我哈

再过段时间慢慢摸索可以下载一页或者几页