鱼C论坛

 找回密码
 立即注册
查看: 1669|回复: 1

[技术交流] 自己写的妹子图的爬虫,之前爬太快ip被封了,后面循环给加了减速求稳

[复制链接]
发表于 2020-3-23 21:30:09 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import requests
import  re
import time

headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.116 Safari/537.36'
        }

#处理列表页
def listpage(page):
    url = 'https://www.mzitu.com/page/{page}/'
    response = requests.get(url,headers=headers)
    #response.encoding = 'utf-8'
    #提取详情页网址
    detailurl = re.findall('<a href="(.*?)" target="_blank">',response.text)
    return detailurl

#处理详情页
def detailpage(url):
    for i in range(1,6):
        i = str(i)
        url2 = url+"/"+i
        response = requests.get(url2,headers=headers)
        image = re.findall('<img src="(.*?)" alt',response.text)
        for i in image:
            print(i)
            time.sleep(2)
            savedata(i)

#解限制
picreferer = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.116 Safari/537.36',
'referer': 'https://www.mzitu.com/mm/'
}
#保存数据
def savedata(i):
    filename = 'D:/图片/' + i.split('/')[-1]
    print(filename)
    response = requests.get(i,headers=picreferer)
    with open(filename,'wb') as f:
        f.write(response.content)

def main():
    for page in range(10,12):  #爬取10到12页的,可自己改
        time.sleep(1)
        res = listpage(page)
        for url in res:
            time.sleep(1)
            detailpage(url)
#入口
if __name__=='__main__':
    main()

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-3-24 12:21:24 | 显示全部楼层
D:/图片/
没有这个文件夹的得先把它建好
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-25 08:46

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表