设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 爬虫为什么爬一点就中断了呢
返回列表 发新帖
查看: 2173|回复: 17

[已解决]爬虫为什么爬一点就中断了呢

[复制链接]
L嘉
发表于 2020-8-5 15:29:22 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本帖最后由 L嘉 于 2020-8-5 20:26 编辑

@Twilight6
# -*- coding: utf-8 -*-



from lxml import etree
import requests
import csv
import time

def writecsv(item):
    with open('ershou.csv','a',encoding = 'utf-8') as f:   
        writer = csv.writer(f)
        try:
            writer.writerow(item)           
        except:
            print('write error!')
            

if __name__ == '__main__':
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3'}
 
    start_url = 'https://cd.ke.com/ershoufang/damian/pg'   
    for x in range(1,76):       
        url = start_url + str(x)
        html = requests.get(url,headers = headers)
        time.sleep(3)          
        selector = etree.HTML(html.text)
        
       #小区列表
        xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
        for xiaoqu in xiaoqulist:
            
       #楼盘名
            mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
            
       #楼盘信息
            xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
            
       #均价
            junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
            
       #总价
            zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
       
            
            item = [mingcheng, xinxi, junjia, zongjia]
            writecsv(item)
            print('londing:',mingcheng)    
            
最佳答案
月排行榜 / 总排行榜
Twilight6
2020-8-5 22:43:59

试试看？
# -*- coding: utf-8 -*-


from lxml import etree
import requests
import csv
import time


def writecsv(item):
    with open('ershou.csv', 'a', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow(item)



if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3',
        'referer':'https://cd.ke.com/ershoufang/damian/pg/'}

    start_url = 'https://cd.ke.com/ershoufang/damian/pg'
    for x in range(1, 76):
        url = start_url + str(x)
        html = requests.get(url, headers=headers)
        time.sleep(3)
        selector = etree.HTML(html.text)
        headers['referer'] = f'https://cd.ke.com/ershoufang/damian/pg{x-1}/'

        # 小区列表
        xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
        for xiaoqu in xiaoqulist:
            # 楼盘名
            mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]

            # 楼盘信息
            xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]

            # 均价
            junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]

            # 总价
            zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]

            item = [mingcheng, xinxi, junjia, zongjia]
            writecsv(item)
            print('londing:', mingcheng)
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

xiaosi4081
发表于 2020-8-5 15:30:18 | 显示全部楼层
本帖最后由 xiaosi4081 于 2020-8-5 15:35 编辑

可能缩进乱了
from lxml import etree
import requests
import csv
import time

def writecsv(item):
    with open('ershou.csv','a',encoding = 'utf-8') as f:   
        writer = csv.writer(f)
        try:
            writer.writerow(item)           
        except:
            print('write error!')
            

if __name__ == '__main__':
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3'}
 
    start_url = 'https://cd.ke.com/ershoufang/damian/pg'   
    for x in range(1,76):       
        url = start_url + str(x)
        html = requests.get(url,headers = headers)
        time.sleep(3)          
        selector = etree.HTML(html.text)
        
        #小区列表
        xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
        for xiaoqu in xiaoqulist:
            
                   #楼盘名
            mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
            
            #楼盘信息
            xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
            
            #均价
            junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
            
            #总价
            zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
       
            
            item = [mingcheng, xinxi, junjia, zongjia]
            writecsv(item)
            print('londing:',mingcheng)   
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

qiuyouzhi
发表于 2020-8-5 15:31:59 | 显示全部楼层
我这里没有问题？
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 15:35:44 | 显示全部楼层
qiuyouzhi 发表于 2020-8-5 15:31
我这里没有问题？

我要爬取75页一共2000多条数据，结果就出来90多条
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 15:37:03 | 显示全部楼层
xiaosi4081 发表于 2020-8-5 15:30
可能缩进乱了

2000多条信息就爬出来90多条
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

qiuyouzhi
发表于 2020-8-5 15:38:14 | 显示全部楼层
L嘉 发表于 2020-8-5 15:35
我要爬取75页一共2000多条数据，结果就出来90多条

妈耶，这么多的吗
我建议你每次sleep几秒，不然不被反爬是不可能的
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 15:39:58 | 显示全部楼层
qiuyouzhi 发表于 2020-8-5 15:38
妈耶，这么多的吗
我建议你每次sleep几秒，不然不被反爬是不可能的

我设置的5秒啊
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

qiuyouzhi
发表于 2020-8-5 15:49:36 | 显示全部楼层
L嘉 发表于 2020-8-5 15:39
我设置的5秒啊

噢，抱歉，没看见
那我建议你爬完一页休息个几分钟，几秒钟或许不够？
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 15:54:03 | 显示全部楼层
qiuyouzhi 发表于 2020-8-5 15:49
噢，抱歉，没看见
那我建议你爬完一页休息个几分钟，几秒钟或许不够？

那不得加班了哦
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

_2_
发表于 2020-8-5 16:01:20 From FishC Mobile | 显示全部楼层
L嘉 发表于 2020-8-5 15:54
那不得加班了哦

你要爬取的主要是什么？
是不是每个内容的标题，还是里面的内容也需要？
2002 条不是个小数目，建议每次爬取 100 多条，下一次从上次结束的地方断点续传
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

qiuyouzhi
发表于 2020-8-5 16:04:11 | 显示全部楼层
L嘉 发表于 2020-8-5 15:54
那不得加班了哦

谁叫那个网站反爬厉害呢
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

1q23w31
发表于 2020-8-5 16:04:12 | 显示全部楼层
L嘉 发表于 2020-8-5 15:54
那不得加班了哦

我可以帮你改一下代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 16:04:31 | 显示全部楼层
_2_ 发表于 2020-8-5 16:01
你要爬取的主要是什么？
是不是每个内容的标题，还是里面的内容也需要？
2002 条不是个小数目，建议每 ...

就表面的一些内容，子页面的没有爬取
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 16:06:26 | 显示全部楼层
1q23w31 发表于 2020-8-5 16:04
我可以帮你改一下代码

你是说加多线程吗？
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

_2_
发表于 2020-8-5 18:01:44 From FishC Mobile | 显示全部楼层
L嘉 发表于 2020-8-5 16:06
你是说加多线程吗？

可以考虑，不过要为每个线程单独设置
（就是第一个线程爬0-99，第二个线程爬100-200，以此类推）
比较麻烦就不搞了
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

L嘉
 楼主| 发表于 2020-8-5 20:18:14 | 显示全部楼层
_2_ 发表于 2020-8-5 18:01
可以考虑，不过要为每个线程单独设置
（就是第一个线程爬0-99，第二个线程爬100-200，以此类推）
比较 ...

好的谢谢
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-8-5 22:43:59 | 显示全部楼层    本楼为最佳答案   

试试看？
# -*- coding: utf-8 -*-


from lxml import etree
import requests
import csv
import time


def writecsv(item):
    with open('ershou.csv', 'a', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow(item)



if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3',
        'referer':'https://cd.ke.com/ershoufang/damian/pg/'}

    start_url = 'https://cd.ke.com/ershoufang/damian/pg'
    for x in range(1, 76):
        url = start_url + str(x)
        html = requests.get(url, headers=headers)
        time.sleep(3)
        selector = etree.HTML(html.text)
        headers['referer'] = f'https://cd.ke.com/ershoufang/damian/pg{x-1}/'

        # 小区列表
        xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
        for xiaoqu in xiaoqulist:
            # 楼盘名
            mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]

            # 楼盘信息
            xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]

            # 均价
            junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]

            # 总价
            zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]

            item = [mingcheng, xinxi, junjia, zongjia]
            writecsv(item)
            print('londing:', mingcheng)
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

陈尚涵
发表于 2020-8-7 14:09:21 | 显示全部楼层
试试用多进程
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-19 14:35

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表