鱼C论坛

 找回密码
 立即注册
查看: 1598|回复: 6

求助大神,写了个爬虫,代码如下,错误如图。

[复制链接]
发表于 2018-1-18 20:10:07 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
from bs4 import BeautifulSoup
import requests
import time

headers =  {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
}
def judgment_sex(class_name):
    if class_name == ['member_icol']:
        return '女'
    else:
        return '男'

def get_links(url):
    wb_data = requests.get(url,headers=headers)
    soup = BeautifulSoup(wb_data.text,'lxml')
    links = soup.select('#page_list > ul > li > a')
    for link in links:
        href = link.get("href")
        get_into(href)

def get_into(url):
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    tittles = soup.select('div.pho_info > h4')
    addresses = soup.select('span.pr5')
    prices = soup.select('#pricePart > div_day1 > span')
    imgs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a >img')
    names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
    sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
    for tittle,address,price,img,name,sex in zip(tittles,addresses,prices,imgs,names,sexs):
        data = {
            'tittle':tittle.get_text().strip(),
            'address':address.get_text().strip(),
            'price':price.get_text().strip(),
            'img':img.get("src"),
            'name':name.get_text().strip(),
            'sex':judgment_sex(sex.get("class"))
        }
        print(data)

if __name__ == '__main__':
    urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,14)]
    for single_url in urls:
        get_links(single_url)
        time.sleep(2)
R001QKJE6G8`I6{EV8L]UNG.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-18 20:28:44 | 显示全部楼层
这不是提示的缺少lxml吗,安装一个就好了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:32:37 | 显示全部楼层
WylLy 发表于 2018-1-18 20:28
这不是提示的缺少lxml吗,安装一个就好了

安装了后,不报错也没有信息啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:33:42 | 显示全部楼层
你没有安装 lxml 解析器吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:36:58 | 显示全部楼层
yjsx86 发表于 2018-1-18 20:33
你没有安装 lxml 解析器吧

安装了后,不报错也没有信息啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:53:46 | 显示全部楼层
不尴尬 发表于 2018-1-18 20:36
安装了后,不报错也没有信息啊

你的代码是直接复制的吧?
那你就应该从代码入手 打印一些关键变量 看是否有值
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-19 16:22:53 | 显示全部楼层
yjsx86 发表于 2018-1-18 20:53
你的代码是直接复制的吧?
那你就应该从代码入手 打印一些关键变量 看是否有值

怎么单步调试?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-22 16:39

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表