鱼C论坛

 找回密码
 立即注册
查看: 4619|回复: 15

[已解决]BeautifulSoup CSS选择器疑问

[复制链接]
发表于 2016-5-11 20:37:44 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
我想用CSS选择器爬取网站上的相册图片,但是爬取打印时候是空的。
这个网站是指需要用户名登录的网站相册例如个人空间,这样是否可以爬取?请问如何爬取。
多谢!!!
最佳答案
2016-5-11 22:39:16
设置一下cookie
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-11 22:39:16 | 显示全部楼层    本楼为最佳答案   
设置一下cookie
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-11 22:50:40 | 显示全部楼层

就是headers里面的cookie么?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-11 23:08:13 | 显示全部楼层

请问下一般哪个才是我所需要的真正cookie呢?因为我看到好多啊信息都有cookie
C:\Users\Administrator\Desktop\1.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-11 23:08:56 | 显示全部楼层
好多 哪些是我需要的cookie啊
1.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-5-11 23:26:06 | 显示全部楼层
wangxin1190 发表于 2016-5-11 23:08
好多 哪些是我需要的cookie啊

一般是主请求, 你切到Doc里面看
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-12 11:34:32 | 显示全部楼层
hldh214 发表于 2016-5-11 23:26
一般是主请求, 你切到Doc里面看

不太明白 可以详细解释下么?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-5-12 11:35:57 | 显示全部楼层
wangxin1190 发表于 2016-5-12 11:34
不太明白 可以详细解释下么?

chrome的F12, network里面有Doc选项卡
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-12 11:47:02 | 显示全部楼层
hldh214 发表于 2016-5-12 11:35
chrome的F12, network里面有Doc选项卡

里面有三个htm文件,选择任意一个就可以是吧。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-5-12 13:04:16 | 显示全部楼层
wangxin1190 发表于 2016-5-12 11:47
里面有三个htm文件,选择任意一个就可以是吧。

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-12 19:47:30 | 显示全部楼层

但是一直报错 说是SyntaxError: invalid syntax。不知道怎么回事,就是cookie那行报错
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-5-12 20:35:24 | 显示全部楼层
wangxin1190 发表于 2016-5-12 19:47
但是一直报错 说是SyntaxError: invalid syntax。不知道怎么回事,就是cookie那行报错

是不是少了冒号逗号大括号
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-17 16:35:11 | 显示全部楼层
hldh214 发表于 2016-5-12 20:35
是不是少了冒号逗号大括号

嗯,太感谢了,一句话提醒我了,忘记了个逗号,user-agent和cookie之间有个逗号忘记了。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-17 17:31:21 | 显示全部楼层
hldh214 发表于 2016-5-12 20:35
是不是少了冒号逗号大括号


<img class="pop-content-img viewer-img-show" src="http://fmn.xnpic.com/fmn052/20101115/1100/p_large_0v16_154c00040af35c3f.jpg" width="460px" height="687px" js-click="flip">


imgs=soup.findAll('img',class_='pop-content-img viewer-img-show')

print imgs

这样写可以么 打印时候出现空的。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-17 18:00:08 | 显示全部楼层
帮忙看下:

headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36',

    'Cookie':'TIEBA_USERTYPE=8d7ee1d4801a264323ee38f3; TIEBAUID=df77991d57762ed0d8a2f884; bdshare_firstime=1455531620349; BAIDUID=08188F36759698EF89F986A58E64F6E4:FG=1; PSTM=1463478712; BDRCVFR[gztQtCol733]=aeXf-1x8UdYcs; BIDUPSID=827080E01CC9CAF16AD2CA98E771FBE8; H_PS_PSSID=1420_18280_17948_19559_19843_15901_12340; BDUSS=HBMdGNoZlBafmI5My13VXRQenUtUjJjb2NLcHpjaWkzMnVMWTlEVVJiTFBkbUpYQVFBQUFBJCQAAAAAAAAAAAEAAAAbaEoKbG92ZTUxY29uZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAM~pOlfP6TpXN; wise_device=0; LONGID=172648475; IS_NEW_USER=d5f69cb66c122a3f4dc725b7; BAIDU_WISE_UID=wapp_1463478872130_532; CLIENTWIDTH=360; CLIENTHEIGHT=640; app_open=1; pb_prompt=1; SEENKW=%E5%9B%BE%E7%89%87; SET_PB_IMAGE_WIDTH=272; frs_pb_bigpic=1'
}

url_t='http://tieba.baidu.com/p/4537672957?pn=0&'
web_date=requests.get(url_t,headers=headers)
soup=BeautifulSoup(web_date.text,'lxml')

imgs=soup.findAll('img',class_='BDE_Image')
print imgs
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-5-19 14:56:22 | 显示全部楼层
这里面的['src']啥作用啊?
i=1
for pic in imgs:
    pic_name='%s.jpg' % i
    urllib.urlretrieve(pic['src'], pic_name)
    i+=1
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-21 00:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表