[已解决]BeautifulSoup CSS选择器疑问

wangxin1190

我想用CSS选择器爬取网站上的相册图片，但是爬取打印时候是空的。
这个网站是指需要用户名登录的网站相册例如个人空间，这样是否可以爬取？请问如何爬取。
多谢！！！

最佳答案

月排行榜 / 总排行榜

hldh214

2016-5-11 22:39:16

设置一下cookie

跳转到最佳答案楼层

hldh214

设置一下cookie

wangxin1190

hldh214 发表于 2016-5-11 22:39
设置一下cookie

就是headers里面的cookie么？

wangxin1190

hldh214 发表于 2016-5-11 22:39
设置一下cookie

请问下一般哪个才是我所需要的真正cookie呢？因为我看到好多啊信息都有cookie
C:\Users\Administrator\Desktop\1.jpg

wangxin1190

好多 哪些是我需要的cookie啊

hldh214

wangxin1190 发表于 2016-5-11 23:08
好多 哪些是我需要的cookie啊

一般是主请求, 你切到Doc里面看

wangxin1190

hldh214 发表于 2016-5-11 23:26
一般是主请求, 你切到Doc里面看

不太明白 可以详细解释下么？

hldh214

wangxin1190 发表于 2016-5-12 11:34
不太明白 可以详细解释下么？

chrome的F12, network里面有Doc选项卡

wangxin1190

hldh214 发表于 2016-5-12 11:35
chrome的F12, network里面有Doc选项卡

里面有三个htm文件，选择任意一个就可以是吧。

hldh214

wangxin1190 发表于 2016-5-12 11:47
里面有三个htm文件，选择任意一个就可以是吧。

嗯

wangxin1190

hldh214 发表于 2016-5-12 13:04
嗯

但是一直报错 说是SyntaxError: invalid syntax。不知道怎么回事，就是cookie那行报错

hldh214

wangxin1190 发表于 2016-5-12 19:47
但是一直报错 说是SyntaxError: invalid syntax。不知道怎么回事，就是cookie那行报错

是不是少了冒号逗号大括号

wangxin1190

hldh214 发表于 2016-5-12 20:35
是不是少了冒号逗号大括号

嗯，太感谢了，一句话提醒我了，忘记了个逗号，user-agent和cookie之间有个逗号忘记了。

wangxin1190

hldh214 发表于 2016-5-12 20:35
是不是少了冒号逗号大括号

<img class="pop-content-img viewer-img-show" src="http://fmn.xnpic.com/fmn052/20101115/1100/p_large_0v16_154c00040af35c3f.jpg" width="460px" height="687px" js-click="flip">


imgs=soup.findAll('img',class_='pop-content-img viewer-img-show')

print imgs
这样写可以么 打印时候出现空的。

wangxin1190

帮忙看下：

headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36',

    'Cookie':'TIEBA_USERTYPE=8d7ee1d4801a264323ee38f3; TIEBAUID=df77991d57762ed0d8a2f884; bdshare_firstime=1455531620349; BAIDUID=08188F36759698EF89F986A58E64F6E4:FG=1; PSTM=1463478712; BDRCVFR[gztQtCol733]=aeXf-1x8UdYcs; BIDUPSID=827080E01CC9CAF16AD2CA98E771FBE8; H_PS_PSSID=1420_18280_17948_19559_19843_15901_12340; BDUSS=HBMdGNoZlBafmI5My13VXRQenUtUjJjb2NLcHpjaWkzMnVMWTlEVVJiTFBkbUpYQVFBQUFBJCQAAAAAAAAAAAEAAAAbaEoKbG92ZTUxY29uZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAM~pOlfP6TpXN; wise_device=0; LONGID=172648475; IS_NEW_USER=d5f69cb66c122a3f4dc725b7; BAIDU_WISE_UID=wapp_1463478872130_532; CLIENTWIDTH=360; CLIENTHEIGHT=640; app_open=1; pb_prompt=1; SEENKW=%E5%9B%BE%E7%89%87; SET_PB_IMAGE_WIDTH=272; frs_pb_bigpic=1'
}

url_t='http://tieba.baidu.com/p/4537672957?pn=0&'
web_date=requests.get(url_t,headers=headers)
soup=BeautifulSoup(web_date.text,'lxml')

imgs=soup.findAll('img',class_='BDE_Image')
print imgs

wangxin1190

这里面的['src']啥作用啊？
i=1
for pic in imgs:
    pic_name='%s.jpg' % i
    urllib.urlretrieve(pic['src'], pic_name)
    i+=1