如何在淘宝首页把图片爬取下来？

hunter魔术师

url_taobao='https://www.taobao.com/'
head1={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36'}
resp_tb=requests.get(url_taobao,headers=head1)

pic=re.findall(r'img.alicdn.com/bao/uploaded.*?.[jpn]{2}g',resp_tb.text)

print(len(pic))
写了一个代码，但是我发现我要的图片不在源代码里面，然后就不知道该怎么爬了

isdkz

你需要的图片需要登陆？

hunter魔术师

isdkz 发表于 2022-3-22 22:37
你需要的图片需要登陆？

不需要，我就直接打开淘宝，然后首页的橱窗图片，我主要想知道怎么爬ajax请求的图片。我找不到他们的url

isdkz

hunter魔术师 发表于 2022-3-22 23:52
不需要，我就直接打开淘宝，然后首页的橱窗图片，我主要想知道怎么爬ajax请求的图片。我找不到他们的url

ajax请求的你可以研究一些 requests-html 这个库

hunter魔术师

isdkz 发表于 2022-3-22 23:53
ajax请求的你可以研究一些 requests-html 这个库

但我连淘宝上图片的url都没找打。只找到单张图片的url，不是那种在一个文本里或者表里的

hunter魔术师

isdkz 发表于 2022-3-22 23:53
ajax请求的你可以研究一些 requests-html 这个库

我安装了，用render方法，可是还是没有相关图片

isdkz

hunter魔术师 发表于 2022-3-23 02:08
我安装了，用render方法，可是还是没有相关图片

不知道你要的是哪个图片，我也没法帮你调试

hunter魔术师

isdkz 发表于 2022-3-23 07:30
不知道你要的是哪个图片，我也没法帮你调试

就是打开淘宝首页，所有<img src="//img.alicdn.com/bao/uploaded/i1/1847904388/O1CN01L6N25n1iHkXOEpNT2_!!1847904388.jpg_200x200q90.jpg_.webp" aria-labelledby="hotsale-item-tl-1">
img.alicdn.com/bao/uploaded这种前缀的图片

hunter魔术师

hunter魔术师 发表于 2022-3-23 10:24
就是打开淘宝首页，所有
img.alicdn.com/bao/uploaded这种前缀的图片

应该说，是电脑打开淘宝，首页下面有个猜你喜欢然后列出的商品图片

wp231957

hunter魔术师 发表于 2022-3-23 10:40
应该说，是电脑打开淘宝，首页下面有个猜你喜欢然后列出的商品图片

某宝一般人是玩不了的，其反爬程度太深

hunter魔术师

isdkz 发表于 2022-3-23 07:30
不知道你要的是哪个图片，我也没法帮你调试

我找到了首页的url了，可是用requests的text输出不出来字符串，url='https://tui.taobao.com/recommend?appid=24127&_ksTS=1648014753259_229&callback=jsonp230'