crawlspider爬取全网站原网站信息不全，目前怀疑主要是相对链接没有被转化为绝对链接

Lybhx. · 发表于 2019-6-14 11:09:18

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

您好，我把我的问题给你详细描述一下，请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到 http://www.lemall.com/product/search.html?level=1&cid1=1022 这一页面时，由于商品（“比如：乐视蓝牙耳机”）的链接是“ data-url="/product/products-pid-1002974-sku-400501000038.html ”，结果导致无法爬取 http://www.lemall.com/product/pr ... u-400501000038.html 页面源代码

Lybhx. · 发表于 2019-6-14 13:12:25

Lybhx. · 发表于 2019-6-14 13:13:00

没有人

chxchxkkk · 发表于 2019-6-15 08:55:34

本帖最后由 chxchxkkk 于 2019-6-15 08:58 编辑

把url拼接一下
http://www.lemall.com/product/pr ... u-400501000038.html

main_url = "http://www.lemall.com"
你抓取到的
data_url = "/product/products-pid-1002974-sku-400501000038.html"

url = main_url + data_url

Lybhx. · 发表于 2019-6-17 09:36:26

chxchxkkk 发表于 2019-6-15 08:55
把url拼接一下
http://www.lemall.com/product/products-pid-1002974-sku-400501000038.html

这个拼接，我知道。请问，怎么把拼接后的url添加到crawlspider历遍的网址中去？

账号		自动登录	找回密码
密码			立即注册