scrapy爬取百度搜索结果和url

私はり

我想要用scrapy爬取百度搜索机车的结果 爬两页 但我不会操作
所以有没有大佬写写 我学习下 希望用xpath或者beatifulsoup 其他的看不懂
谢谢

suchocolate

没怎么用过scrapy，用requests和etree如下：

import requests
from lxml import etree


def main():
    headers = {'user-agent': 'firefox'}
    for num in range(2):
        num_params = num * 10
        url = f'https://www.baidu.com/s?ie=utf-8,utf-8&wd=%E6%9C%BA%E8%BD%A6&pn={num_params}'
        r = requests.get(url, headers=headers)
        html = etree.HTML(r.text)
        result = html.xpath('//h3/a/@href')
        print(result)


if __name__ == '__main__':
    main()

私はり

suchocolate 发表于 2021-1-2 09:30
没怎么用过scrapy，用requests和etree如下：

谢谢 我已经做好了