scrapy爬取百度搜索结果和url
我想要用scrapy爬取百度搜索机车的结果 爬两页 但我不会操作所以有没有大佬写写 我学习下 希望用xpath或者beatifulsoup 其他的看不懂
谢谢
没怎么用过scrapy，用requests和etree如下：
import requests
from lxml import etree
def main():
headers = {'user-agent': 'firefox'}
for num in range(2):
num_params = num * 10
url = f'https://www.baidu.com/s?ie=utf-8,utf-8&wd=%E6%9C%BA%E8%BD%A6&pn={num_params}'
r = requests.get(url, headers=headers)
html = etree.HTML(r.text)
result = html.xpath('//h3/a/@href')
print(result)
if __name__ == '__main__':
main()
suchocolate 发表于 2021-1-2 09:30
没怎么用过scrapy，用requests和etree如下：
谢谢 我已经做好了
页:
[1]