scrapy爬取百度搜索结果和url

私はり

我想要用scrapy爬取百度搜索机车的结果 爬两页 但我不会操作
所以有没有大佬写写 我学习下 希望用xpath或者beatifulsoup 其他的看不懂
谢谢

suchocolate

没怎么用过scrapy，用requests和etree如下：

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     headers = {'user-agent': 'firefox'}
   
8.     for num in range(2):
   
9.         num_params = num * 10
   
10.         url = f'https://www.baidu.com/s?ie=utf-8,utf-8&wd=%E6%9C%BA%E8%BD%A6&pn={num_params}'
    
11.         r = requests.get(url, headers=headers)
    
12.         html = etree.HTML(r.text)
    
13.         result = html.xpath('//h3/a/@href')
    
14.         print(result)
    
15. 
    
16. 
    
17. if __name__ == '__main__':
    
18.     main()
    

复制代码

私はり

suchocolate 发表于 2021-1-2 09:30
没怎么用过scrapy，用requests和etree如下：

谢谢 我已经做好了