[已解决]爬取存到Redis数据库

哈岁NB

请问大佬们，这个爬取到的想存到Redis中该怎么写呢

1. import requests
   
2. import logging
   
3. 
   
4. 
   
5. index_url = 'https://spa1.scrape.center/api/movie/?limit=10&offset={}'
   
6. detail_url = 'https://spa1.scrape.center/api/movie/{}/'
   
7. header = {
   
8.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
9. }
   
10. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
    
11. 
    
12. 
    
13. #发起请求
    
14. def scrapy_api(index_url):
    
15.     logging.info('正在爬取{}...'.format(index_url))
    
16.     try:
    
17.         response = requests.get(url=index_url,headers=header,verify=False)
    
18.         if response.status_code == 200:
    
19.             return response.json()
    
20.         logging.error('爬取代码为{}，爬取{}失败'.format(response.status_code,index_url))
    
21.     except requests.RequestException:
    
22.         logging.error('爬取{}失败'.format(index_url),exc_info=True)
    
23. 
    
24. #爬取列表页
    
25. def scrape_index(page):
    
26.     page_url = index_url.format(10*(page-1))
    
27.     return scrapy_api(page_url)
    
28. 
    
29. #拼接url并发起请求
    
30. def scrape_detail(id):
    
31.     url = detail_url.format(id)
    
32.     return scrapy_api(url)
    
33. 
    
34. 
    
35. 
    
36. def main():
    
37.     for page in range(1,3):
    
38.         index_data = scrape_index(page)
    
39.         for item in index_data.get('results'):
    
40.             id = item.get('id')
    
41.             detail_data = scrape_detail(id)
    
42.             logging.info('detail data {}'.format(detail_data))
    
43.             
    
44.    
    
45. 
    
46. 
    
47. if __name__ == '__main__':
    
48.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-6-4 16:34:41

在您的代码中，您需要导入redis模块，并创建一个redis数据库连接。然后在循环中将爬取到的数据存储到redis数据库中。

首先，您需要安装python的redis库，可以通过以下命令安装：

1. pip install redis
   

复制代码

以下是一个简单的示例代码：

1. import requests
   
2. import logging
   
3. import redis
   
4. 
   
5. index_url = 'https://spa1.scrape.center/api/movie/?limit=10&offset={}'
   
6. detail_url = 'https://spa1.scrape.center/api/movie/{}/'
   
7. header = {
   
8.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
9. }
   
10. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
    
11. 
    
12. # 创建redis连接
    
13. r = redis.Redis(host='localhost', port=6379, db=0)
    
14. 
    
15. 
    
16. def scrapy_api(index_url):
    
17.     logging.info('正在爬取{}...'.format(index_url))
    
18.     try:
    
19.         response = requests.get(url=index_url,headers=header,verify=False)
    
20.         if response.status_code == 200:
    
21.             return response.json()
    
22.         logging.error('爬取代码为{}，爬取{}失败'.format(response.status_code,index_url))
    
23.     except requests.RequestException:
    
24.         logging.error('爬取{}失败'.format(index_url),exc_info=True)
    
25. 
    
26. 
    
27. def scrape_index(page):
    
28.     page_url = index_url.format(10*(page-1))
    
29.     return scrapy_api(page_url)
    
30. 
    
31. 
    
32. def scrape_detail(id):
    
33.     url = detail_url.format(id)
    
34.     return scrapy_api(url)
    
35. 
    
36. 
    
37. def main():
    
38.     for page in range(1,3):
    
39.         index_data = scrape_index(page)
    
40.         for item in index_data.get('results'):
    
41.             id = item.get('id')
    
42.             detail_data = scrape_detail(id)
    
43.             logging.info('detail data {}'.format(detail_data))
    
44. 
    
45.             # 将数据保存到redis
    
46.             r.set(f'movie:{id}', str(detail_data))
    
47.             
    
48. 
    
49. if __name__ == '__main__':
    
50.     main()
    

复制代码

这里，我们将每一部电影的详细信息存储在redis中，key是 movie:{id} ，value是电影的详细信息。我们使用 str() 将字典转换为字符串，因为redis无法直接存储字典对象。

这是一个非常基础的示例，根据您的实际需要，您可能需要对数据进行进一步的处理，例如序列化和反序列化，以及错误处理等。

跳转到最佳答案楼层

isdkz

在您的代码中，您需要导入redis模块，并创建一个redis数据库连接。然后在循环中将爬取到的数据存储到redis数据库中。

首先，您需要安装python的redis库，可以通过以下命令安装：

1. pip install redis
   

复制代码

以下是一个简单的示例代码：

1. import requests
   
2. import logging
   
3. import redis
   
4. 
   
5. index_url = 'https://spa1.scrape.center/api/movie/?limit=10&offset={}'
   
6. detail_url = 'https://spa1.scrape.center/api/movie/{}/'
   
7. header = {
   
8.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
9. }
   
10. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
    
11. 
    
12. # 创建redis连接
    
13. r = redis.Redis(host='localhost', port=6379, db=0)
    
14. 
    
15. 
    
16. def scrapy_api(index_url):
    
17.     logging.info('正在爬取{}...'.format(index_url))
    
18.     try:
    
19.         response = requests.get(url=index_url,headers=header,verify=False)
    
20.         if response.status_code == 200:
    
21.             return response.json()
    
22.         logging.error('爬取代码为{}，爬取{}失败'.format(response.status_code,index_url))
    
23.     except requests.RequestException:
    
24.         logging.error('爬取{}失败'.format(index_url),exc_info=True)
    
25. 
    
26. 
    
27. def scrape_index(page):
    
28.     page_url = index_url.format(10*(page-1))
    
29.     return scrapy_api(page_url)
    
30. 
    
31. 
    
32. def scrape_detail(id):
    
33.     url = detail_url.format(id)
    
34.     return scrapy_api(url)
    
35. 
    
36. 
    
37. def main():
    
38.     for page in range(1,3):
    
39.         index_data = scrape_index(page)
    
40.         for item in index_data.get('results'):
    
41.             id = item.get('id')
    
42.             detail_data = scrape_detail(id)
    
43.             logging.info('detail data {}'.format(detail_data))
    
44. 
    
45.             # 将数据保存到redis
    
46.             r.set(f'movie:{id}', str(detail_data))
    
47.             
    
48. 
    
49. if __name__ == '__main__':
    
50.     main()
    

复制代码

这里，我们将每一部电影的详细信息存储在redis中，key是 movie:{id} ，value是电影的详细信息。我们使用 str() 将字典转换为字符串，因为redis无法直接存储字典对象。

这是一个非常基础的示例，根据您的实际需要，您可能需要对数据进行进一步的处理，例如序列化和反序列化，以及错误处理等。

哈岁NB

isdkz 发表于 2023-6-4 16:34
在您的代码中，您需要导入redis模块，并创建一个redis数据库连接。然后在循环中将爬取到的数据存储到redis ...

好的，感谢感谢