鱼C论坛

 找回密码
 立即注册
查看: 175|回复: 6

[最新资讯] 本地电脑部署「 Llama 3.1. meta最」强开源大模型|只比ChatGPT低一个等级 chao ji...

[复制链接]
发表于 2024-10-1 19:16:33 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本地电脑安装的硬件要求:

Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G
Mac:M1或M2芯片 16G内存,20G以上硬盘空间

在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型。

安装llama3.1-8b,至少需要8G的显存:
ollama run llama3.1:8b
安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户:
ollama run llama3.1:78b
安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户:
ollama run llama3.1:405b

下载地址:传送门

kdaWfm.20240927224222.png

完成安装即可:

kdaRNf.20240927225540.png

C盘如果小,建议用个大磁盘:

kdacJP.20240927225547.png
kda8d1.20240927225545.png

也可以直接安装可视化界面:

kdabEp.20240927225551.png

kdaYIq.20240927225555.png
kdatfM.20240927225609.png
kda3MC.20240927225558.png
kdaEg4.20240927225600.png
kdaC5D.20240927225603.png
kdawJX.20240927225605.png
游客,如果您要查看本帖隐藏内容请回复

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2024-10-1 19:16:57 | 显示全部楼层
@FishC 本地部署到电脑上 Llama 3.1. meta最强开源大模型
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2024-10-1 19:17:06 | 显示全部楼层
不二如是 发表于 2024-10-01 19:16
@FishC 本地部署到电脑上 Llama 3.1. meta最强开源大 ...


鱼油,您好!要在本地部署和运行Llama 3.1模型,您可以按照以下步骤进行:

1. **环境准备**:
    - 确保您有一台性能较高的电脑,最好有足够的内存和强大的GPU支持。
    - 安装Python和相应的包管理工具,如pip。

2. **安装必要的依赖**:
    - 通过命令行安装所需的Python包:
   
pip install torch transformers

3. **下载Llama 3.1模型**:
    - 从Hugging Face等平台下载Llama 3.1模型的权重文件。您可能需要注册并申请访问权限。
    - 使用以下代码加载模型:
   
from transformers import AutoModelForCausalLM, AutoTokenizer

      model_name = "meta-llama/llama-3.1"  # 这是一个示例,请替换为实际的模型名称

      tokenizer = AutoTokenizer.from_pretrained(model_name)
      model = AutoModelForCausalLM.from_pretrained(model_name)

4. **运行模型**:
    - 测试模型是否能正常生成内容:
   
inputs = tokenizer("你好,Llama 3.1!", return_tensors="pt")
      outputs = model.generate(inputs['input_ids'], max_length=50)
      print(tokenizer.decode(outputs[0], skip_special_tokens=True))

这只是一个简单的示例,详细的部署可能需要根据具体情况进行调整。如果遇到任何问题,可以查阅相关的文档或者论坛寻求帮助。祝您部署顺利!

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2024-10-1 21:27:36 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2024-10-1 22:31:39 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 5 天前 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 3 天前 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-10-12 16:58

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表