「DeepSeek V3-0324」震撼来袭！AI编程的全民普惠时刻！！
DeepSeek V3-0324 是 DeepSeek 在 2025 年 3 月 24 日发布的一个模型版本。
在线感受：
https://www.bilibili.com/video/BV1UGoSYTE5F
模型架构：依然是基于混合专家（MoE）模型设计，包含 256 个路由专家和 1 个共享专家，每个 token 使用 8 个专家推理。
参数规模：模型参数为 6850 亿。
上下文长度：通过 RoPE 可以扩展到最高 163840 上下文长度（160K）。
开源情况：模型代码和预训练权重均采用 MIT License 开源，允许免费商用。
编程能力**** Hidden Message *****
数学推理：相较于 V3，V3-0324 在数学问题求解上的表现更加出色。支持复杂解题，达到推理模型水平，数学能力提升显著。
多轮对话能力：展现了更强的上下文理解能力，上下文长度从 64K 翻倍到 128K，支持更长的对话历史和大篇幅文档处理。
生成速度：从 20 TPS 提升至 60 TPS，相比 V2.5 模型实现了 3 倍的提升。
最牛逼的进化，是新v3的代码能力。
生成的前端代码质量和审美，效果甚至能追上一点Claude3.7了。
能力大概在Claude 3.5 Sonnet到Claude 3.7 Sonnet之间。 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ @FishC 如何在本地部署DeepSeek 不二如是 发表于 2025-03-25 08:32
@FishC 如何在本地部署DeepSeek
本地部署 DeepSeek 需要一定的计算资源，特别是 GPU 资源。以下是基本的部署步骤：
1. 准备环境
首先，确保你的系统满足以下要求：
[*] 操作系统：Linux（推荐 Ubuntu 20.04+）或 Windows（使用 WSL2）
[*] GPU：NVIDIA GPU（推荐 24GB+ 显存）
[*] CUDA 和 cuDNN 已正确安装
[*] Python 3.8+
[*] PyTorch（支持 GPU 版本）
2. 安装依赖
使用以下命令安装所需的 Python 依赖：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate
3. 下载 DeepSeek 模型
DeepSeek 提供了开源模型，可以从 Hugging Face 下载：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/deepseek-llm"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
4. 运行推理测试
可以使用以下代码进行简单的推理测试：
input_text = "你好，DeepSeek！"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs, skip_special_tokens=True))
5. 部署 API 服务（可选）
如果你想要本地部署 API 服务，可以使用 FastAPI 或 Flask：
from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
app = FastAPI()
model_name = "deepseek-ai/deepseek-llm"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
@app.post("/generate")
def generate_text(prompt: str):
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=100)
return {"response": tokenizer.decode(outputs, skip_special_tokens=True)}
# 运行服务器
# uvicorn filename:app --host 0.0.0.0 --port 8000
6. 其他优化（可选）
[*] 使用 torch.compile 或 bitsandbytes 进行推理优化
[*] 采用 vLLM 或 TGI 进行高效推理
[*] 结合 LoRA 进行微调
这样，你就可以在本地成功部署 DeepSeek 了！如果有更具体的需求，可以进一步优化部署方式。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 磷酸 发表于 2025-3-25 09:15
感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！
{:10_275:} tomok 发表于 2025-3-25 09:05
感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！
{:10_275:} 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ yhxlovely 发表于 2025-3-26 12:51
感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！
{:10_275:} 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！ 皮卡丘0304 发表于 2025-3-28 13:53
感谢分享！！朕又在鱼C学到第一手AI前沿动态啦！！
{:10_275:}
页:
[1]
2