项目简介
DeepSeek-V2，一个专家混合(MoE)语言模型，其特点是经济高效的训练和推理。它包含 2360 亿个总参数，其中每个token激活了21亿个参数。与 DeepSeek67B相比，DeepSeek-V2 实现了更强的性能，同时节省了 42.5%的训练成本，将 KV 缓存减少了 93.3%，并将最大生成吞吐量提高了 5.76 倍。
在 AlignBench 中排名前三，超越 GPT-4，接近 GPT-4-Turbo。在MT-Bench 中排名顶尖，与 LLaMA3-70B不相上下，并且胜过 Mixtral 8x22B。专注于数学、编码和推理。
DeepSeek-V2 完全开源，可免费用于商业用途。
236B参数，其中21B在生成过程中被激活
160位专家，其中有6位在生成中活跃
在英文基准测试中与 Mixtral 8x22B 匹配
128k上下文
在 8.1万亿标记上训练
用于在 bf16 8x 80GB GPU 上进行推理
接受英语和中文语言训练
模型概述
DeepSeek-V2-Chat是一个先进的Mixture-of-Experts(MoE)语言模型，具有高效的训练和推理能力，总参数量为2360亿，每个token激活21亿参数。与之前的版本相比，该模型在性能方面显著提升，并降低了训练成本、KV缓存需求以及生成开销。
总体架构
Mixture-of-Experts(MoE)结构: DeepSeek-V2-Chat基于混合专家的设计，允许每个输入token仅激活部分参数，大幅降低内存使用并提高计算效率。
参数规模
总参数量达到2360亿，但每个token激活21亿参数，从而实现性能与资源利用的平衡。
长上下文窗口
支持长达128K的上下文窗口。
性能优势
与Dense模型DeepSeek67B相比，DeepSeek-V2在多项标准基准测试中表现更强。减少训练成本42.5%，KV缓存降低93.3%，并将最大生成吞吐量提高5.76倍。
数据训练
DeepSeek-V2在包含8.1万亿token的多样化高质量语料库上进行预训练，并通过监督微调(SFT)和强化学习(RL)来充分发挥模型潜力。
模型价格：价格非常香！
模型下载
Huggingface: https://huggingface.co/deepseek-ai/DeepSeek-v2-chat
推荐使用NVIDIA RTX 40 显卡做模型推理，购买地址如下：
https://www.ucloud.cn/site/active/gpu.html?ytag=seo
https://www.compshare.cn/?ytag=seo
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/131095.html
摘要：月日，中国混合云领导厂商携手中国技术领军者大河云联，在京联合发布并现场演示全球首个混合云专线一体化产品，标志着由技术推动云网融合进入全新高度。此次与大河云联的联合发布，正是为数据连通解决云网联动的问题，将继续领先业内，实现混合云的全面融合。3月20日，中国混合云领导厂商ZStack携手中国SDN技术领军者大河云联，在京联合发布并现场演示全球首个混合云＋SDN专线一体化产品，标志着由SD－WA...
摘要：比特币和以太坊像两座最早出现的虚拟城市。下面我们先来分析比特币和以太坊这两个最大加密经济体的经济模型，我们经过研究发现它们在可持续性上都存在各自的问题。状态爆炸比特币与智能合约平台，都 公链的竞争是惨烈的，这个战场里的玩家要想生存下来，既要有绝活，还得没短板。在构建加密经济网络上，在技术实现和共识协议部分，我们为大家分享了CKB 的绝活，即： 与时俱进的 Cell 模型 用 RIS...
阅读 185·2024-12-10 11:51
阅读 314·2024-11-07 17:59
阅读 338·2024-09-27 16:59
阅读 471·2024-09-23 10:37
阅读 552·2024-09-14 16:58
阅读 341·2024-09-14 16:58
阅读 538·2024-08-29 18:47
阅读 820·2024-08-16 14:40
