Llama3中文聊天项目全能资源库，4090单卡直接跑！

UCloud小助手发布于2024-05-16 09:45 / 648人阅读

Llama3 中文聊天项目综合资源库，该文档集合了与Lama3 模型相关的各种中文资料，包括微调版本、有趣的权重、训练、推理、评测和部署的教程视频与文档。

1. 多版本支持与创新：该仓库提供了多个版本的Lama3 模型，包括基于不同技术和偏好的微调版本，如直接中文SFT版、Instruct偏好强化学习版、趣味版等。此外，还有Phi3模型中文资料仓库的链接，和性能超越了8b版本的Llama3。

2. 部署与使用：项目提供了网页部署的代码和教程，使用户可以轻松地在网页上使用这些模型。部署教程包括如何在Streamlit上部署这些模型进行在线体验。

3. 训练与推理资源：除了已经提供的模型，仓库还包括多种训练和推理的资源，如训练教程、推理脚本、优质训练数据集的整理等。

4. 扩展和增强：项目还在计划中包括增加更多的扩展如角色扮演增强模型、长上下文支持等，旨在提升模型的功能和适应更多复杂场景的能力。

可用Chat版模型整理：lama3相关对话版本优质权重整理

shareAl系列:

1.base预训练+直接中文SFT版

训练数据:https://modelscope.cn/datasets/baicai003/Llama3-Chinese-dataset/summary

V1版

0penCSG满速下载:https://opencsg.com/models/shareAl/llama3-Chinese-chat-8b

WiseModel满速下载:https://wisemodel.cn/models/shareAl/llama3-Chinese-chat-8b

V2版

modelscope：https://modelscope.cn/models/baicai003/Llama3-Chinese_v2/summary

2.Instruct+继续中文SFT版

modelscope模型下载:https://modelscope.cn/models/baicai003/llama-3-8b-Instruct-chinese_v2/summary

3.Instruct+强化学习中文版

DPO 表情趣味版(10分钟左右可训练好，对原多语言instruct版最小化性能损伤，实测超过大多中文大量训练版)
Modelscope：下载:https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DPO-beta0.5/summary
偏好学习数据集:DP0-zh-en-emoji
Base预训练+海量中文优质数据增量预训练:正在进行中
70b 中文版:计划中。

4.下面几个版本因对话模版格式不同暂时不支持网页部署推理，需要用fastchat体验

Base+ 中文SFT: https://modelscope.cn/models/zhuangxialie/Llama3_Chinese_Sft/files
Base+ ORPO: https://modelscope.cn/models/zhuangxialie/Llama3-Chinese-ORPO/summary 偏爱长对话
Instruct + DPO: https://www.modelscope.cn/models/zhuangxialie/Llama3-Chinese-DPO/summary 偏爱长对话

5.llama3 Pro(加block版，推荐网友积极在该方案上做更多尝试、探索)

linjh1118网友(第一个ORPO偏好对齐+扩展2*blocks):htps://github.com/linjh1118/Llama3-Chinese-0RPO

6.llama3 Moe增强版

cooper12121-lama3-8x8b-MoE: https://github.com/cooper12121/llama3-8x8b-MoE

7.长上下文版本

联通微调版v2(中文，28k上下文):https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B-28K

262k上下文(英文):https://huggingface.co/gradientai/Llama-3-8B-nstruct-262k
262k上下文(中文):计划中
无限上下文版本:计划中，参考:https://medium.com/neoxia/lm-infini-attention-with-linear-complexity-3209b87a77c3

8.其他普通中文微调版本

联通微调版(SFT，网友尝试反馈幻觉多):
https://www.modelscope.cn/models/UnicomAl/Unichat-llama3-Chinese/summary-
Openbuddy微调版(SFT，据说不错):
https://www.modelscope.cn/models/0penBuddy/openbuddy-llama3-8b-v21.1-8k/summary
zhichen微调版(ORPO方法，应该是第一个orpo):https://github.com/seanzhang-zhichen/llama3-chinese
shenzhi-wang微调版(ORPO方法，说是第一个orpo):https:/huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat
Rookie微调版(SFT):https://github.com/Rookie1019/Llama-3-8B-nstruct-Chinese-hit-sz klc lab
微调版本:https://github.com/zyg18181818/Llama-3-Chinese

9.破解安全限制系列(暂时只支持英文)

Unholy:https://huggingface.co/Undi95/Llama-3-Unholy-8B
neural-chat: https://hf-mirror.com/Locutusque/llama-3-neural-chat-v1-8b
dolphin: https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b

10.v-llama3 多模态图文版 (英文，支持视觉问答)

Bunny-Llama-3-8B-V:https://wisemodel.cn/models/BAAl/Bunny-Llama-3-8B-V
llava-llama-3-8b: https://huggingface.co/xtuner/llava-llama-3-8b-v1_1

11.agent工具能力增强版

ModelScope Chinese Agent版V1(中文，可根据要求帮你选择工具)

https://modelscope.cn/models/swift/Llama3-Chinese-8B-nstruct-Agent-v1/summary

基于EmoLLM心理数据微调的Llama3-8B-Instruct 模型

EmoLLM 3.0 在线体验链接
EmoLLM Llama3心理咨询室V3.0 https://st-app-center-006861-9746
ilroxvg.openxlab.space/
或者前往0penXLab EmoLLM3.0-Llama3启动

https://openxlab.org.cn/apps/detai/chg0901/EmoLLM-Llama3-8B-nstruct3.0

模型链接

**OpenXLab**https://openxlab.org.cn/models/detai/chg0901/EmoLLM-Llama3-8B.-Instruct3.0

ModelScope

https://modelscope.cn/models/chg0901/EmoLLM-Llama3-8B-Instruct3.0/summary

新增Phi3模型中文资料仓库(性能超越llama3 8b，以小搏大)，正在适配中

https://github.com/CrazyBoyM/phi3-Chinese

新增趣味版，数据集已开源:

https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DP0-beta0.5/summary

模型测评

可用训练工具整理

下面的库都是相当好用的，代码封装简洁又清晰，如果你也想微调个自己的llama3 中文定制版，不要错过

Firefly-https://github.com/yangjianxin1/Firefly
萤火虫-https://github.com/yangjianxin1/Firefly
LLaMA-Factory-https://github.com/hiyouga/LLaMA-Factory
unsloth-https://github.com/unslothai/unsloth
Xtuner-https://github.com/SmartFlowAl/Llama3-XTuner-CN
SWlFT-https://github.com/modelscope/swift
附高性能NVIDIA RTX 40 系列云服务器购买：

https://www.ucloud.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

云服务器 GPU算力平台如何跑php项目能直接使用中文注册域名吗 gec 直接显示中文的网址怎么在云服务器上跑深度学习项目

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/131094.html

Llama3来袭！如何通过4090GPU云主机快速部署？

2024年4月18日，Meta AI正式宣布推出开源大模型Llama3，这标志着开源大型语言模型（LLM）领域的又一重大突破。Llama3以其卓越的性能和广泛的应用前景，或将推动人工智能技术快速迈进新纪元。为方便AI应用企业及个人AI开发者快速体验Llama3的超高性能，近期优刻得GPU云主机上线Llama3-8B-Instruct-Chinese镜像，一键配置，快速部署模型开发环境。为客户提供开...

UCloud小助手 2024-04-28 17:46 评论0 收藏0
Llama3-8中文微调完成！更好地帮助中文写作、编程和数学

Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通过 ORPO进行微调的中文聊天模型。与原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型显著减少了中文问题英文回答"和混合中英文回答的问题。此外，相较于原模型，新模型在回答中大量减少了表情符号的使用，使得回应更加正式。与 Llama-3-8B-nsturc...

UCloud小助手 2024-04-28 17:57 评论0 收藏0
模型领域GPU性能排名

图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了排名。我们可以看到，H100 GPU的8位性能与16位性能的优化与其他GPU存在巨大差距。针对大模型训练来说，H100和A100有绝对的优势首先，从架构角度来看，A100采用了NVIDIA的Ampere架构，而H100则是基于Hopper架构。Ampere架构以其高效的图形处理性能和多任务处理能力而...

UCloud小助手 2024-04-28 17:38 评论0 收藏0
照片+音频=视频，超实用项目源码已开放，单卡4090部署！

项目简介AniTalker是一个开源项目，它利用静态照片和音频文件来创造动态的面部说话视频。AniTalker采用了一种通用的运动表示方法。这种创新的表示方法有效地捕捉了广泛的面部动态，包括微妙的表情和头部动作。AniTalker通过两种自监督学习策略增强了运动描述：第一种策略是通过同一身份内的源帧重建目标视频帧来学习微妙的运动表示；第二种策略是使用度量学习开发身份编码器，同时积极减少身份和运动编...

UCloud小助手 2024-05-22 15:34 评论0 收藏0
大模型推理为什么4090更合适？

大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，而是非常香！直接上图！通过Tensor FP32（TF32）的数据来看，H100性能是全方面碾压4090，但是顶不住H100价格太贵，推理上使用性价比极低。但在和A100的PK中，4090与A100除了在显存和通信上有差异，算力差异与显存相比并不大，而4090是A100价格的1/10，因此如果用在模...

UCloud小助手 2024-04-28 17:33 评论0 收藏0