5月20日，微软在其特别活动上，向世界介绍了一种新类别的WindowsPC，一款专为AI设计的Copilot+ PC。Copilot+ PC引入了全新的系统架构，将 CPU、GPU和高性能神经处理单元(NPU)结合在一起，并与 Azure 云中的大语言模型(LLM)和小语言模型(SLM)协同工作，带来前...
项目简介DeepSeek-V2，一个专家混合(MoE)语言模型，其特点是经济高效的训练和推理。它包含 2360 亿个总参数，其中每个token激活了21亿个参数。与 DeepSeek67B相比，DeepSeek-V2 实现了更强的性能，同时节省了 42.5%的训练成本，将 KV 缓存减少了 93.3%，并将...
Llama3 中文聊天项目综合资源库，该文档集合了与Lama3 模型相关的各种中文资料，包括微调版本、有趣的权重、训练、推理、评测和部署的教程视频与文档。1. 多版本支持与创新：该仓库提供了多个版本的Lama3 模型，包括基于不同技术和偏好的微调版本，如直接中文...
项目简介Funclip 是阿里巴巴通义实验室开源的一款视频剪辑工具，专门用于精准、便捷的视频切片。它能够自动识别视频中的中文语音并允许用户根据语音内容来裁剪视频。该工具使用了阿里巴巴语音识别模型FunASR Paraformer-Large确保了剪辑的精准性。你可以根据...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得廉价算力，进行AI视频生成等模型开发和应用呢？Compshare是隶属于UCloud云计算的GPU算力平台，专注提供高性价比的NVIDIA RTX 40 系列资源，满足 AI应用、模型推理/微...
Gradient Al最近将Llama-3 8B和7B模型通过渐进式训练方法不断将Llama-3模型的上下文长度从8k-路扩展到262k、524k今天Gradient Al成功宣布成功地将Llama-3 系列模型的上下文长度扩展到超过1 M...并且1M上下文窗口 70B 模型在 NIAH(大海捞针)上取得了完美分数。...
NVIDIA和MIT的研究人员推出了一种新的视觉语言模型(VLM)预训练框架，名为VILA。这个框架旨在通过有效的嵌入对齐和动态神经网络架构，改进语言模型的视觉和文本的学习能力。VILA通过在大规模数据集如Coy0-700m上进行预训练，采用基于LLaVA模型的不同预训练策略...
NVIDIA和MIT的研究人员推出了一种新的视觉语言模型(VLM)预训练框架，名为VILA。这个框架旨在通过有效的嵌入对齐和动态神经网络架构，改进语言模型的视觉和文本的学习能力。VILA通过在大规模数据集如Coy0-700m上进行预训练，采用基于LLaVA模型的不同预训练策略...
ollama介绍在本地启动并运行大型语言模型。运行Llama 3、Phi 3、Mistral、Gemma和其他型号。Llama 3Meta Llama 3 是 Meta Inc. 开发的一系列最先进的模型，提供8B和70B参数大小（预训练或指令调整）。Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化...
Perplexica是一个开源的人工智能搜索工具，也可以说是一款人工智能搜索引擎，它深入互联网以找到答案。受Perplexity AI启发，它是一个开源选择，不仅可以搜索网络，还能理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入式技术，以精细化结果，并...
Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通过 ORPO进行微调的中文聊天模型。与原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型显著减少了中文问题英文回答"和混合中英文回答的问题。此外，相较于原模型，新模型在回答中大量减少了...
2024年4月18日，Meta AI正式宣布推出开源大模型Llama3，这标志着开源大型语言模型（LLM）领域的又一重大突破。Llama3以其卓越的性能和广泛的应用前景，或将推动人工智能技术快速迈进新纪元。为方便AI应用企业及个人AI开发者快速体验Llama3的超高性能，近期优...
随着人工智能的持续火热，好的加速卡成为了各行业的重点关注对象，因为在AI机器学习中，通常涉及大量矩阵运算、向量运算和其他数值计算。这些计算可以通过并行处理大幅提高效率，而高端显卡的存在，使得在处理要求拥有大量算力的任务时，变得不那么难了。这篇...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了排名。我们可以看到，H100 GPU的8位性能与16位性能的优化与其他GPU存在巨大差距。针对大模型训练来说，H100和A100有绝对的优势首先，从架构角度来看，A100采...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，而是非常香！直接上图！通过Tensor FP32（TF32）的数据来看，H100性能是全方面碾压4090，但是顶不住H100价格太贵，推理上使用性价比极低。但在和A100的PK中，4090与A100除了在显...
