【compshare】UCloud优刻得GPU租用平台推荐

UCloud小助手发布于2024-06-05 17:34 / 579人阅读

【compshare】推荐一个GPU按小时租的平台，使用实体机部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特别方便

UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市(股票代码：688158)，中国云计算第一股，专注于提供可靠的企业级云服务，包括云服务器、云主机、云数据库、混合云、CDN、人工智能等服务。

compshare算力共享平台：

专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。

————————————————

原文链接：https://blog.csdn.net/freewebsys/article/details/139188230

1、需要选择 ubuntu 版本，可以支持最高 12.4 的cuda驱动。

然后就可以通过webshell登陆了：

但是界面启动后需要等待下驱动安装。

2、直接使用帐号远程登陆

端口使用8888

ssh root@117.50.xxx.xxx

输入密码就可以操作了

因为没有设置环境变量所以需要执行：

export PATH=${PATH}:/home/ubuntu/.local/bin
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/home/ubuntu/xinf-data
xinference-local --host 0.0.0.0 --port 8888

模型之能运行一个，重启再运行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

模型之能运行一个，重启再运行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

3、调用接口

可以成功调用接口。测试qwen 大模型速度。

curl -X 'POST' 'http://0.0.0.0:8888/v1/chat/completions' -H 'Content-Type: application/json' -d '{
    "model": "qwen1.5-chat","stream": true,
    "messages": [
        {
            "role": "user",
            "content": "北京景点?"
        }
    ],
    "max_tokens": 512,
    "temperature": 0.7
}'

4、特别注意，不使用需要删除应用

因为运行的方式不一样，不使用了需要删除应用。
否则还是会产生费用。
是独享的模型创建的。

推荐使用NVIDIA RTX 40 显卡做模型推理，购买地址如下：

https://www.ucloud.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

GPU算力平台优刻得 ucloud 优刻得(ucloud ucloud 优刻得优刻得(ucloud)

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/131108.html

GPU算力平台哪家好

Compshare是一个专注于提供高性价比算力资源的平台，它为AI训练、深度学习、科研计算等场景提供强大的支持。平台的核心优势在于其高效的GPU算力资源，用户可以根据自己的需求，灵活选择不同的GPU配置，实现一键部署和即算即用，从而显著提升工作效率。100% GPU性能Compshare平台通过GPU显卡直通技术，确保用户能够充分利用GPU的性能，相比传统的容器形式，性能损耗降低了30%。这意味着...

UCloud小助手 2024-05-22 16:03 评论0 收藏0
新加坡云服务器多少钱?新加坡云服务器租用优势及价格

摘要：新加坡云服务器多少钱新加坡云服务器多少钱新加坡云服务器新加坡云服务器怎么样新加坡云服务器机房都位于亚洲的金融中心之一的新加坡。下面，云服务器网小编详细介绍一下新加坡云服务器租用优势及价格。新加坡云服务器多少钱?新加坡云服务器怎么样?新加坡云服务器机房都位于亚洲的金融中心之一的新加坡。新加坡云服务器国际带宽充足，机房管理十分规范。完善的法律与机房充分保证了新加坡云服务器的高速稳定。ucloud...

番茄西红柿 2021-08-20 09:33 评论0 收藏2637
为什么选择租用UCloud金翼物理机？UCloud金翼物理机优势、标准型及定制型介绍

摘要：签约方式金翼物理机支持按月付款标准机型协议期限支持个月个月个月个月个月个月定制型协议期限仅支持个月个月个月租用个月后，服务器产权归用户所有。UCloud金翼物理机汇集UCloud多年硬件选型和运维经验，以独享物理机包年包月的形式租用给用户，满足用户多层次的计算资源需求。金翼物理机作为UCloud公有云计算资源的有效补充，结合UCloud数据中心产品和网络产品，为用户提供完整的混合云解决方案。...

Tecode 2022-06-28 18:59 评论0 收藏0
Llama3来袭！如何通过4090GPU云主机快速部署？

2024年4月18日，Meta AI正式宣布推出开源大模型Llama3，这标志着开源大型语言模型（LLM）领域的又一重大突破。Llama3以其卓越的性能和广泛的应用前景，或将推动人工智能技术快速迈进新纪元。为方便AI应用企业及个人AI开发者快速体验Llama3的超高性能，近期优刻得GPU云主机上线Llama3-8B-Instruct-Chinese镜像，一键配置，快速部署模型开发环境。为客户提供开...

UCloud小助手 2024-04-28 17:46 评论0 收藏0