Serving

Serving精品文章

• 

  tensorflow-serving

  TensorFlow Serving是一个开源的高性能机器学习模型部署框架，可用于将训练好的模型部署到生产环境中进行预测。TensorFlow Serving具有许多有用的功能，如模型版本控制、模型热更新、模型的灰度发布和模型可扩展性等，这些功能使...

  XiNGRZ 2023-04-25 20:22 评论0 收藏2691
• 

  TensorFlow在产品环境中运行模型的实践经验总结

  ...容支持其他TensorFlow模型，以支持未来的数据产品TensorFlow Serving  经过网上的调研之后，Google的TensorFlow Serving成为我们推荐的模型服务。TensorFlow Serving用C++编写，支持机器学习模型服务。开箱即用的TensorFlow Serving安装支持：TensorFl...

  stackfing 2019-04-25 18:10 评论0 收藏0
• 

  TensorFlow Serving入门

  ...服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlow Serving。 但那时候客户端和服务端的通信只支持gRPC。在实际的生产环境中比较广泛使用的C/S通信手段是基于RESTfull API的，幸运的是从TF1.8以后，TF Serving也正式支持RESTfull AP...

  Harpsichord1207 2019-06-18 11:17 评论0 收藏0
• 

  使用Kubernetes和TensorFlow Serving将神经网络镜像分类进行弹性扩容

  ...模。学习更多关于TensorFlow，请看下文补充： 用TensorFlow Serving和Kubernetes给Inception模型提供服务 这个tutorial展示了如何使用TensorFlow Serving组件在容器里面的运用，以此来服务TensorFlow模型，还展示了如何用Kubernetes配置服务中的集群...

  Harpsichord1207 2019-07-01 16:20 评论0 收藏0
• 

  使用 TensorFlow Serving 和 Docker 快速部署机器学习服务

  ...重现，隔离和安全。这里，我们使用基于Docker的TensorFlow Serving来简单地完成这个过程。TensorFlow 从1.8版本开始支持Docker部署，包括CPU和GPU，非常方便。 获得训练好的模型 获取模型的第一步当然是训练一个模型，但是这不是本篇...

  endless_road 2019-06-28 17:05 评论0 收藏0
• 

  flask源码走读

  ...ketserver上启动了服务开始监听端口: flask.Flask.run -> werkzeug.serving.run_simple -> werkzeug.serving.run_simple.inner ->werkzeug.serving.make_server -> BaseWSGIServer->HTTPServer.__init__(self, get_sockaddr(h...

  Coly 2019-07-31 10:16 评论0 收藏0
• 

  【TensorFlow开源2年官方回顾】下一个重要方向是分布式模型服务

  自从2016年2月 TensorFlow Serving 开源以来，我们做了一些重大改进。现在，让我们再回到这个项目开始的地方，回顾我们的进展过程，并分享我们下一步的方向。在 TensorFlow Serving 启动之前，谷歌公司内的 TensorFlow 用户也必须从头...

  morgan 2019-04-25 18:20 评论0 收藏0
• 

  滴滴机器学习平台架构演进

  ...，平台结合自己的场景特点开发了 DDL（DiDi Deep Learning） Serving 服务框架、IFX 框架和 Autotuning 优化库，极大加速了模型上线部署和优化过程。 针对模型服务部署和优化，平台结合自己的场景特点开发了 DDL（DiDi Deep Learning） Serving...

  entner 2019-06-26 18:58 评论0 收藏0