10K 问题的解决：一个系统管理员如何管理 2000x 台服务器

BothEyes1993 发布于2019-05-28 16:43 / 2786人阅读

摘要：在数据中心，服务器管理员们并不需要面对这样的挑战，但根据来自红帽的在最近在节目中所说，我们已经跨过了单个系统管理员管理过万台服务器的壁垒。回忆说，在九十年代，一个管理员只能管理四五台微软的服务器，一个的系统管理员也只能管理到台的服务器。

什么是 10K 问题？

在 1999 年，Dan Kegel 向网络服务器提出了一个骇人听闻的难题：

是时候让网络服务器去同时应对 10000 个客户端了，你觉得呢？毕竟网络已经变得很普及了。

这就是著名的 C10K 问题。通过改善操作系统内核和从像 Apache 那样的线程服务器迁移到像 Nginx, Node 这样的事件驱动服务器，工程师们解决了这个 C10K 问题。

但现在我们面临着一个更大的挑战，如果同时应对一千万个连接呢？要解决这个难题，需要些更变革的技术。

在数据中心，服务器管理员们并不需要面对这样的挑战，但根据来自红帽(Red Hat)的 Dave Neary 在最近在 FLOSS Weekly 节目中所说，我们已经跨过了单个系统管理员管理过万台服务器的壁垒。

我们应该忽略这个里程碑事件吗？

绝对不是。这样 200x-2000x 的增长是一个了不起的成就。Dave 回忆说，在九十年代，一个管理员只能管理四五台微软的服务器，一个 Linux 的系统管理员也只能管理 50 到 60 台的服务器。

现在，公司们已经开始用单个系统管理员管理超过 10，000 台的服务器了，这个巨大的改变深刻影响了两样事情：1）IaaS，把数据中心改成弹性的可编程的资源，把操作从基础设施中分离；2）开发操作革命，它强调工具、文化、自动化、度量、资源共享和基础设施的编码；

那么需要怎样才可以令一个系统管理员就可以管理一千万台服务器呢？

谁会知道？当然是谷歌公司了。
James Hamilon说，计算服务器的数量是困难的，微软说，他们有一百万台服务器，然后，谷歌的服务器预计会达到一千万台，所以我们离单个系统管理员管理千万台服务器的日子还有些远；

但是，当这种情况发生时，下面所列就是这些系统的基础：

把数据中心当成多带带一台计算机那样对待

然后，在数据中心内部，在计算机群上部署可复用的多维度多重作业，以便提高机器利用率和节约金钱

但这仅仅是一个数据中心，这并不是把你从十带到百万台服务器。对于千万台的服务器，你必须利用好这些数据中心，所以，你要建一个 Spanner 那样的可以管理百万台机器、几百个数据中心和数万亿个数据项的系统；

当然，你还需要建造一个巨型网络系统，把这些数据中心连接在一起；

最后，当你真的面临一个系统管理员管理千万台的服务器，你很可能需要付出巨大的精力去做深入的挖掘，使得之前的工作变得有意义。

在高层面来说，单个服务器同时应对千万个连接和单个系统管理员同时管理千万台机器是一样的：可扩展性就是一切。

但在低层面，他们是完全不一样的。处理千万个连接是关于扁平化处理数据，减少层面，多带带自己的事情；而管理千万台服务器是关于把智能灌输到更加智慧的层面；这就很像人类身体内部万亿个个体通过自己的小系统共同协作，然后被平衡化和去中心化的大脑所处理。

原文：We Finally Cracked The 10K Problem - This Time For Managing Servers With 2000x Servers Managed Per Sysadmin

翻译：SegmentFault

云服务器 GPU云服务器多云管理解决问题问题跟踪管理系统客户如何管理系统控制管理台

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/7890.html

物联网高并发编程之C10K问题原理和解决方案

摘要：问题任一文件句柄的不成功会阻塞住整个应用。主要解决的前两个问题通过一个数组向内核传递需要关注的事件消除文件句柄上限，同时使用不同字段分别标注关注事件和发生事件，来避免重复初始化。问题逐个排查所有文件句柄状态效率不高。 C10K问题思维导图 showImg(https://segmentfault.com/img/bVbkrKe?w=1818&h=1276); C10K问题出现前期大家...

dayday_up 2019-08-16 13:54 评论0 收藏0
为什么说单个容器的价值有限，以及多容器的难点和价值在哪里？

摘要：谷歌在万台机器的区间内，他们中位数集群尺寸大约在万台机器，也有一些更大的。谷歌称，一个单独的其专有的分配集群的首脑在一个谷歌对于集群的术语内能管理成千上万台机器。【文章简介】本文讨论了单个容器所无法解决的问题和局限性，并介绍了容器编排的必要性和复杂性及常用工具的比较，提到了诸如Kubernetes、Mesos等容器管理工具。就像之前已被证实的那样，要在一个机器上创建成千上万个容器还...

weakish 2019-07-01 16:21 评论0 收藏0
一台服务器可以同时连接大于65536个客户端吗？

摘要：一个完整的连接由四个部分组成源源端口目的目的端口这就是经典的四元组。你没看错，服务器上只消耗这一个端口。但却完全可以支撑下面这些连接连接客户端服务器连接客户端服务器连接非但如此，即使是只有一个客户端，也可以向这个服务器建立多条连接的。平时工作和学习中，大家都知道一台计算机的端口号总共有65535个，但一台计算机真的只能建...

ASCH 2021-11-23 09:51 评论0 收藏0