Mesos安装篇（一）

stormzhang 发布于2019-06-28 15:45 / 3065人阅读

摘要：诞生于的一个研究项目，现已成为中的项目。是指外部的计算框架，如，等，这些计算框架可通过注册的方式接入，以便进行统一管理和资源分配。要求可接入的框架必须有一个调度器模块，该调度器负责框架内部的任务调度。

Mesos诞生于UC Berkeley的一个研究项目，现已成为Apache Incubator中的项目。Mesos计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark。使ZooKeeper实现容错复制，使用Linux Containers来隔离任务，支持多种资源计划分配。

总体架构

Apache Mesos由四个组件组成，分别是Mesos-master，mesos-slave，framework和executor。

mesos中的基本术语解释

Mesos-master：是整个系统的核心，负责管理接入mesos的各个framework（由frameworks_manager管理）和slave（由slaves_manager管理），并将slave上的资源按照某种策略分配给framework（由独立插拔模块Allocator管理）。

Mesos-slave：负责接收并执行来自mesos-master的命令、管理节点上的mesos-task，并为各个task分配资源。mesos-slave将自己的资源量发送给mesos-master，由mesos-master中的Allocator模块决定将资源分配给哪个framework，当前考虑的资源有CPU和内存两种，也就是说，mesos-slave会将CPU个数和内存量发送给mesos-master，而用户提交作业时，需要指定每个任务需要的CPU个数和内存量，这样，当任务运行时，mesos-slave会将任务放到包含固定资源的linux container中运行，以达到资源隔离的效果。

Framework：是指外部的计算框架，如Hadoop，Mesos等，这些计算框架可通过注册的方式接入mesos，以便mesos进行统一管理和资源分配。Mesos要求可接入的框架必须有一个调度器模块，该调度器负责框架内部的任务调度。当一个framework想要接入mesos时，需要修改自己的调度器，以便向mesos注册，并获取mesos分配给自己的资源，这样再由自己的调度器将这些资源分配给框架中的任务，也就是说，整个mesos系统采用了双层调度框架

Executor：执行器，安装到mesos-slave上，用于启动计算框架中的task。

安装部署

部署环境介绍

内核版本：
[root@ctn-7-11 ~]# uname -a
Linux ctn-7-11.ptmind.com 3.10.0-327.4.4.el7.x86_64 #1 SMP Tue Jan 5 16:07:00 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

系统版本：
[root@ctn-7-11 ~]# more /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

docker版本：
[root@ctn-7-13 ~]# docker --version
Docker version 1.10.3, build 20f81dd

集群所有主机添加主机名
[root@ctn-7-12 ~]# more /etc/hosts
---略---
172.16.7.12 ctn-7-12.ptmind.com ctn-7-12
172.16.7.13 ctn-7-13.ptmind.com ctn-7-13
172.16.7.14 ctn-7-14.ptmind.com ctn-7-14

为配置方便讲服务器ssh免密码登陆打通
[root@ctn-7-11 workspace]# for ip in $(cat /workspace/mesoslist);do echo ------$ip-----;ssh root@$ip hostname;done
------172.16.7.11-----
ctn-7-11.ptmind.com
------172.16.7.12-----
ctn-7-12.ptmind.com
------172.16.7.13-----
ctn-7-13.ptmind.com
------172.16.7.14-----
ctn-7-14.ptmind.com

安装前准备

关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

安装docker
sudo yum update
curl -sSL https://get.docker.com/ | sh

安装常用软件包
yum install git lrzsz wget elinks nc -y

添加yum源（所有主机，安装其中一个即可）
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...

集群服务部署规划
服务器IP地址主机名安装服务
172.16.7.12ctn-7-12.ptmind.com mesos-master 、zookeeper、mesos-slave 、chronos
172.16.7.13ctn-7-13.ptmind.com mesos-master 、zookeeper、mesos-slave 、
172.16.7.14ctn-7-14.ptmind.com mesos-master 、zookeeper、mesos-slave、marathon

更多内容正在更新中，银盾泰安将持续为您发布最新最有用的资讯，敬请期待！

云服务器 GPU云服务器推荐一篇利用th Mesos 上一篇属性篇

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/26886.html

飞驰在Mesos的涡轮引擎上

摘要：方案二和也运行在中。新增删除节点变更配置均需要手工介入。公司已有的大多都是容器形式部署在各个服务器上。目前我们在每个节点上部署了传统的。在接下来的阶段团队也会对此做进一步的探索。回想起第一次接触Mesos, 当时有很多困惑: 这到底是用来做啥的？跟YARN比有什么优势？有哪些大公司在使用么?。然而现在技术日新月异地发展, Mesos这个生态圈也开始被越来越多的团队熟悉关注, 像k8...

xorpay 2019-06-28 15:19 评论0 收藏0
Docker 与 Mesos 的前生今世 | 数人云CTO肖德时@KVM分享实录

摘要：今天小数给大家带来一篇技术正能量满满的分享来自社区线上群分享的实录，分享嘉宾是数人云肖德时。第二级调度由被称作的组件组成。它们是最小的部署单元，由统一创建调度管理。今天小数给大家带来一篇技术正能量满满的分享——来自KVM社区线上群分享的实录，分享嘉宾是数人云CTO肖德时。嘉宾介绍：肖德时，数人云CTO 十五年计算机行业从业经验，曾为红帽 Engineering Service ...

0x584a 2019-06-28 15:09 评论0 收藏0
基于Docker搭建多节点Mesos/Marathon

摘要：摘要在之前的一篇博客中，我介绍了基于搭建单机版，但是仅仅使用了单个节点。具有容错功能当容器由于节点崩溃等原因意外停止运行时，会自动将容器调度到其他节点。因此，目前仅适合运行无状态的服务，而数据库等有状态服务应该单独部署。摘要: 在之前的一篇博客中，我介绍了基于Docker搭建单机版Mesos/Marathon，但是仅仅使用了单个节点。而在这篇博客中，我将介绍基于Docker搭建多节点...

ConardLi 2019-06-28 15:16 评论0 收藏0
技术干货 | 初次微服务体验：从Docker容器农场说起

摘要：或许你的第一次微服务体验，就从本文开始在本文中，和等纷纷亮相，并配有详细的代码说明。该角色与本地网络及的配置设置相关。由于会在虚拟机初始化过程中自动执行配置任务，因此惟一的解决办法就是将相关内容提取至单独的剧本当中这是一篇温和有趣的技术文章，如果你初识Docker，对微服务充满兴趣，不妨一读。或许你的第一次微服务体验，就从本文开始…… 在本文中，Mesos、Zookeeper、Ma...

魏宪会 2019-06-28 15:09 评论0 收藏0