资讯专栏INFORMATION COLUMN

【架构学习】大数据在线比赛平台架构设计

chaosx110 / 1777人阅读

摘要:实现架构基于这些调查以及一些小的编写,设计出一个可定制化的在线比赛平台的架构在中我使用的是,所以这里的持久卷是的持久化卷,用来管理用户数据集和上传和访问。在管理的同时,也作为代理服务,可以直接把的内容返回给在线比赛平台。

背景
最近使用科赛发现这个和jupyter长的差不多的在线比赛平台非常有趣,用户可以上传自己的数据,创建自己的项目并且可以使用交互式的笔记本, 支持实时代码,数学方程,可视化和markdonw。让人不经思考它是如何把jupyter集成和扩展的这么好的,使用的什么样的架构。

随后,我调查了相关技术。首先是jupyter-notebook, 一款本地的ipython的笔记本,以及如何扩展插件。然后就是Jupyter-hub, 管理多用户-笔记本的服务。

实现架构
基于这些调查以及一些小demo的编写,设计出一个可定制化的在线比赛平台的架构:

在demo中我使用的是kubespawner, 所以这里的持久卷是k8s的持久化卷,用来管理用户数据集和上传和访问。
jupyter-hub在管理notebook的同时,也作为代理服务,可以直接把jupyter-notebook的内容返回给在线比赛平台。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/44489.html

相关文章

  • 架构学习数据在线比赛平台架构设计

    摘要:实现架构基于这些调查以及一些小的编写,设计出一个可定制化的在线比赛平台的架构在中我使用的是,所以这里的持久卷是的持久化卷,用来管理用户数据集和上传和访问。在管理的同时,也作为代理服务,可以直接把的内容返回给在线比赛平台。 背景最近使用科赛发现这个和jupyter长的差不多的在线比赛平台非常有趣,用户可以上传自己的数据,创建自己的项目并且可以使用交互式的笔记本, 支持实时代码,数学方程,...

    ThinkSNS 评论0 收藏0
  • 当S8遇上边缘计算:谈阿里云ENS对直播业务场景的支撑

    摘要:阿里云推出的边缘节点服务这个云产品,就是针对前面提到的目标场景,来应对客户自建边缘设施遇到的痛点和挑战的。针对赛事直播业务场景的优化阿里云团队针对常规活动赛事电竞直播这一业务场景,也做了很多技术优化。 近日,英雄联盟S8全球总决赛落下帷幕,中国战队IG零封FNC夺得冠军。这场比赛引起了国内网友的超高关注度,也给直播平台带来了不小的技术挑战。虎牙直播平台结合阿里云边缘节点技术方案,保障了...

    lily_wang 评论0 收藏0
  • 专访 | Angel团队负责人黄明:历时半年,腾讯Angel为了开源都经历了些什么?

    摘要:详见腾讯正式版发布基于与的机器学习高性能计算平台在谈及新一代平台时,黄明表示,是此次平台升级的一大亮点,而只是生态圈的第一个成员。对此,黄明表示,在的开发过程中,我们一直都是在同和对标性能。 机器之心原创 作者:高静宜 2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。开源两周,这个项目在 Github 上持续得到关注,截至目前为止,已...

    William_Sang 评论0 收藏0
  • 道器相融,由Angel论一个优秀机器学习平台的自我修养

    摘要:而道器相融,在我看来,那炼丹就需要一个好的丹炉了,也就是一个优秀的机器学习平台。因此,一个机器学习平台要取得成功,最好具备如下五个特点精辟的核心抽象一个机器学习平台,必须有其灵魂,也就是它的核心抽象。 *本文首发于 AI前线 ,欢迎转载,并请注明出处。 摘要 2017年6月,腾讯正式开源面向机器学习的第三代高性能计算平台 Angel,在GitHub上备受关注;2017年10月19日,腾...

    leo108 评论0 收藏0

发表评论

0条评论

chaosx110

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<