大数据架构设计SEARCH AGGREGATION

首页/精选主题/

大数据架构设计

大数据平台

...rm(简称 USDP),是 UCloud 推出的云上智能化、轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 USDP 构建于 UCloud 的云服务上,无缝集成云端 IaaS 资源能力,通过自研的 USDP Manager 管理工具,支持用户...

大数据架构设计问答精选

支撑日活百万用户的高并发系统,应该如何设计其数据库架构? ?

回答:以mysql为列:1:支撑高并发系统,一定会涉及事务,所以数据库引擎必选innodb,innodb支持事务,事务级别根据业务而定,如果业务数据一致性要求很高,事务就开启序列化级别,这样就完全隔离事务,但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2:读写分离,数据库分成主库和从库,主库负责写数据,丛库负责读数据。注意主从数据库数据一致性问题。3:冷热数据分离,美团,饿了么部分设计采用冷热...

Vultr | 1173人阅读

大数据分布的架构怎么做调优呢?

回答:这个太范化了吧。大数据架构选择的方案就有很多,海量数据的即席查询本省就是业内目前的痛点,暂时没有太好的解决方案,kylin等框架也只是一个折中方案,如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案,分钟级别可以返回。

Paul_King | 625人阅读

架构师必须掌握的如何思考设计SQL优化方案?

回答:大家在刚开始搭建项目的时候可能考虑的不够全面,随着产品的推广 、业务场景的复杂和使用用户越来越多 数据会呈现快速增长。当数据达到千万级的时候 就会发现 查询速度越来越慢 用户体验也就越来越差,那怎样提升千万级数据查询效率呢?小萌简单整理了一下,希望对大家有所帮助!优化数据库设计:数据字段类型使用varchar/nvarchar 替换 char/nchar,变长字段存储空间小,节省存储空间。在查询的...

phodal | 853人阅读

假如Deepin把linux内核最内部部分代码在不改变架构逻辑设计前提下重写了,能算纯国产系统吗?

回答:没什么意义,关键是架构,你的架构和API用的是linux定义的,你再怎么改,还是linux。人家为什么敢叫linux,而不叫unix,那是人家虽然没有全改,但起码有自己的架构设计在里面,所以,别人才承认你是Linux,而不是unix换个皮。所以在操作系统里架构和API的改写和设计才是真正????B的地方。起码目前的中国,我还没见识过这种大神!

wqj97 | 857人阅读

数据库设计工具有哪些?

问题描述:该问题暂无描述

legendaryedu | 506人阅读

高性能数据架构是您数字议程的重中之重吗?

回答:现在有幸参与传统银行数字化转型,负责技术架构部分的转型设计。高性能的数据架构(High Performance Data Architecture),正是我们架构转型的重点。随着科技的蓬勃发展、社交网络的广泛使用、线上消费的普及、数据挖掘的技术提升等大趋势,全球银行业正迎来一场声势浩大的数字化创新浪潮。数字化为消费者的生活及行为模式带来翻天覆地的变化,也孵化出一批新型的金融科技(Fintech)竞...

Lowky | 467人阅读

大数据架构设计精品文章

  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    617035918 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    Imfan 评论0 收藏0
  • 数据脱敏数据架构设计

    需求背景 系统有数据识别、数据脱敏逻辑,支持可配置规则,自定义等,需要进行异构数据同步,大数据量。现在针对以下几个需求进行讲解 1、支持冗余设计2、支持任务自动分发,支持自动负载均衡3、支持随时扩容节点而...

    lavor 评论0 收藏0
  • 从小白程序员一路晋升为厂高级技术专家我看过哪些书籍?(建议收藏)

    ...出版的技术图书 即将出版的《深入理解XXXXXXXXX》 《海量数据处理与大数据技术实战》 《MySQL技术大全:开发、优化与运维实战》 《深入理解高并发编程》 《并发编程核心知识》 《冰河的渗透实战笔记》 《我要进大厂系列之面...

    sf_wangchong 评论0 收藏0
  • 架构学习】数据在线比赛平台架构设计

    ...的差不多的在线比赛平台非常有趣,用户可以上传自己的数据,创建自己的项目并且可以使用交互式的笔记本, 支持实时代码,数学方程,可视化和markdonw。让人不经思考它是如何把jupyter集成和扩展的这么好的,使用的什么样...

    chaosx110 评论0 收藏0
  • 架构学习】数据在线比赛平台架构设计

    ...的差不多的在线比赛平台非常有趣,用户可以上传自己的数据,创建自己的项目并且可以使用交互式的笔记本, 支持实时代码,数学方程,可视化和markdonw。让人不经思考它是如何把jupyter集成和扩展的这么好的,使用的什么样...

    ThinkSNS 评论0 收藏0
  • 2019年微服务实践第一课,网易&谐云&蘑菇街&奥思技术咖深度分享

    ...各个微服务可被独立部署,服务间是松耦合的关系,以及数据和治理的去中心化管理。微服务能够帮助企业应对业务复杂、频繁更新以及团队规模庞大带来的挑战,实现IT对业务创新的驱动。 1月12日,网易云主办的微服务实践...

    genedna 评论0 收藏0
  • 2017年TOP100summit15位咖担任联席主席甄选最值得学习的100个研发案例

    ...能,20年间软件研发行业趋势发生了翻天覆地的变化。大数据、云计算、AI等新兴领域逐渐改变我们的生活方式,Devops、容器、深度学习、敏捷等技术方式和工作理念对软件研发从业者提出更高要求。 由麦思博(msup)有限公司主...

    andot 评论0 收藏0
  • 直击架构本质:优秀架构师必须掌握的几种架构思维

    ...小问题来解决。那么8G内存的计算机一次大概能排多大的数据量,可以在有限的时间内排完呢?也就是100G的大文件要怎么切法,切成多少份比较合适?这个是考察候选人的时间空间复杂度估算能力,需要一定的计算机组织和算法...

    lijy91 评论0 收藏0
  • 直击架构本质:优秀架构师必须掌握的几种架构思维

    ...小问题来解决。那么8G内存的计算机一次大概能排多大的数据量,可以在有限的时间内排完呢?也就是100G的大文件要怎么切法,切成多少份比较合适?这个是考察候选人的时间空间复杂度估算能力,需要一定的计算机组织和算法...

    fjcgreat 评论0 收藏0
  • 构建BAAS云服务—CLOUDDATA架构设计

    ... 搭建后端Server服务。 编写后端Server代码。 设计Server底层数据存储架构。 关注Server的高可用、可扩展、负载均衡、高性能等诸多繁琐问题。 这些事情可能会耗掉你80%以上的时间和精力,结果服务可用性、稳定性、可扩展性等都...

    mating 评论0 收藏0
  • 移动端开发:架构那点事!

    ...聊移动端的架构设计。 李文杰:我们的项目划分成了:数据层、UI 层、逻辑层。 上海-李博:我们使用的是 MVVM(Model-View-ViewModel),然后使用了一些 React Native。 韩兵:MVC 这样的模式可以代替咱们移动端架构吗? 攻城狮:MVC、M...

    KnewOne 评论0 收藏0

推荐文章

相关产品

<