k8s与数据分析--利用redash做自助数据分析

lykops 发布于2019-07-01 16:45 / 1198人阅读

摘要：通过数据分析和挖掘，让数据产生价值。数据可视化是大数据的最后一公里，做好可视化是对于数据分析是重要的。今天，主要介绍这款数据分析的利器。相比除了上手简单，支持等时序数据库。这点对于监控数据分析很有优势。数据源包括时序数据库，和业务库。

前言

在之前文章中，一直讲prometheus的metrics以及apm的指标的重要性，多侧重于收据的收集和存储。如果不对这些数据进行数据分析，那么就没有收集的意义了。通过数据分析和挖掘，让数据产生价值。一直以来我认为devops必须是一个闭环，即apm，日志，监控着三大系统的数据，必须经过分析对dev和ops有价值。
数据可视化是大数据的『最后一公里』，做好可视化是对于数据分析是重要的。
今天，主要介绍redash这款数据分析的利器。

redash简介

redash是一款开源的BI工具，提供了基于web的数据库查询和数据可视化功能。

支持 SQL, NoSQL, Big Data and API data等20几种常见的数据源：

基本上满足了大多数的场景。相比
superset,除了上手简单，支持influxdb等时序数据库。这点对于监控数据分析很有优势。

sql友好的SQL editor，更加高效的编写复杂的sql

随时写，随时查，实时看到查询的效果

支持丰富的可视化展示形式

Boxplot

Chart - Line, Bar, Area, Pie, Scatter

Cohort

Counter

Funnel

Map

Pivot Table

Sankey

Sunburst

Word Cloud

角色权限相关，支持ldap等，方便与企业内部的用户体系打通。

安装和简单使用 安装

如果是想直接体验的话，docker-compose部署最简单，redashgithub仓库中直接提供了docker-compose.production.yml文件，直接docker-compose up -d 即可。

# This is an example configuration for Docker Compose. Make sure to atleast update
# the cookie secret & postgres database password.
#
# Some other recommendations:
# 1. To persist Postgres data, assign it a volume host location.
# 2. Split the worker service to adhoc workers and scheduled queries workers.
version: "2"
services:
  server:
    image: redash/redash:latest
    command: server
    depends_on:
      - postgres
      - redis
    ports:
      - "5000:5000"
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      REDASH_COOKIE_SECRET: veryverysecret
      REDASH_WEB_WORKERS: 4
    restart: always
  worker:
    image: redash/redash:latest
    command: scheduler
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      QUEUES: "queries,scheduled_queries,celery"
      WORKERS_COUNT: 2
    restart: always
  redis:
    image: redis:3.0-alpine
    restart: always
  postgres:
    image: postgres:9.5.6-alpine
    # volumes:
    #   - /opt/postgres-data:/var/lib/postgresql/data
    restart: always
  nginx:
    image: redash/nginx:latest
    ports:
      - "80:80"
    depends_on:
      - server
    links:
      - server:redash
    restart: always

通过compose文件可以看出，redash依赖redis和pgsql数据库。redis用来缓存一些查询result，而pgsql是元数据库，目前不支持mysql替换pgsql。

其他安装方式，见官方文档

简单使用

先上一张实际的效果图：

包含了couter和area chart。
数据源包括influxdb时序数据库，和mysql业务库。

其中audit-middware 其实是Query Results库。Query Results Data Source 允许你在一些已经存在的查询结果之上再做一些高级的查询, 这样就可以轻易合并一些查询结果。

总结

在实际使用中，redash和superset各有优劣。根据自己的场景来选择吧。查阅资料的过程中，已经有人对redash做了二次开发，这也许是深度使用的必经之路。
为什么非要使用这种开源BI可视化工具？
因为如果是前后端配合的话，工作量会很大。而且也很难实现随时修改随时上线。不过这取决于前期数据的完整性。

GPU云服务器云服务器大数据分析与利用怎么与阿里云服务器做数据传输 redash 利用python做图像识别

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/32687.html

k8s与数据分析--利用redash做自助数据分析

摘要：通过数据分析和挖掘，让数据产生价值。数据可视化是大数据的最后一公里，做好可视化是对于数据分析是重要的。今天，主要介绍这款数据分析的利器。相比除了上手简单，支持等时序数据库。这点对于监控数据分析很有优势。数据源包括时序数据库，和业务库。前言在之前文章中，一直讲prometheus的metrics以及apm的指标的重要性，多侧重于收据的收集和存储。如果不对这些数据进行数据分析，那么就没...

CollinPeng 2019-07-30 17:11 评论0 收藏0
Redash本地开发环境搭建

摘要：修改解释器版本适用开发。创建创建数据库并建表本地安装并创建数据库，安装的过程此处省略，可以百度查下。修改下面数据库连接信息运行表创建语句本地安装并启动过程读者可以百度查下，本地安装之后关于的配置不需要修改。开发环境搭建步骤建议使用mac和ubuntu系统，同事刚开始使用windows安装，过程中遇到很多问题，改用ubuntu系统，本文适用mac和ubuntu系统。官网建议使用虚拟...

LancerComet 2019-07-25 12:39 评论0 收藏0
滴滴机器学习平台架构演进

摘要：滴滴机器学习平台的治理思路主要是减少重复提高效率。本文将对滴滴的机器学习平台进行全面解读，重点分享机器学习平台不同阶段所要解决的问题，以及解决问题的思路和技术方案。综合和各自的利弊，滴滴机器学习平台开始由架构向建构迁移。前言：现在很多互联网公司都有自己的机器学习平台，冠以之名虽然形形色色，但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似，技术架构...

entner 2019-06-26 18:58 评论0 收藏0
UCloud新一代混合云基础架构平台“金翼专区”，让混合云变成“一朵云”

摘要：近日，面向混合云时代，推出新一代的混合云基础架构平台金翼专区。而金翼专区基于混合云深厚的技术积累及丰富的产品组合，为用户提供产品化的混合云解决方案。金翼专区整合对物理资源的统一纳管能力，以及多种公有云与的网络互通能力，输出统一的混合一朵云。近日，UCloud面向混合云时代，推出新一代的混合云基础架构平台金翼专区（UXZONE）。X代表混合云底层资源和产品能力的多种组合；Zone代表为客户提供...

Tecode 2022-06-28 18:59 评论0 收藏0
UCloud新一代混合云基础架构平台“金翼专区”，让混合云变成“一朵云”

摘要：近日，面向混合云时代，推出新一代的混合云基础架构平台金翼专区。代表混合云底层资源和产品能力的多种组合代表为客户提供定制独享的混合云基础架构平台。金翼专区整合对物理资源的统一纳管能力，以及多种公有云与的网络互通能力，输出统一的混合一朵云。近日，UCloud面向混合云时代，推出新一代的混合云基础架构平台金翼专区（UXZONE）。X代表混合云底层资源和产品能力的多种组合；Zone代表为客户提供定制...

Tecode 2022-06-28 19:00 评论0 收藏0