SQLflow:基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark,

legendaryedu 发布于2019-07-31 10:04 / 2826人阅读

摘要：主页脚本页面单页面注意下载文件配置中的路径。一个简单的操作集群的是不是很简单。正在新增版深度学习功能谢谢支持。

简书博客: https://www.jianshu.com/u/3fe... 百度云搜索：http://www.lqkweb.com 搜网盘：http://www.swpan.cn 淘宝券搜索：http://www.wodecai.cn 淘宝券：http://www.tbquan.cn 你我搜：http://www.niwosou.cn 开源Flask+Bootstrap网址导航: http://hao.tbquan.cn

开发交流QQ群: 941879291

SQLflow (python3.6)

SQLflow based on python development, support to Spark, as the underlying distributed computing engine, through a set of unified configuration file to complete the batch, flow calculation, the Rest service development.

2019-03-26 更新后台路由,前端抽取base模板并更新使用ajax方式执行sql语句

主页：

结果页：

SQLflow

SQLflow 基于python开发, 支持通过写sql的方式操作分布式集群, 数据处理, 机器学习、深度学习模型训练, 模型部署, 分布式爬虫, 数据可视化等。

Build

python3.6

git clone https://github.com/lqkweb/sql...

pip install -r requirements.txt

python manage.py

主页：http://127.0.0.1:5000
脚本页面：http://127.0.0.1:5000/script
单sql页面：http://127.0.0.1:5000/sql

【注意：1、下载apache spark文件配置manage.py中的SPARK_HOME路径。2、data.csv是放到sqlflow/data目录中】

Usage

在脚本执行页面：http://127.0.0.1:5000/script 输入 select from A limit 3; 或者 select from A limit 3 as B; 生成临时表A或者B

生成临时表A数据:

select * from A limit 3;

生成临时表B数据:

select * from A limit 3 as B;

打开单sql执行页面：http://127.0.0.1:5000/sql, 直接就可以用spark sql任意语法操作数据表A和数据表B了:

desc A
select * from A limit 2
select * from B limit 2

[注] "as B" 相当于创建了一个 B 临时表。

一个简单的sql操作spark集群的Demo,是不是很简单。

[附] sparksql doc: https://spark.apache.org/docs...

还有更多sql版黑科技，sql版scikitlearn, sqlspider, sqlcharts, sqlkeras深度学习平台正在内测中！ 正在新增sql版机器学习算法功能, 谢谢支持。 正在新增sql版爬虫功能, 谢谢支持。 正在新增sql版数据可视化功能, 谢谢支持。 正在新增sql版keras深度学习功能, 谢谢支持。 记得给个star鼓励一下！Thanks♪(･ω･)ﾉ

GPU云服务器云服务器基于机器学习的基于hadoop的海量数据存储平台设计与开发 redis的分布式存储方式基于深度学习的语音增强

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/43201.html

PySpark SQL 相关知识介绍

摘要：大数据除了体积和速度外，数据的多样性和准确性也是大数据的一大特点。这些也被称为大数据的特征。介绍是一个解决大数据问题的分布式可伸缩的框架。介绍计算的模型最早出现在谷歌的一篇研究论文中。相关链接介绍是一个通用的分布式编程框架。本文作者：foochane 本文链接：https://foochane.cn/article/2019060601.html 1 大数据简介大数据是这个时代最...

CoderStudy 2019-07-24 10:56 评论0 收藏0
Spark 快速入门

摘要：数据科学任务主要是数据分析领域，数据科学家要负责分析数据并建模，具备统计预测建模机器学习等方面的经验，以及一定的使用或语言进行编程的能力。监控运行时性能指标信息。 Spark Spark 背景什么是 Spark 官网：http://spark.apache.org Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，20...

wangshijun 2019-08-16 16:59 评论0 收藏0
道器相融，由Angel论一个优秀机器学习平台的自我修养

摘要：而道器相融，在我看来，那炼丹就需要一个好的丹炉了，也就是一个优秀的机器学习平台。因此，一个机器学习平台要取得成功，最好具备如下五个特点精辟的核心抽象一个机器学习平台，必须有其灵魂，也就是它的核心抽象。 *本文首发于 AI前线，欢迎转载，并请注明出处。摘要 2017年6月，腾讯正式开源面向机器学习的第三代高性能计算平台 Angel，在GitHub上备受关注；2017年10月19日，腾...

leo108 2019-06-26 18:16 评论0 收藏0