回答:首先明确下定义：计算时间是指计算机实际执行的时间，不是人等待的时间，因为等待时间依赖于有多少资源可以调度。首先我们不考虑资源问题，讨论时间的预估。执行时间依赖于执行引擎是 Spark 还是 MapReduce。Spark 任务Spark 任务的总执行时间可以看 Spark UI，以下图为例Spark 任务是分多个 Physical Stage 执行的，每个stage下有很多个task，task 的...
silenceboy
|
1059人阅读
.../20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF，万众期待的功能终于支持啦，我怎么能不一试为快，今天就分享如何通过Studio进行Python udf开发。 点此查看原文：http://click.aliyun.com/m/40729/ 2017/12/20 北京云栖大会上阿...
摘要： PyODPS 中使用 Python UDF 包含两方面，一个是直接使用，也就是在 MaxCompute SQL 中使用；一个是间接的方式，也就是 PyODPS DataFrame，这种方式你不需要直接写 Python UDF，而是写普通的 Python 函数或者类。 点此查看原文：http://...
摘要： PyODPS 中使用 Python UDF 包含两方面，一个是直接使用，也就是在 MaxCompute SQL 中使用；一个是间接的方式，也就是 PyODPS DataFrame，这种方式你不需要直接写 Python UDF，而是写普通的 Python 函数或者类。 点此查看原文：http://...
摘要： 新版 MaxCompute Isolation Session 支持 Python UDF。也就是说，Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑，把相关的过程分享出来。 新版 MaxCompute Isolation Session 支持 Python UDF。也就是说，Python UDF 中已经可以...
...一种开发成本更加低廉的方式，借用已经比较成熟的MySQL UDF，将MySQL数据首先放入Gearman中，然后通过一个自己编写的PHP Gearman Worker，将数据同步到Redis。比分析binlog的方式增加了不少流程，但是实现成本更低，更容易操作。 Gearma...
有时候需要改写源码，比如将常用的某个UDF放在源码中，启动即可使用。在Linux上直接改写源码是很容易出错的，因为vim没有检测提示，直到打包时过了很久才报错，并找到日志才发现是哪里写错了，而且提示的也不清楚。所...
...？从 API 这层来看，数仓的抽象是 Table、编程接口是 SQL+UDF，离线数仓时代用户已经习惯了这样的 API，迁移到实时数仓后最好也能保持一致。而从 Runtime 这层来看，计算引擎从 Hive 演进到了 Flink，存储引擎从 HDFS 演进到了 Kafka。 ...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
