27 天前 / jrthe42
概览Aloha是一个基于 Scala 实现的分布式的任务调度和管理框架，提供插件式扩展功能，可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任务管理入口。例如，在数据平台上通常会运行各种类型的应用，如 Spark 任务，Flink 任务，ETL 任务等，统一对这些任务进行管理并及时感知任务状态的变化是很有必要的。 Aloha 的基本实现是基于 Spark的任务调度模块，在 Master 和 Worker 组件的基础上进行了修改，并提供了扩展接口，可以方便地集成各种类型的任务。Master 支持高可用配置及状态恢复，并提供了 REST 接口用于提交任务。 扩展......
84 天前 / 浪尖
闭包这个词大家都不陌生，尤其是做spark的同学，经常会看到，但是很多人还是对闭包比较懵懂，就像前面说的watermark一样，大家都很熟悉朗朗上口，但是又貌似一头雾水没有理解。 不懂watermark？来吧～ 那么，浪尖今天就说说闭包～ 首先给出浪尖理解的定义吧： 「函数」和「函数内部能访问到的变量」（也叫环境）的总和，就是一个闭包。 按照这个定义呢？下面就应该是一个闭包： var factor = 3 val adder = (i:Int) => i * factor 可能会有同学有疑问：浪尖，这不对啊？我看网上说的闭包构造是： 闭包首先有函数嵌套，内部函数引用外......
86 天前 / 忍冬
首发于闲话Scala写文章Scala元编程：实现lombok.Data沈达《Scala实用指南》译者，GNU TeXmacs Maintainer20 人赞了该文章如果你读完了《Scala元编程：伊甸园初窥》，理论上你已经具备实现lombok.Data的能力了。 所以，我建议你不要阅读本文，直接自己尝试。 定义 lombok.Data 的 Scala 版@dataclass A {var x: Int = _var y: String = _}我们希望通过@data这个注释，自动生成如下代码： class A {var x: Int = _var y: String = _def getX(): Int = xdef setX(paramX: Int): Unit = { x = paramX }def getY(): Int = xdef setY(paramY: String):......
104 天前 / ScalaCool
最近阅读一些关于 Kotlin 类型系统方面的书，发现 Kotlin 的类型系统针对 null 有着独特的设计哲学。在 Java 或者其它编程语言中，经常会出现 NullPointerException，而导致此异常的重要原因是因为你可以写 String s = null 这样的代码。其实可以认为这是 Java 等语言类型系统设计的一个缺陷，它们允许 null 可以作为任何类型的值！ 但是在 Kotlin 中，如果你声明 val s: String = null，那么编译器会给你一个 error，因为在 Kotlin 中，你不允许把一个 null 值赋给一个普通的类型。如果你声明一个这样的函数 fun strLen(s: String) = {...}，那么......
141 天前 / ScalaCool
Traits特质，一个我们既熟悉又陌生的特性。熟悉是因为你会发现它和你平时在Java中使用的interface接口有着很大的相似之处，而陌生又是因为Traits的新玩法会让你打破对原有接口的认知，进入一个更具有挑战性，玩法更高级的领域。所以，在一开始，我们可以对Traits有一个初步的认识：它是一个加强版的interface。之后，随着你对它了解的深入，你就会发现相比Java接口,Traits跟类更为相似。再之后，你或许会觉察到，Traits在尝试着将抽象更好地融为了一个整体。 Traits 入门在Java中为了避免多重继承所带来的昂贵代价(方法或字段冲突、菱形继承等问题......
163 天前 / MilhouseVanHouten
问题从 Zipkin Zipkin 是 twitter 用的分布式系统 tracing 收集服务 https://zipkin.io/ 读取 Traces 信息然后计算 pXX pecentile XX https://en.wikipedia.org/wiki/Percentile 数据Scala看似很简单, 拿所有traces算就好了啊比如这样的过...
217 天前 / 忍冬
Scala 2.12.x 比 2.11.x 的编译速度快了不少，但是实测发现Scala 2.12.x变慢了。sbt clean 'project benchmark' 'set scalaVersion := "2.11.12"' 'jmh:run -f 1 -i 20 -wi 20 -t 1 Richards'[info] Benchmark M...
220 天前 / ScalaCool
在上篇 Java 到 Scala 系列中，我想你或多或少在语言特性上对object有了一定的掌握，在了解完它酷酷的语言特性——让静态回归常态并能简单运用其衍生出的方法后，我今天就来谈谈在现实应用方面自己对它的理解，不知道是不是也会给你一种耳目一新的感觉，毕竟「单例对象」作为一种天然的语言特性，华而不实并不是我们想看到的。单例模式 VS 单例对象我们已经知道了...
231 天前 / ScalaCool
object是一种让静态回归常态、打破模式、天然的语言特性。 其实在写这篇文章之前，我思绪万千，迟迟不能落笔，总想着自己会不会遗漏了某个知识点，或者有讲得不太那么准确的地方，但是后来我想明白了，学习一样东西，最重要的并不是要了解它的每一个细节，而是要了解它的核心思想。如果你能够理解上面讲的那句话，我想你或许也就掌握了object。其实，object较之Jav...
312 天前 / 张逸
在skinny.validator框架中，提供如下的一种DSL调用方式来验证Map的值：def validationRules = Validator( param("name" -> name) is notEmpty, param("dataSourceId" -> dataSourceId) is checkAll(intValue, intMin...
407 天前 / 张逸
很难说FP和OO孰优孰劣，应该依场景合理选择使用。倘若从这个角度出发，Scala就体现出好处了，毕竟它同时支持了OO和FP两种设计范式。从设计角度看，我认为OO更强调对象的自治，即每个对象承担自己应该履行的职责。倘若在编码实现时能遵循“自治”原则，就不容易设计出贫血对象出来。FP则更强调函数的分治，即努力保证函数的纯粹性和原子性，对一个大问题进行充分地分解，...
409 天前 / ScalaCool
去年我加入水滴团队，面试中，面试官问：“你了解 Scala 吗？”“不了解(尴尬)。”“你知道 Spark 吗？它就是使用 Scala 编写的，不过在我们团队中，Scala 主要作为后端语言，我们 90% 以上的业务代码都是使用 Scala 编写。Scala 在国内使用的比较少，但是在国外用的还是蛮多的，如 Twitter 就是使用 Scala 写的后端。”...
433 天前 / 张逸
由于Scala本身属于JVM下的语言，因此它能够较好地与Java项目融合在一起。在Scala中调用Java库，基本上与在Java中调用Java库的方式是相同的（反过来则未必，必将Java没有Scala中独有的语法糖）。因此，在Scala中可以非常方便地调用Spring Cloud，使其支持Spring Cloud提供的微服务基础设施，例如Eureka、Fei...
452 天前 / 郭茄茄
scala函数调用的参数传递有两种方式：一种是传值调用，这种方式和C语言的函数参数传递方式类似，在函数调用的时刻，计算各个参数的值，然后传递进入函数内部，scala中写作function(x: Int)；一种是传名调用，这种调用方式在函数调用时并不直接计算参数的具体值，而是在函数中使用到该参数时，才进行计算，scala中写作function(x: =>Int...
465 天前 / ScalaCool
相信大家都玩过「俄罗斯方块」吧。 小罗年幼时最喜欢玩的就是俄罗斯方块。作为一个有情怀的程序员，小罗决定尝试实现这款游戏。玩过俄罗斯方块的人都会知道，俄罗斯方块由七种简单形状组成：I、J、L、O、S、T、Z 小罗了然于心，抄起手中的键盘就创建了七个类。黑色过于单调，所以小罗又选了三种颜色准备为这些方块着色：YellowBlueRed要实现这样的需求，最 low...