11 天前 / 苏溪云
自上一篇写关于 diff 的文章到现在已经过了二十天多，利用业余时间和 10 天婚假的闲暇，终于搞懂了 React 源码中的调度原理。当费劲一番周折终于调试到将更新与调度任务连接在一起的核心逻辑那一刻，忧愁的嘴角终于露出欣慰的微笑。 最早之前，React 还没有用 fiber 重写，那个时候对 React 调度模块就有好奇。而现在的调度模块对于之前没研究过它的我来说更是带有一层神秘的色彩，色彩中朦胧浮现出两个字：“困难”。
157 天前 / 噶牛爱尚
写文章React Fiber的优先级调度机制与事件系统司徒正美JavaScript话题的优秀回答者178 人赞同了该文章经典的事件系统分成两大块，绑定事件与分派事件，在浏览器中，分派事件很少人会直接dispatchEvent。因为创建一个DOM 事件是非常复杂的事情，不同的事件对象对应不同的事件构造器，传参也五花八门。因为分派事件基本上用户行为触发，比如我们点击了某个元素，恰逢在这上方绑定了点击事件，于是触发了。 React的绑定事件是在JSX 中进行，换言之， render时，props的onXXX事件就被收集起来，进行绑定。
264 天前 / 美团技术团队
总第353篇 2019年 第31篇 亲爱的大朋友、小朋友们，中秋节快乐！ 值此佳节之际，美美为大家呈送一份技术干货作为中秋礼物。本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon（全球软件开发大会）上的演讲内容整理而成。本文涉及Kubernetes集群管理技术的部分，相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。 一、背景HULK是美团的容器集群管理平台。
308 天前 / 美团技术团队
总第345篇 2019年 第23篇 背景YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。 实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。 机器学习业务主要运行TensorFlow，MXNet，MLX（美团点评自研的大规模机器学习系统）等计算作业。 YARN面临高可用、扩展性、稳定性的问题很多。
322 天前 / zboya
调度相关的一系列文章主要参考 Scheduling In Go : Part I - OS Scheduler翻译来的。因为在学习的过程中偶然发现，感觉总结得蛮好的，就不造轮子了，干脆直接翻译过来作为自己的学习笔记了，英文好的建议直接阅读原文。 介绍Go 调度器使你编写的 Go 程序并发性更好，性能更高。这主要是因为 Go 调度器很好的运用了系统调度器的机制原理。但是，如果你不了解调度器基本的工作原理，那你写的 Go 服务很可能对调度器很不友好，使得 Go 调度器发挥不出它的优势。想要正确的设计一个优秀的高并发服务，对操作系统和 Go 的调度机制的一定的理解是很重要的。
327 天前 / gongyouliu
导语 通过前面12篇文章的学习，相信大家对于数据分析工作中所有可能用到的基础技能点有了一个较全面的了解。 日常工作中，需求一般分两种，一种是临时需求，比如为了评估某个特定功能的统计，可以理解为一次性需求。还有一种就是一些常规性的指标统计，业务方需要随时查看最新数据的需求，这样的需求就需要借助任务调度平台的帮助了。 本文将会给大家从如何使用的角度讲解任务调度平台Azkaban。 所谓任务调度平台，可以简单理解为，就是支持上传目标任务，支持设置定时，并按定时设置周期性运行统计任务的平台。
374 天前 / openio
桔妹导读：本章主要从源码角度针对Go调度相关进行分析，从进程的启动，到调度循环分析，再到分析几个常见runtime下的场景可以清晰的了解调度过程。本文仅关注linux系统下的逻辑。代码版本参考Go1.9.2。 ————— ▍阅读索引 1.简单概念 1.1调度器的三个抽象概念：G、M、P 1.2调度的大致轮廓 2.进程启动时都做了什么 2.1runtime.osinit(SB)方法针对系统环境的初始化 2.2runtime.schedinit(SB)调度相关的一些初始化 2.3runtime·mainPC(SB)启动监控任务 3.调度循环都做了什么 3.1调度器如何开启调度循环 3.2调度器如何进行调度...
392 天前 / 玲珑南书
3 月 27 日，ACM 宣布深度学习的三位缔造者——Yoshua Bengio、Yann LeCun 及 Geoffrey Hinton 获得了 2018 年度的图灵奖。与学术界相对应的，在工业界，人工智能大潮也正汹涌奔来。除了冲击人们的衣食住行医，人工智能也将成为企业转型的颠覆性力量，是企业抓住下一轮创新发展的重要机遇。 发布 | 才云 Caicloud 作者 | angao 1行业背景 现如今，随着企业纷纷在机器学习和深度学习上加大投入，他们开始发现从头构建一个 AI 系统并非易事。 以深度学习为例。对于深度学习来说，算力是一切的根本。
441 天前 / jrthe42
概览Aloha是一个基于 Scala 实现的分布式的任务调度和管理框架，提供插件式扩展功能，可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任务管理入口。例如，在数据平台上通常会运行各种类型的应用，如 Spark 任务，Flink 任务，ETL 任务等，统一对这些任务进行管理并及时感知任务状态的变化是很有必要的。 Aloha 的基本实现是基于 Spark的任务调度模块，在 Master 和 Worker 组件的基础上进行了修改，并提供了扩展接口，可以方便地集成各种类型的任务。Master 支持高可用配置及状态恢复，并提供了 REST 接口用于提交任务。
451 天前 / hyper0x
前一篇文章大致介绍了Go语言调度的各个方面，这篇文章通过介绍源码来进一步了解调度的一些过程。源码是基于最新的Go 1.12。 Go的编译方式是静态编译，把runtime本身直接编译到了最终的可执行文件里。 入口是系统和平台架构对应的rt0_[OS]_[arch].s（runtime文件夹下），这是一段汇编代码，做一些初始化工作，例如初始化g，新建一个线程等，然后会调用runtime.rt0_go(runtime/asm_[arch].s中）。 runtime.rt0_go会继续检查cpu信息，设置好程序运行标志，tls（thread local storage）初始化等，设置g0与m0的相互引用...
451 天前 / 大数据技术博客
在 GPU 资源的任务调度方面的空白，有机地融合了大数据处理和 AI 应用，扩展了 Spark 在深度学习、信号处理和各大数据应用的应用场景。这项工作的 issue 可以在SPARK-24615里面查看，相关的 SPIP（Spark Project Improvement Proposals） 文档可以参见SPIP: Accelerator-aware scheduling
537 天前 / 浪淘沙
本篇是调度剖析的第三部分，将重点关注并发特性。 回顾： 第一部分 第二部分简介首先，在我平时遇到问题的时候，特别是如果它是一个新问题，我一开始并不会考虑使用并发的设计去解决它。我会先实现顺序执行的逻辑，并确保它能正常工作。然后在可读性和技术关键点都 Review 之后，我才会开始思考并发执行的实用性和可行性。有的时候，并发执行是一个很好的选择，有时则不一定。 在本系列的第一部分中，我解释了系统调度的机制和语义，如果你打算编写多线程代码，我认为这些机制和语义对于实现正确的逻辑是很重要的。
542 天前 / phperzone
跨国应用场景下网络的复杂性、不稳定和高丢包率对网络的实时性和流畅性提出了更高的挑战。本文是即构科技技术副总裁冼牛在LiveVideoStackCon 2018大会上的分享，深入探讨了实时网络调度系统的部署、架构设计、挑战和应对策略。由LiveVdeoStack整理而成。 文 / 冼牛 整理 / LiveVideoStack 大家好，我是冼牛，目前在即构科技主要负责实时音视频引擎的研发，专注于视频直播、视频社交和在线教育等领域。本次主要分享即构科技在出海构建全球网络的过程中遇到的问题和解决问题的方法和思路。
552 天前 / 浪淘沙
并发（并行），一直以来都是一个编程语言里的核心主题之一，也是被开发者关注最多的话题；Go语言作为一个出道以来就自带 『高并发』光环的富二代编程语言，它的并发（并行）编程肯定是值得开发者去探究的，而Go语言中的并发（并行）编程是经由goroutine实现的，goroutine是golang最重要的特性之一，具有使用成本低、消耗资源低、能效高等特点，官方宣称原生goroutine并发成千上万不成问题，于是它也成为Gopher们经常使用的特性。
592 天前 / openio
回顾本系列的第一部分，重点讲述了操作系统调度器的各个方面，这些知识对于理解和分析 Go 调度器的语义是非常重要的。在本文中，我将从语义层面解析 Go 调度器是如何工作的，并重点介绍其高级特性。Go 调度器是一个非常复杂的系统，我们不会过分关注一些细节，而是侧重于剖析它的设计模型和工作方式。我们通过学习它的优点以便够做出更好的工程决策。