5 天前 / HueiFeng
星辰算力团队，星辰算力平台基于深入优化云原生统一接入和多云调度，加固容器运行态隔离，挖掘技术增量价值，平台承载了腾讯内部的 CPU 和异构算力服务，是腾讯内部大规模离线作业、资源统一调度平台。 背景问题源起近年来，随着腾讯内部自研上云项目的不断发展，越来越多的业务开始使用云原生方式托管自己的工作负载，容器平台的规模因此不断增大。以 Kubernetes 为底座的云原生技术极大推动了云原生领域的发展，已然成为各大容器平台事实上的技术标准。在云原生场景下，为了最大化实现资源共享，单台宿主机往往会运行多个不同用户的计算任务。
8 天前 / 劼哥stone
前言在近期的工作中，我们发现 k8s 集群中有些节点资源使用率很高，有些节点资源使用率很低，我们尝试重新部署应用和驱逐 Pod，发现并不能有效解决负载不均衡问题。在学习了 Kubernetes 调度原理之后，重新调整了 Request 配置，引入了调度插件，才最终解决问题。这篇就来跟大家分享 Kubernetes 资源和调度相关知识，以及如何解决 k8s 调度不均衡问题。 Kubernetes 的资源模型在 Kubernetes 里，Pod 是最小的原子调度单位。这也就意味着，所有跟调度和资源管理相关的属性都应该是属于 Pod 对象的字段。而这其中最重要的部分，就是 Pod 的 CPU 和内存配置。
14 天前 / 逗逗
分享嘉宾：陈武 虎牙 大数据架构师 编辑整理：杨哲 达州银行 出品平台：DataFunTalk 导读：今天为大家介绍虎牙的离线作业调度系统，以及如何通过基线调度实现成本优化。主要包括以下几大部分： 调度系统的定位及发展 系统设计 基线调度的关键实现 未来发展 01 调度系统的定位及发展 1. 定位 离线计算调度系统的定位，从它的名字上可以看出，是在离线计算场景范围内的开发平台。 首先要解决的问题是开发阶段的便捷高效，开发人员不用关心工程、环境上的问题；其次是要解决开发过程中的管理问题，比如版本控制、权限控制等。
29 天前 / Aceyclee～
PPQ 小课堂第八讲！ PPL QuantTool 是一个工业级的神经网络量化工具。面对大量模型的多平台量化部署需求，一款支持多平台量化部署的工具必不可少。 本期视频将通过一个简单的例子来展示：为什么需要图调度？并以此为基础来讨论算子调度的问题，以及算子调度的基础：模式匹配。 开始前，确保 PPQ 已正确安装： 推荐使用 Linux 系统（其他系统可参考 GitHub 上的项目说明） 确保 Python 版本>= 3.6.0 往期教程 PPQ 小课堂 | 安装与使用手册 PPQ 小课堂 | 简明使用教程 PPQ 小课堂 | 神经网络加速基础知识 PPQ 小课堂 | 神经网络性能分析 PPQ 小课堂 | 量化计...
56 天前 / HueiFeng
本期作者 张杨 & 王丁 bilibili 资深开发工程师 负责 B 站实时团队 flink 引擎 sql 方向工作，专注于 flinksql 性能提升优化。同时也关注 flink 引擎在机器学习、数仓等场景的应用落地。 1. 背景 B 站在机器学习方面有非常丰富的应用场景和工程实践，尤其是推荐、广告、搜索等业务，经过数年的积累，B 站的 AI 团队已经形成了相当成熟和稳定的机器学习训练平台和实验平台。随着技术和业务的不断演进，目前 AI 团队的机器学习工程已经开始从离线逐步向实时方向发展。
88 天前 / kafeidou
现代互联网数据中心的规模随着应用服务需求的快速增长而不断扩大，但服务器资源利用率却一直很低，导致企业基础设施成本不断上涨。随着云原生技术的发展，混合部署成为了降低成本的一大手段。本文结合华为云云原生团队在混合部署方面的研究和实战，介绍了混合部署的背景、概念、混部技术的设计方案和实际落地情况，以及对未来的计划和展望。 云原生与资源利用率现状 云原生概念在 2013 年由 Matt Stine 提出并沿用至今，经过不断的总结完善，已经涵盖了 DevOps、持续交付、微服务、容器化等主题，成为一套完整的技术方法体系。
130 天前 / 美团技术团队
总第 487 篇 2022 年 第 004 篇 本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践，阐述了美团在落地以 Kubernetes 为代表的云原生技术时，比较关心的问题、挑战以及对应的推进策略。同时本文也介绍了针对美团业务需求场景做的一些特色支持，希望本文能够对云原生领域感兴趣的同学有所帮助或者启发。导语 集群调度系统介绍 大规模集群管理的难题 运营大规模集群的挑战 设计集群调度系统时的取舍 美团集群调度系统演变之路 多集群统一调度：提升数据中心资源利用率 调度引擎服务：赋能 PaaS 服务云原生落地 未来展望...
139 天前 / Ryan众乐
大厂技术坚持周更精选好文 1.前言 Elab 掘金： React Fiber 架构浅析 [1] 已对 React Fiber 架构 实现进行了浅析。React 内部实现了该方法 requestIdleCallback，即一帧空闲执行任务，但 Schedular + Lane 模式远比 requestIdleCallback 复杂的多。这里我们先通过了解 requestIdleCallback 都做了些什么，再尝试通过 requestAnimationFrame + MessageChannel 来模拟 React 对一帧空闲判断的实现。 2.requestIdleCallbackwindow.requestIdleCallback()[2] 2.1 概念理解图： 简单描述帧生命周期 RequestIdleCallback 简单的说，判断一帧有空闲时间...
140 天前 / 冷星1024
前言什么是调度？ 调度这一概念最开始应该来自于操作系统。 由于计算机资源的有限性，必须按照一定的原则，选择任务来占用资源。 操作系统引入调度，目的是解决计算机资源的分配问题，因为任务是源源不断的，但 CPU 不能同时执行所有的任务。如：对部分优先级高的任务（如：用户交互需要立即反馈），需要先占用资源 / 运行，这就是一个优先级的调度。 Vue 的调度是什么？有什么不同？ Vue 的调度，行为上也是按照一定的原则，选择任务来占用资源 / 执行。但同样的行为，目的却是不一样的。 因为，Vue 并不需要解决计算机资源分配的问题（操作系统解决）。
151 天前 / kafeidou
从 kube-scheduler 的角度来看，它是通过一系列算法计算出最佳节点运行 Pod，当出现新的 Pod 进行调度时，调度程序会根据其当时对 Kubernetes 集群的资源描述做出最佳调度决定，但是 Kubernetes 集群是非常动态的，由于整个集群范围内的变化，比如一个节点为了维护，我们先执行了驱逐操作，这个节点上的所有 Pod 会被驱逐到其他节点去，但是当我们维护完成后，之前的 Pod 并不会自动回到该节点上来，因为 Pod 一旦被绑定了节点是不会触发重新调度的，由于这些变化，Kubernetes 集群在一段时间内就可能会出现不均衡的状态，所以需要均衡器来重新平衡集群。
160 天前 / WFChYu
前言软件工程师们总习惯把 OS（Operating System，操作系统）当成是一个非常值得信赖的管家，我们只管把程序托管到 OS 上运行，却很少深入了解操作系统的运行原理。 确实，OS 作为一个通用的软件系统，在大多数的场景下都表现得足够的优秀。但仍会有一些特殊的场景，需要我们对 OS 进行各项调优，才能让业务系统更高效地完成任务。 这就要求我们必须深入了解 OS 的原理，不仅仅只会使唤这个管家，还能懂得如何让管家做得更好。 OS 是一个非常庞大的软件系统，本文主要探索其中的冰山一角：CPU 的调度原理。
168 天前 / 比百事还可乐
摘要：本文作者洪志龙（柏星）& 朱翥（长耕），分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括： 性能测评结果基于拓扑结构的优化优化任务部署针对 Pipelined Region 构建的优化 Tips：点击「阅读原文」查看FFA 2021 视频回放～ 随着 Flink 流批一体架构不断演进和升级，越来越多的用户开始选择用 Flink 来同时承载实时和离线的业务。离线业务和实时业务有一定差异性，其中比较关键的一点是 ——离线作业的规模通常都远远大于实时作业。超大规模的流批作业对 Flink 的调度性能提出了新的挑战。
763 天前 / 苏溪云
自上一篇写关于 diff 的文章到现在已经过了二十天多，利用业余时间和 10 天婚假的闲暇，终于搞懂了 React 源码中的调度原理。当费劲一番周折终于调试到将更新与调度任务连接在一起的核心逻辑那一刻，忧愁的嘴角终于露出欣慰的微笑。 最早之前，React 还没有用 fiber 重写，那个时候对 React 调度模块就有好奇。而现在的调度模块对于之前没研究过它的我来说更是带有一层神秘的色彩，色彩中朦胧浮现出两个字：“困难”。
908 天前 / 噶牛爱尚
写文章React Fiber的优先级调度机制与事件系统司徒正美JavaScript话题的优秀回答者178 人赞同了该文章经典的事件系统分成两大块，绑定事件与分派事件，在浏览器中，分派事件很少人会直接dispatchEvent。因为创建一个DOM 事件是非常复杂的事情，不同的事件对象对应不同的事件构造器，传参也五花八门。因为分派事件基本上用户行为触发，比如我们点击了某个元素，恰逢在这上方绑定了点击事件，于是触发了。 React的绑定事件是在JSX 中进行，换言之， render时，props的onXXX事件就被收集起来，进行绑定。