47 天前 / u561252
今天我分享的主题是大数据开发 Studio，我们会使用 ApacheDolphinScheduler 和两款开源的 Notebook。我将介绍如何采用开源的 Apache Dolphin Scheduler 调度工具和 Apache Zeppelin 以及 Jupyter 两种交互式 Notebook 组成大数据开发 Studio，提供线上开发 / 调试能力，避免开发环境不一致造成的难以预测问题，从而极大提升大数据作业从编写到调度的开发效率和体验。 高楚枫 Github ID：EricGao888 阿里云基础平台开发工程师 毕业于上海交通大学，Purdue University。现任职于阿里云 EMR 数据开发团队。
79 天前 / 原装Zigzag
↓推荐关注↓ 一、什么是 ScheduleMaster ScheduleMaster 是分布式任务调度系统，是国内的一位开发者写的。简称：集中任务调度系统，最简单的理解 ScheduleMaster，就是对不同的系统里面的调度任务做统一管理的框架。 例如我们现在有多个系统，每个系统针对自己处理不同的业务场景。衍生出自己的调度任务，想象一下，如果每个系统人为去维护，那随着调度任务越来越多，人是崩溃的吧，可见维护和技术成本是巨大的，这时我们需要选择分布式任务系统框架做统一的管理 当然有目前有很多相对优秀分布式任务系统框架...
83 天前 / mr7
“一个互联网技术玩家，一个爱聊技术的家伙。在工作和学习中不断思考，把这些思考总结出来，并分享，和大家一起交流进步。”前言前几天看到了一篇 Gartner 的报告，感觉非常有意思，这里梳理记录一下我的一下思考。给团队的同学我也分享了一下我的思考。 这篇文章的题目是《How to shift from Project to Product》，看情况这是一个系列文章，这篇是一个开头或者是大纲，后面应该还有更详细的内容。 但是就从我的角度来说这篇大纲给我的触动也是挺大的，我认为这是一个技术人的必修课。
102 天前 / 冷星1024
Module Federation 是 webpack5 中振奋人心的新特性，也是号称能改变 JavaScript 架构游戏规则的功能。接下来让我们慢慢揭开 Module Federation 的神秘面纱 模块共享的方案对比 场景：目前拥有项目 A 和项目 B，我们发现它们存在一定的共性，比如公共 UI 组件、utils 等。那我们如何同享这些公共信息呢？ 简单粗暴 -CV 大法直接将项目 A 的组件，copy 到项目 B 中，这样的方式有时候是比较快的，但也存在维护性极低的问题，后续两个项目都各自维护一套 抽象成 npm 我们可以将一些公共的模块抽象成 npm，每个项目都去安装该 npm 包...
121 天前 / 进击的强
一 什么是 Proxyless Service-Mesh ( 无代理服务网格) 1 Service Mesh 简析 Istio 是当今最流行的开源服务网格。它由控制平面和数据平面构成，其架构如下（图片摘自 Istio 官网）。 位于图中下半部分的控制平面负责配置、服务信息、证书等资源的下发。位于上半部分的数据平面关注业务之间的通信流量；传统服务网格通过代理的方式拦截所有的业务网络流量，代理需要感知到控制平面下发的配置资源，从而按照要求控制网络流量的走向。 在 Istio 环境中，其控制平面是一个名为 istiod 的进程，网络代理是 envoy 。
149 天前 / kafeidou
文｜葛长伟（花名：川朗) 蚂蚁集团技术专家 负责容器镜像加速项目 Nydus 的开发和维护专注于容器镜像存储、持久存储和文件系统领域 本文 1597字 阅读4分钟 前言 Nydus 今年 1 月 ，Containerd 社区通过投票接收 Nydus-Snapshotter 成为 Containerd 社区的子项目。这是继 ttrpc-rust 之后，蚂蚁容器团队再次向 Containerd 捐赠子项目。 此举将方便 Nydus 和 Containerd 的开发协同，减少项目迭代过程中可能出现的不兼容问题，也让用户可以更容易地使用 Nydus 镜像加速服务。
186 天前 / 一猿小讲
研发说：API 请求量到底啥情况呀？统计发粗来（万一访问量一直激增，导致服务宕了，要扣我绩效滴）。 运维说：定期统计一下服务器内存、CPU 占用率（万一出故障了，这个锅谁来背？） 业务说：记得把订单支付状态通知一下业务线（我很谨慎，不然都不知道钱支付出去了，妥妥避坑）。 产品说：把每天凌晨 2 点通知用户还款功能简单实现一下（功能很简单，上午实现，下午上线，怎么实现我不管）。 运营说：把每月的业务情况统计粗来（我要向上管理，向上汇报要用到）。
203 天前 / kafeidou
从 kube-scheduler 的角度来看，它是通过一系列算法计算出最佳节点运行 Pod，当出现新的 Pod 进行调度时，调度程序会根据其当时对 Kubernetes 集群的资源描述做出最佳调度决定，但是 Kubernetes 集群是非常动态的，由于整个集群范围内的变化，比如一个节点为了维护，我们先执行了驱逐操作，这个节点上的所有 Pod 会被驱逐到其他节点去，但是当我们维护完成后，之前的 Pod 并不会自动回到该节点上来，因为 Pod 一旦被绑定了节点是不会触发重新调度的，由于这些变化，Kubernetes 集群在一段时间内就可能会出现不均衡的状态，所以需要均衡器来重新平衡集群。
207 天前 / 浪客书心
大部分公司都会有一个通用的模板项目，帮助你快速创建一个项目。通常，这个项目需要集成一些公司内部的中间件、单元测试、标准的代码格式、通用的代码分层等等。 今天，就利用 Maven 的 Archetype 插件来简单实现这一功能。 通过上面的图很清楚可以看到，实际利用这个插件机制就简单的几个步骤： archetype:create-from-project ，根据自己的项目代码生成原型项目；通过 install 等命令生成原型文件；archetype:generate，通过原型生成目标项目。 看起来挺简单的，但是你会发现你用网上搜到的资料来玩的话，你生成的项目特别折腾，包括官方的文档。
1089 天前 / engineX
Question标准GNU工具coreutils中有俩程序df / du，他们都可以查看磁盘的使用情况。通常情况下他们的统计结果并不会相同，这是因为统计信息来源的差异。所以问题来了：在ext4文件系统下，有哪些可能的因素会带来统计信息的差异？ Knowledge Backgroundext4 filesystemphysical structure overviewUnix-like 文件系统，有file / dentry / inode / superblock的概念。在文件系统这一层次，只存在superblock与inode，前者保存的是文件系统的元信息(metadata)，后者是文件的metadata；file与进程相关联...