18 天前 / kafeidou
12 月 9 日，在 KubeCon2021 上，中国工商银行软件开发中心云平台架构师沈一帆和华为云云原生开源负责人王泽锋发表了《与 Karmada 一起航行：海量节点的多集群管理》专题演讲，分享了工商银行多 k8s 集群管理实践过程。 *Karmada 项目介绍部分由王泽锋分享，其余部分的分享来自沈一帆 工行云平台的建设现状 工行目前的业务上云场景是丰富多样的，既有以春节红包等支付线为代表的核心业务类应用，也有以 MySQL、Redis 为代表的技术支撑类应用，也包含了区块链、人工智能等新技术领域。
26 天前 / kafeidou
1. 多集群构建 Tekton 的优势 借助于 Kubernetes, Tekton 已经具备很好的弹性， 能够支持大规模构建。同时， 开发 Task 主要使用 Yaml 和 Shell, 这扩大了 Tekton 的各种场景适配范围。 上面是一张 Tekton 在多集群下的示意图。为什么 Tekton 需要多集群执行流水线？ 随时可变的 Kubernetes 集群。单一的 Kubernetes 集群， 无法满足运维的要求， 不能随时对集群进行变更。多集群下， 可以下架部分集群进行维护。更大规模的构建。CI 对 CPU、内存、IO 资源的消耗很大， 容易压垮节点甚至集群。多集群能有效分担负载压力，提高可用性。业务隔离。
26 天前 / sjf0115
导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报警服务同样非常的重要。（编辑：中间件小 Q 妹） 01 前言 对于小业务量的业务，往往多个业务共享 kafka 集群，随着业务规模的增长需要不停的增加 topic 或者是在原 topic 的基础上扩容 partition 数，另外一些后来大体量的业务在试水阶段也可能不会部署独立的集群，当业务规模爆发时，需要迅速扩容扩容集群节点。
26 天前 / HueiFeng
Nebula Graph 提供快照（snapshot）功能，用于保存集群当前时间点的数据状态，当出现数据丢失或误操作时，可以通过快照恢复数据。 那是否可以通过 snapshot 进行数据迁移呢？本文就为大家带来利用 snapshot 进行集群迁移的实践。 >>>> 前置条件 源集群与新集群同构（节点数量，磁盘数量，数据目录一致） 新集群 Nebula 已部署（无需启动服务） 本次实操以三节点集群为例：源集群（192.168.8.191，192.168.8.192，192.168.8.193）、新集群（192.168.8.91，192.168.8.92，192.168.8.93）。
29 天前 / 码农UP2U
早期文章 HDFS 在 HA 模式集群下 JournalNode 节点的作用 Java 类的 Linking 和 Initializing 简单笔记 大数据 | HDFS 元数据持久化笔记 多线程 | Thread 和 Runnable 执行流程的差异 大数据 | Java 操作 HDFS 常用 API 大数据 | HDFS 常用操作命令 Redis | Redis 也会算距离 Spring Cloud Gateway 的简单搭建 服务注册、发现和远程调用 让 MongoDB 的 CRUD 有 JPA 的味道 使用 MongoTemplate 对 MongoDB 进行 CRUD 省内存的 Excel 导入导出库还是得了解下它。
36 天前 / 码农UP2U
早期文章 Java 类的 Linking 和 Initializing 简单笔记 大数据 | HDFS 元数据持久化笔记 多线程 | Thread 和 Runnable 执行流程的差异 大数据 | Java 操作 HDFS 常用 API 大数据 | HDFS 常用操作命令 Redis | Redis 也会算距离 Spring Cloud Gateway 的简单搭建 服务注册、发现和远程调用 让 MongoDB 的 CRUD 有 JPA 的味道 使用 MongoTemplate 对 MongoDB 进行 CRUD 省内存的 Excel 导入导出库还是得了解下它。
44 天前 / yybbb
首发于知乎技术专栏写文章登录 istio 在知乎大规模集群的落地实践唐阳Code Monkey185 人赞同了该文章背景在知乎，我们很早就进行了非常彻底的容器化部署。全站在线运行的微服务数量高达两千多个。这些微服务通过我们自己维护的 RPC 框架和 Kodor 体系来实现服务互联的能力。 在这其中，我们也存在一系列的问题： 各种基础组件维护成本比较高，单点风险存在。各语言客户端特性难以统一，熔断、重试等特性实现颇有不同，且不能做到动态线上进行调整。客户端版本迭代难以推动。微服务某些能力上跟其他大厂还有差距。
47 天前 / Juicedata
解决方案下载文档定价博客社区首页归档标签如何在 Kubernetes 集群中玩转 Fluid + JuiceFS吕冬冬 & 朱唯唯2021.12.01云知声 Atlas 团队在 2021 年初开始接触并跟进 JuiceFS 存储，并且在早期已经积累了丰富的 Fluid 使用经验。近期，云知声团队与 Juicedata 团队合作开发了 Fluid JuiceFS 加速引擎，使用户能够更好地在 Kubernetes 环境中使用 JuiceFS 缓存管理能力。本篇文章讲解如何在 Kubernetes 集群中玩转 Fluid + JuiceFS。
55 天前 / KevinYan
大家好啊，咱们的 Kubernetes 学习笔记时隔两月终于又迎来了更新，前面咱们介绍的 Deployment、Service、Statefulset 相信看过文章的同学都已经明白他们各自的能力和使用场景了，如果已经没啥印象了或者是还没看过的同学，推荐看一下之前讲他们三个的文章。 K8s 入门笔记 --Deployment 搞定服务部署深入理解 StatefulSet，用 Kubernetes 编排有状态应用 K8s 入门笔记 -- 用 Service 公开服务 K8s 里的 Deployment、Service、Statefulset 这三个控制器离我们的应用层最近所以接触到的机会比较多，今天我来给大家介绍另外一个控制器 DaemonSet...
60 天前 / u585925
我想这个需求对于很多初学 K8S 同学来说简直不要太爽了。 面对网上铺天盖地的各种动辄科学上网，命令搭建，简直不要太难了。 所以我这里给大家推荐使用 Rancher 来搭建，就能满足你的需求。 我相信 Rancher 会是学习 K8S 同学，入门的利器。 阅读此文，你可能需要对 Docker 技术比较熟悉，以及对 K8S 有一丢丢了解。 什么是 Rancher？很多同学可能并未听过 rancher，但是基本都听过 K8S，同时被人们传得神乎其神。 也非常想学习，但是无奈网上的资料都不系统，里面上千个知识点，没听错，是上千个。
78 天前 / 崔秀龙
最近加入 CNCF 成为沙箱项目的 Karmada 项目是一个开放的多 Kubernetes 管理工具，从 Kubernetes Federation 1/2 继承的大量经验，让这个项目有成为多集群管理首选产品的潜力。Karmada 具有开箱即用的跨集群调度能力，简单的使用 PropagationPolicy 就能将 Deployment、Service 这样的原生 Kubernetes 对象在多个集群之间进行灵活的调度。 工作负载的分配结束之后，还有个重要的问题就是流量分配了——多集群管理加上流量分配，会有很多有意思的事情可以完成，例如蓝绿灰度金丝雀，集群维护升级等等。
78 天前 / 编程一生
引子 上篇《架构师之路 -https 底层原理》里我提到了上面的整体视图，文章也介绍了想要真正能在工作中及时正确解决问题的基本功：原理理解透彻。今天以 redis 集群解析为例介绍一个及时敏锐的发现问题的基本功：深入分析。 我认为达到深入分析有三个步骤： 第一步，深入理解 第二步，学以致用 第三步，千人千问 第一步 redis 集群各种原理介绍的人也很多；第二步很多人实际项目中大概也对 redis 集群不陌生；所以本文主要讲第三步：千人千问。 提出问题 "redis 集群使用时有什么注意事项？"这是之前有段时间我面试喜欢问的一个问题。
83 天前 / Juicedata
解决方案下载文档定价博客社区首页归档标签趣头条大数据平台如何有效降低 HDFS 集群负载高昌健2021.05.06作者简介王振华，趣头条大数据总监，趣头条大数据负责人。王海胜，趣头条大数据工程师，10 年互联网工作经验，曾在 eBay、唯品会等公司从事大数据开发相关工作，有丰富的大数据落地经验。高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式系统、大数据、AI 领域的技术研究。
91 天前 / vivo互联网技术
作者：vivo 互联网数据库团队—Yuan Jianwei 一、背景 在现网环境，一些使用 Redis 集群的业务随着业务量的上涨，往往需要进行节点扩容操作。 之前有了解到运维同学对一些节点数比较大的 Redis 集群进行扩容操作后，业务侧反映集群性能下降，具体表现在访问时延增长明显。 某些业务对 Redis 集群访问时延比较敏感，例如现网环境对模型实时读取，或者一些业务依赖读取 Redis 集群的同步流程，会影响业务的实时流程时延。业务侧可能无法接受。 为了找到这个问题的根因，我们对某一次的 Redis 集群迁移操作后的集群性能下降问题进行排查。
107 天前 / kafeidou
在本文中，我们将在家庭 WIFI 网络中使用 K3s 在树莓派上设置私有 Kubernetes 集群。我们的设置几位简单：单个 master 节点和 worker 节点。当然，如果你愿意的话也可以添加更多节点。 下图是我们本文采用的大致架构： 简而言之，我们会借助 K3s 绑定两个树莓派并且将他们连接到本地 WLAN。然后我们可以使用客户端（也就是你的笔记本）来部署我们的工作负载，该客户端将与 Kubernetes API 通信，就像其他 K8S 集群一样。 请注意，在本文中显示的本地地址可能会与你在自己的家庭网络中有所不同。