9 天前 / 知了一笑
一、列式库简介 ClickHouse 是俄罗斯的 Yandex 公司于 2016 年开源的列式存储数据库（DBMS），主要用于 OLAP 在线分析处理查询，能够使用 SQL 查询实时生成分析数据报告。 列式存储 行式存储和列式存储，数据在磁盘上的组织结构有着根本不同，数据分析计算时，行式存储需要遍历整表，列式存储只需要遍历单个列，所以列式库更适合做大宽表，用来做数据分析计算。 絮叨一句：注意这里比较的场景，是数据分析计算的场景。 二、集群配置 1、基础环境 ClickHouse 单服务默认已经安装完毕 Linux 下安装 ClickHouse 单机服务 SpringBoot 整合 ClickHouse 列式数据...
18 天前 / 知了一笑
一、框架简介 1、基础简介 Zookeeper 基于观察者模式设计的组件，主要应用于分布式系统架构中的，统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等场景。 Linux 下 Zookeeper 单节点安装 SpringBoot 整合 Zookeeper 中间件 2、集群选举 Zookeeper 集群基于半数机制，集群中半数以上机器存活，集群处于可用状态。所以建议 Zookeeper 集群安装为奇数台服务器。在集群的配置文件中并没有指定 Master 和 Slave。在 Zookeeper 工作时，是有一个节点为 Leader，其他则为 Follower，Leader 是通过内部的选举机制临时产生的。
20 天前 / reesunhuang
作者 |淮右、临石 导读：单 K8s 集群为用户提供了 Namespace 级别的隔离能力，理论上支持不超过 5K Node、15W Pod。多 K8s 集群则解决了单集群的资源隔离、故障隔离难题，打破可支持节点数、Pod 数的限制，但与此同时也带来了集群管理复杂度的上升；尤其在专有云场景中，K8s 工程师不可能像在公有云中一样快速触达客户环境，运维成本被进一步放大。因此如何低成本、高效率、自动化低管理多套 K8s 集群，成为业内普遍难题。 背景 多集群主要应用在如下场景： 产品本身需要多集群能力。
24 天前 / 一条老狗
点击上方蓝字“极客运维”一起运筹帷幄 生产环境的 kafka 集群扩容，是一个比较常见的需求和操作。然而 kafka 在新增节点后并不会像 elasticsearch 那样感知到新节点加入后，自动将数据 reblance 到整个新集群中，因此这个过程需要我们手动分配。 分区重分配方案扩容后的数据均衡，其本质就是对 topic 进行分区重分配，数据迁移的过程。在执行分区重分配的过程中，对集群的影响主要有两点： 分区重分配主要是对 topic 数据进行 Broker 间的迁移，因此会占用集群的带宽资源；分区重分配会改变分区 Leader 所在的 Broker，因此会影响客户端。
32 天前 / 腾讯开发者
架构设计一直是技术人的关注热点，如何设计一个更优的架构对于实际的业务来说至关重要。本文腾讯云专家将从自身从事的一个 k8s 集群管理项目为例，重点剖析在项目开发过程中的三次架构演进历程，即针对项目最早版本的 dashboard 架构出现的问题，重写了一个新的 skipper 架构，在此基础上，继续不断优化，最终得到一个较为合理架构的经历。 通过本文，你将了解到架构设计的原则、重构的几种模式、DDD 中领域思想等，希望本文能为同行带来参考。
38 天前 / kafeidou
作者 | 声东 阿里巴巴技术专家 《深入浅出 Kubernetes》一书共汇集 12 篇技术文章，帮助你一次搞懂 6 个核心原理，吃透基础理论，一次学会 6 个典型问题的华丽操作！以下内容节选自本书： 阿里云 K8s 集群的一个重要特性，是集群的节点可以动态的增加或减少。有了这个特性，集群才在计算资源不足的情况下扩容新的节点，同时也可以在资源利用率降低的时候，释放节点以节省费用。 这篇文章，我们将讨论阿里云 K8s 集群扩容与缩容的实现原理。理解实现原理，在遇到问题的时候，我们就可以高效地排查并定位原因。
40 天前 / 知了一笑
一、分布式简介 1、架构简介现在的互联网，几乎常见的复杂系统都会使用分布式架构，如果在不清楚概念之前，刚接触分布式架构这个名词会感觉十分的高大上，其实在对比单服务，集群服务之后，你就会发现本质上都是一样的。 絮叨一句：所谓 Java 架构师，基本就是看被单服务，集群，分布式不断暴打的频率，架构师因为被虐频率高，自然做出来的系统架构坑少，新手不能做架构的原因，所以你该懂的。 言归正传，分布式架构对于 Java 开发来说基本算是分水岭，能不能从开发层面跳出来，就看你工作个三五年之后，对分布式系统理解到什么程度。
40 天前 / xF0rk
最近因为某些原因学习接触到了开源的大数据框架：Hadoop，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，详细概念知识背景我这就不介绍了，各位自行学习。 所以自己启发了这个大数据的框架是否有安全问题，毕竟 Hadoop 在大型企业是很常见的 ( 之前参与某单位渗透测试也碰见过)，可能有同学没见过，这是因为 Hadoop 一般在内网中部署，业务端口不对外的，估如果没进行到内网横向渗透阶段是比较难见到的。
54 天前 / kafeidou
明晚 8 点 30 分，Rancher 2.4 特别攻略第二期准时开播！本节课将由 Rancher 中国研发经理为你详细介绍 Rancher 2.4 中的核心功能，如 CSI 安全扫描、使用 Rancher UI 升级 k3s 等，除了 demo 还是 demo！现场还有抽奖环节噢！ 点击文末【阅读原文】或访问以下链接即可报名： http://z-mz.cn/o3ud 不可否认的是，OpenStack 仍然是可行的云操作系统，并且被全世界许多互联服务提供商使用。而 Rancher 是业界最为广泛使用的 Kubernetes 管理平台，通过简洁直观的 GUI 集中管理企业 IT 中的多个 Kubernetes 集群。
57 天前 / kafeidou
2020 年 4 月 3 日，业界应用最为广泛的 Kubernetes 管理平台创建者 Rancher Labs（以下简称 Rancher）宣布推出全新开源项目 Fleet，致力于为用户提供海量 Kubernetes 集群的集中管理体验。 Rancher 是业界最早实现多云多集群管理的企业级 Kubernetes 管理平台。早在 2016 年的 Rancher 1.0 版本，Rancher 就已经提供了用于管理多个集群的中央控制平面。作为 Kubernetes 多集群管理的先驱，我们已经亲眼看到了用户如何不断增加所管理集群的数量。
66 天前 / 崔秀龙
节点数量早在 Kubernetes 1.2 时候，就已经宣布达到 1000 节点的规模了，在 1.6 版本更达到了 5000 节点的规模。各大厂也都有了各自的超大规模单一集群。然而普罗大众的情况是如何呢？Sysdig 在 2019 年度容器应用报告中得到的结果是，大于 50 节点规模的集群不足 10%，另外一个佐证是 Mohamed Ahmed 的一篇调查报告中也提供了类似的数据。这种情况的一种解释是，目前的应用阶段还比较早期，处于试探期间；然而从一个侧面来说，Sysdig 的调研对象针对的是生产应用，也就是说处于生产应用状态下的集群，绝大多数都是这种小规模集群。
72 天前 / 好学的阳明
标签：kubernetesschedulerdescheduler在介绍 Kubernetes 集群均衡器之前我们还是非常有必要再来回顾下 kube-scheduler 组件的概念。我们知道基本上所有的分布式系统都需要一个流程或应用来调度集群中的任务来执行，同样 Kubernetes 也需要这样一个调度器来执行任务，我们熟知的 kube-scheduler 组件就是扮演这个角色的，该组件是作为 Kubernetes 整个控制面板的一部分来运行的，并监听所有未分配节点新创建的 Pod，为其选择一个最合适的节点绑定运行。
89 天前 / NebulaGraph
首发于 Nebula 的图数据库新世界写文章 Kubernetes 部署 Nebula 图数据库集群 NebulaGraph已认证的官方帐号 6 人赞同了该文章 Kubernetes 是什么 Kubernetes 是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效，Kubernetes 提供了应用部署，规划，更新，维护的一种机制。 Kubernetes 在设计结构上定义了一系列的构建模块，其目的是为了提供一个可以部署、维护和扩展应用程序的机制，组成 Kubernetes 的组件设计概念为松耦合和可扩展的，这样可以使之满足多种不同的工作负载。
93 天前 / MarvinZhang
前言★本篇文章摘自 Crawlab 的 Kubernetes 部署文档。 ”Kubernetes（K8S） 是非常强大的容器编排工具，可以管理大型集群、微服务、分布式应用等等，是生产环境多节点部署中非常合适的选择。 而 Crawlab 作为分布式爬虫管理平台，同样也支持 Kubernetes 部署。Kubernetes 部署适合比较大型的分布式应用，但如果您有几台机器，也是可以实践的，Kubernetes 将降低您管理分布式应用的成本。 如果对 Kubernetes 还不了解，可以在 Kubernetes 中文社区入门课程 中学习相关知识；如果您已经了解 Docker，可以参考另外一个比较不错的免费资源...