6 天前 / 知了一笑
写在前面，阅读本文前，你需要了解熔断器相关内容 SpringCloud微服务：Hystrix组件，实现服务熔断 一、聚合监控简介1、Dashboard组件微服务架构中为了保证程序的可用性，防止程序出错导致网络阻塞，出现了断路器模型。断路器的状况反应程序的可用性和健壮性，它是一个重要指标。HystrixDashboard是作为断路器状态的一个组件，提供了数据监控和直观的图形化界面。 2、Turbine组件Hystrix Dashboard组件监控服务的熔断情况时,每个服务都有图形界面,当微服务数量很多时,监控非常繁杂.为了同时监控多个服务的熔断状况,Netflix开源了Hystrix的另一个......
11 天前 / 猿天地
Nacos的单节点，也就是我们最开始使用的standalone模式，配置的数据是默认存储到内嵌的数据库derby中。 如果我们要搭建集群的话，那么肯定是不能用内嵌的数据库，不然数据无法共享。集群搭建的时候我们需要将Nacos对接Mysql进行数据存储。 集群模式跟我们平时进行扩容是一样的，可以通过Nginx转发到多个节点，最前面挂一个域名即可，如下图： 通常如果我们只是为了体验的话直接在本地起动3个实例就可以了，没必要真的去搞三台服务器，下面我们就以在本地的方式来搭建集群。 将Nacos的解压包复制分成3份，分别是: nacos nacos1 nacos2 进......
24 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
28 天前 / php-v
作者介绍 吴怡燃，京东大数据平台资深研发工程师，HBase平台负责人。 一、数据存储之HBase 随着信息化数字化的发展，越来越多的数据以数字化的方式存储在计算机系统中。而传统的数据库已经无法满足海量数据存储的需求。数据存储技术也由原来的单机演变成了现在的多机分布式。 虽然已经有很多数据存储、实现方式以及访问策略，但其在构建数据模型时并没有考虑超大规模分布式的特点。比较典型是关系型数据库，虽然他们都已经支持了集群模式，但其数据组织方式在分布式高并发读写场景下受到了很大的制约。同时因为其架构基因，导致如......
28 天前 / 服务器维护
在EKS集群中，有些时候对一些deployment服务有IO要求，这时候可以使用EBS块设备进行挂载到服务中使用。再加上EBS有各种容量尺寸、存储介质、卷快照可供选择，以此保证系统IO的需要和数据的可靠性。 awsElasticBlockStore卷，简称EBS，将Amazon Web Services（AWS）EBS Volume 挂载到您的容器中。 EBS的数据是会保留的，就算你删除了Deployment。卷里面的数据还是会保留下来，删除仅仅是被卸载而已。 首先的通过EC2的控制台或者AWS的CLI创建一个块设备。 重要提示：您必须使用 aws ec2 create-volume 或 AWS API 创建 EBS 卷，才能使用它。 使......
30 天前 / K8sMeetup
作者 ｜高朋（科赛网后端研发工程师） 编辑 ｜ bot（才云） 在这篇文章中，科赛网后端研发工程师高朋首先介绍了 Cluster Auto Scaler 的主要设计、功能和他们对 Cluster-Autoscaler 的一些改动，使得这个组件可以支持预测性伸缩。 Kubernetes 本身有很多方面的 scaling，包括 Pod 的垂直扩展和集群物理节点的扩展等。今天我想介绍的是 Cluster-Autoscaler 用于物理节点的扩展。如果大家经常关注 Kubernetes scaling 相关的一些 talk，应该会比较了解这一块。我会先从子项开始，然后介绍我们怎么做预测性扩展，谈谈在这个预测性扩展中我们尝......
50 天前 / 好学的阳明
我们知道可以通过 RBAC 为操作 kubectl 的用户或组来进行权限控制，但是我们往往是通过 kubernetes集群的超级管理员手动为这些用户进行分配的，并没有一个开箱即用的 kubectl 身份验证工具。 现在参加 kubernetes 进阶课程的学生比较多，其中可能有一部分学生暂时还没有一套可用的集群环境，那么我们就可以为这部分学生授权访问我们的集群，但是如果这么多学生都手动去给他们创建身份认证必然非常麻烦。 那么我们可以用什么办法来可以很方便的为用户进行授权访问 kubernetes集群呢？ Kubernetes 身份认证其实前面关于 RBAC 的文章中我们就已经和......
60 天前 / 浪客书心
点击上方"IT牧场"，选择"设为星标"技术干货每日送达！ 注：本文使用Nacos 1.0.1 + MySQL 8.0 前面部署的是单机版的Nacos Server，这一般不适用于生产。 本节详细探讨如何搭建一个生产可用的Nacos集群。讨论的内容主要包括：使用MySQL作为存储持久化数据，以及如何搭建Nacos集群。 一、部署架构图部署架构图如下： 二、安装MySQL数据库生产环境需使用MySQL作为后端存储，因此需要搭建MySQL。生产中，MySQL建议至少主备模式，高可用MySQL更佳。 高可用MySQL搭建方案有很多（例如MMM、MHA、Galera Cluster[1]、MySQL NDB Cluster[2]、MySQL In......
68 天前 / 小米云技术官方
本文通过记录kubelet连接apiserver超时问题的原因及修复办法。 上篇文章回顾：一文读懂HBase多租户 背 景 kubernetes是master-slave结构，master node是集群的大脑，当master node发生故障时整个集群都"out of control"。master node中最重要的当属apiserver组件，它负责处理所有请求，并持久化状态到etcd。一般我们会部署多份apiserver实现高可用。官方建议在多个apiserver前面部署一个LB进行负载均衡，当其中一台apiserver发生故障之后，LB自动将流量切换到其他实例上面。这样虽然简单，但是也引入了额外的依赖，如果LB发生故障将会导......
83 天前 / Tony沈哲
zookeeper.pngZooKeeper 是一个开源的分布式协调服务，ZooKeeper框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。 后来，Apache ZooKeeper成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper 通常用于：命名服务、配置管理、集群管理、分布式协调/通知、分布式锁和分布式队列等等。 各个爬虫......
89 天前 / 大数据手稿笔记
这是几个月前遇到的一次HBase集群宕机事件，今天重新整理下事故分析报告。概况的说是业务方的一个10节点HBase集群支撑百TB级别的数据量，集群region数量达 23000+，最终集群支持不住业务压力，带来了一次惨痛的宕机事件。 事故现场项目上大数据平台拥有一个10个节点的HBase集群，主要业务表有十几张，每张表创建的时候做了包含10个region的预分区，并使这些分区均匀分布在了不同regionserver上。经过一段时间的运行，由于业务量比较大，集群region分区数量已经达到23000之多了，平均每个regionserver节点分区数量在2300个左右。regionserver JVM ......
89 天前 / 好学的阳明
更新集群更新 kubelet由于课程中的集群版本是 v1.10.0，这个版本相对有点旧了，最新版本都已经 v1.14.x 了，为了尽量保证课程内容的更新度，所以我们需要将集群版本更新。我们的集群是使用的 kubeadm 搭建的，我们知道使用 kubeadm 搭建的集群来更新是非常方便的，但是由于我们这里版本跨度太大，不能直接从 1.10.x 更新到 1.14.x，kubeadm 的更新是不支持跨多个主版本的，所以我们现在是 1.10，只能更新到 1.11 版本了，然后再重 1.11 更新到 1.12…… 不过版本更新的方式方法基本上都是一样的，所以后面要更新的话也挺简单了，下面我们就先将集群......
91 天前 / 涤生YQ
点击上方"涤生的博客"，关注我转载请注明原创出处，谢谢！如果读完觉得有收获的话，欢迎点赞加关注。 介绍Zookeeper 我想大家都不陌生，在很多场合都听到它的名字。它是 Apache 的一个顶级项目，为分布式应用提供一致性高性能协调服务。可以用来做：配置维护、域名服务、分布式锁等。有很多开源组件，尤其是中间件领域，使用 Zookeeper 作为配置中心或者注册中心。例如，它是 Hadoop 和 HBase 的重要组件，是 Kafka 的管理和协调服务，是 Dubbo 等服务框架的注册中心等。 本文不探讨它的优缺点，仅着眼于如何对 Zookeeper 进行高可用部署。 原......
92 天前 / openio
写在开头的话 Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？ A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点： 1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上； 2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组织协同； 3）数据合规要求高：数据租户服务涉及到数据安全、用户隐私保护的合规要求高。 Q: 好吧，听起来，要搞定这样的集群，有难度呀！那何时要关注集群的治理呢？ A: 好问题！一般来说，当数据质量问题、数据交付及时性、数据......