21 天前 / 高飞
前言 哨兵模式虽然让读写分离更加高可用，但单台服务器由于本身的内存和 CPU 瓶颈，对于高并发和大数据业务的应用场景还是远远不能满足；对于这种情况，有点经验的小伙伴会毫不犹豫的想到集群，搞他好几个节点，负载均衡再加上故障转移，岂不美哉。是的，就是这个理，接下来玩玩。 正文 集群，相信这个词小伙伴应该听的耳朵起茧子了吧；多搞几台服务器，让请求 / 命令平均分发到各个服务器，避免单台服务器承载过大压力；对于 Redis 集群来说，为了实现自动故障转移，还需要在每个主节点上增加一个或多个从节点，当主节点发生故障时，从节点自动补上...
28 天前 / 知了一笑
一、Hbase 简介 1、基础描述 Hadoop 原生的特点是解决大规模数据的离线批量处理场景，HDFS 具备强大存储能力，但是并没有提供很强的数据查询机制。HBase 组件则是基于 HDFS 文件系统之上提供类似于 BigTable 服务。 HBase 是一种分布式、可扩展、支持海量结构化数据存储的 NoSQL 数据库。HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力，基于列存储模式的而不是基于行的模式。存储数据特点：非结构化或者松散的半结构化数据，存储大表自然是需要具备水平扩展的能力，基于服务集群处理海量庞大数据。
42 天前 / 开发者头条
大家好，我是周刊菌。 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」推出 38 周啦！感谢亲们的大力支持！第 038 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。 告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 「码农周刊 VIP 会员」是什么？ 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 码农周刊 VIP 新年特...
48 天前 / BloomingRose
用隧道协议实现不同 dubbo 集群间的透明通信前言笔者最近完成了一个非常有意思的隧道机制 ( 已在产线运行)，可以让注册到不同 zookeeper 之间的 dubbo 集群之间能够正常进行通信。如下图所示： 例如图中 A/B 两个网络隔离的集群，两者只能通过专线进行通信。但是对于在里面的应用来说，调用另外一个集群的 dubbo 服务 ( 例如 app1 调用 app3)依旧和原来的方式一模一样，无需做任何修改。这个特性对于新建单元 ( 机房),业务网络隔离等场景非常有用。 本文就稍稍聊一下这个机制。 场景这个 dubbo 集群通信机制，可被用在下面的场景中。
77 天前 / 铭毅天下001
题记这是一位腾讯大佬 2020 年 4 月份在死磕 Elasticsearch 技术交流微信群里发起讨论的问题，之前初步讨论了答案，但是不够细或者说讲解不透，所以一直没有成文。 这一次，加上了实践验证，说透。 1、上问题还是没太搞懂 seed_hosts 和 cluster.initial_master_nodes 的区别。 1、 seed_hosts 里面一定是配置 master eligible 节点吗？2、还是说 data 节点也可以配置到 master eligible3、是如何发现潜在机器的呢？4、initial_master 一定是 master eligible 节点吧？5、集群初始启动时， 这几个节点一定都要在是吗？6 、初始的时候是不是可以配置一个...
100 天前 / u539609
上文我们简单介绍了 etcd 的基本概念和使用场景，本文就来介绍如何搭建 etcd 集群。在生产环境中，为了整个集群的高可用，etcd 正常都会以集群方式部署，避免单点故障。引导 etcd 集群的启动有以下三种机制： 静态 etcd 动态发现 DNS 发现静态启动 etcd 集群要求每个成员都知道集群中的另一个成员。在许多情况下，群集成员的 IP 可能未知，在这些情况下，可以在发现服务的帮助下引导 etcd 集群。 “可以使用官方提供的工具来生成 etcd 集群的配置：http://play.etcd.io/install ”这里我们将主要介绍静态方式启动 etcd 集群。
102 天前 / vivo互联网技术
一、前言 随着互联网的发展，用户产生的数据越来越多，企业面临着庞大数据的存储问题，目前市面上主流的分布式大数据文件系统，都是对数据切片打散，通过离散方法将数据散列在集群的所有节点上，本文将带你了解 DHT（Distributed Hash Table）：分布式哈希表是如何实现数据的分布式离散存储的。 DHT（Distributed Hash Table）：分布式哈希表 二、技术背景 互联网发展早期，数据通常存储在单个服务器上，初期数据增长较为缓慢，可以通过提升单机的存储能力满足数据的增长需求；随着互联网普及程度的推进...
103 天前 / 铭毅天下001
Elasticsearch 集群在运行的过程中，由于各种原因，经常会出现健康问题。比较直观的是：kibana 监控、head 插件监控显示集群非绿色（红色或者黄色）。 遇到这种情况不要慌，本文给出基础集群故障排查及修复指南，希望对你有所帮助。1、集群健康状态的解读这里直接用官方文档的解析，以避免不准确导致误导。集群运行状况为：绿色、黄色、红色。在分片级别：绿色状态：表示集群健康；黄色状态：表示所有主分片均已分配，但有一个或多个副本分片未分配。
103 天前 / Ryan众乐
作者：hpstream 文章地址：https://www.yuque.com/docs/share/3bed0240-047e-4a49-a989-f0a37fc28971# 《简单分析下 Node.js 关于集群的那些事》 前言：需要了解的基础概念一个应用程序中，至少包含一个进程，一个进程至少包含一个线程。 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位线程（Thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。
119 天前 / u539609
Kafka 是目前最流行的分布式消息发布订阅系统，Kafka 功能非常强大，但它同样也很复杂，需要一个高可用的强大平台来运行，在微服务盛行，大多数公司都采用分布式计算的今天，将 Kafka 作为核心的消息系统使用还是非常有优势的。 如果你在 Kubernetes 集群中运行你的微服务，那么在 Kubernetes 中运行 Kafka 集群也是很有意义的，这样可以利用其内置的弹性和高可用特性，我们可以使用内置的 Kubernetes 服务发现轻松地与集群内的 Kafka Pods 进行交互。
132 天前 / 编程一生
背景 先澄清一下，整个过程问题都不是我解决的，我在里面就是起了个打酱油的角色。因为实际上我负责这个项目，整个过程也比较清楚。之前也跟具体负责的同事说过，等过段时间带他做做项目复盘。结果一直忙，之前做的事情都快忘了也没带他做复盘。所以趁着还记得，总结一下这个问题，也算一起做个复盘总结了。 本周一的时候，我们测试环境遇到一个问题：启动一个服务就会导致后端调用耗时增加。当时咨询了对这个问题之前有了解的同事得到的答复是因为一笔请求发到两套测试环境 ( 一个请求需要在两套环境下运行结果做对比)...
141 天前 / OPPO互联网技术
1.问题背景 某核心 JAVA 长连接服务使用 MongoDB 作为主要存储，客户端数百台机器连接同一 MongoDB 集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、MongoDB 内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。 该集群有十来个业务接口访问，每个接口部署在数十台业务服务器上面，访问该 MongoDB 机器的客户端总数超过数百台，部分请求一次拉取数十行甚至百余行数据。
148 天前 / reesunhuang
作者 | 高相林（禅鸣） 导读：集群升级是 Kubernetes集群生命周期中最为重要的一环，也是众多使用者最为谨慎对待的操作之一。为了更好地理解集群升级这件事情的内涵外延，我们首先会对集群升级的必要性和难点进行阐述；随后会对集群升级前必须要做的前置检查进行逐一讲解；接下来会对两种常见的升级方式进行展开介绍；最后对集群升级的三个步骤进行讲解，帮助读者从理论走入实践。 升级的必要性 & 难点 在 Kubernetes 领域，得益于活跃的开源社区，Kubernetes 的迭代速度较快，目前保持在每个季度发行一个新版本的节奏。
153 天前 / 服务器维护
很多人觉得，在 Kubernetes 中不是只要用 Service 就可以做负载均衡了吗？SVC 确实有负载均衡的作用。它是由 Kube-proxy 提供，但是由于 Grpc 的特性没有办法让它很好的处理负载均衡。 SVC 负载调度原理在 k8s 的文档中阐述了 kube-proxy 的特点： The kube proxy:runs on each node #运行在每个节点 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、SCTP 协议 does not understand HTTP #但是不能识别 HTTP 协议 provides load balancing #提供负载均衡 is just used to reach services #只用于到达服务 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、...
156 天前 / Michael_翔_
Search 简介首先引用 Elasticsearch （下文简称 ES）官网的一段描述： Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 本文主要介绍 Elasticsearch 集群的搭建。通过在一台服务器上创建 3 个 ES 实例来创建一个建议的 ES 集群。 Elasticsearch/ES 官方的 Elasticsearch Reference 提供了不同版本的文档连接，真是赞！ 如果英文的不想看，还提供了中文版的 Elasticsearch 2.x: 权威指南，版本不是最新的...