12 天前 / u539609
上文我们简单介绍了 etcd 的基本概念和使用场景，本文就来介绍如何搭建 etcd 集群。在生产环境中，为了整个集群的高可用，etcd 正常都会以集群方式部署，避免单点故障。引导 etcd 集群的启动有以下三种机制： 静态 etcd 动态发现 DNS 发现静态启动 etcd 集群要求每个成员都知道集群中的另一个成员。在许多情况下，群集成员的 IP 可能未知，在这些情况下，可以在发现服务的帮助下引导 etcd 集群。 “可以使用官方提供的工具来生成 etcd 集群的配置：http://play.etcd.io/install ”这里我们将主要介绍静态方式启动 etcd 集群。
14 天前 / vivo互联网技术
一、前言 随着互联网的发展，用户产生的数据越来越多，企业面临着庞大数据的存储问题，目前市面上主流的分布式大数据文件系统，都是对数据切片打散，通过离散方法将数据散列在集群的所有节点上，本文将带你了解 DHT（Distributed Hash Table）：分布式哈希表是如何实现数据的分布式离散存储的。 DHT（Distributed Hash Table）：分布式哈希表 二、技术背景 互联网发展早期，数据通常存储在单个服务器上，初期数据增长较为缓慢，可以通过提升单机的存储能力满足数据的增长需求；随着互联网普及程度的推进...
15 天前 / 铭毅天下001
Elasticsearch 集群在运行的过程中，由于各种原因，经常会出现健康问题。比较直观的是：kibana 监控、head 插件监控显示集群非绿色（红色或者黄色）。 遇到这种情况不要慌，本文给出基础集群故障排查及修复指南，希望对你有所帮助。1、集群健康状态的解读这里直接用官方文档的解析，以避免不准确导致误导。集群运行状况为：绿色、黄色、红色。在分片级别：绿色状态：表示集群健康；黄色状态：表示所有主分片均已分配，但有一个或多个副本分片未分配。
15 天前 / Ryan众乐
作者：hpstream 文章地址：https://www.yuque.com/docs/share/3bed0240-047e-4a49-a989-f0a37fc28971# 《简单分析下 Node.js 关于集群的那些事》 前言：需要了解的基础概念一个应用程序中，至少包含一个进程，一个进程至少包含一个线程。 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位线程（Thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。
31 天前 / u539609
Kafka 是目前最流行的分布式消息发布订阅系统，Kafka 功能非常强大，但它同样也很复杂，需要一个高可用的强大平台来运行，在微服务盛行，大多数公司都采用分布式计算的今天，将 Kafka 作为核心的消息系统使用还是非常有优势的。 如果你在 Kubernetes 集群中运行你的微服务，那么在 Kubernetes 中运行 Kafka 集群也是很有意义的，这样可以利用其内置的弹性和高可用特性，我们可以使用内置的 Kubernetes 服务发现轻松地与集群内的 Kafka Pods 进行交互。
44 天前 / 编程一生
背景 先澄清一下，整个过程问题都不是我解决的，我在里面就是起了个打酱油的角色。因为实际上我负责这个项目，整个过程也比较清楚。之前也跟具体负责的同事说过，等过段时间带他做做项目复盘。结果一直忙，之前做的事情都快忘了也没带他做复盘。所以趁着还记得，总结一下这个问题，也算一起做个复盘总结了。 本周一的时候，我们测试环境遇到一个问题：启动一个服务就会导致后端调用耗时增加。当时咨询了对这个问题之前有了解的同事得到的答复是因为一笔请求发到两套测试环境 ( 一个请求需要在两套环境下运行结果做对比)...
53 天前 / OPPO互联网技术
1.问题背景 某核心 JAVA 长连接服务使用 MongoDB 作为主要存储，客户端数百台机器连接同一 MongoDB 集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、MongoDB 内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。 该集群有十来个业务接口访问，每个接口部署在数十台业务服务器上面，访问该 MongoDB 机器的客户端总数超过数百台，部分请求一次拉取数十行甚至百余行数据。
60 天前 / reesunhuang
作者 | 高相林（禅鸣） 导读：集群升级是 Kubernetes集群生命周期中最为重要的一环，也是众多使用者最为谨慎对待的操作之一。为了更好地理解集群升级这件事情的内涵外延，我们首先会对集群升级的必要性和难点进行阐述；随后会对集群升级前必须要做的前置检查进行逐一讲解；接下来会对两种常见的升级方式进行展开介绍；最后对集群升级的三个步骤进行讲解，帮助读者从理论走入实践。 升级的必要性 & 难点 在 Kubernetes 领域，得益于活跃的开源社区，Kubernetes 的迭代速度较快，目前保持在每个季度发行一个新版本的节奏。
65 天前 / 服务器维护
很多人觉得，在 Kubernetes 中不是只要用 Service 就可以做负载均衡了吗？SVC 确实有负载均衡的作用。它是由 Kube-proxy 提供，但是由于 Grpc 的特性没有办法让它很好的处理负载均衡。 SVC 负载调度原理在 k8s 的文档中阐述了 kube-proxy 的特点： The kube proxy:runs on each node #运行在每个节点 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、SCTP 协议 does not understand HTTP #但是不能识别 HTTP 协议 provides load balancing #提供负载均衡 is just used to reach services #只用于到达服务 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、...
68 天前 / Michael_翔_
Search 简介首先引用 Elasticsearch （下文简称 ES）官网的一段描述： Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 本文主要介绍 Elasticsearch 集群的搭建。通过在一台服务器上创建 3 个 ES 实例来创建一个建议的 ES 集群。 Elasticsearch/ES 官方的 Elasticsearch Reference 提供了不同版本的文档连接，真是赞！ 如果英文的不想看，还提供了中文版的 Elasticsearch 2.x: 权威指南，版本不是最新的...
68 天前 / 知了一笑
一、基础环境 1、环境版本环境：centos7 hadoop 版本：2.7.2 jdk 版本：1.8 2、Hadoop 目录结构 bin 目录：存放对 Hadoop 的 HDFS,YARN 服务进行操作的脚本 etc 目录：Hadoop 的相关配置文件目录 lib 目录：存放 Hadoop 的本地库，提供数据压缩解压缩能力 sbin 目录：存放启动或停止 Hadoop 相关服务的脚本 share 目录：存放 Hadoop 的依赖 jar 包、文档、和相关案例 3、配置加载 vim/etc/profile #添加环境 exportJAVA_HOME=/opt/jdk1.8 exportPATH=$PATH:$JAVA_HOME/bin exportHADOOP_HOME=/opt/hadoop2.7 exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME...
97 天前 / 后场技术
在上一篇文章中，我们完成了 K8S 系列之 K8S 集群之 Master 节点部署，在这篇文章中，我们将开始部署 Node 节点相关的组件。在 node 节点上，需要部署 kubelet 和 kube-proxy 两个 K8S 组件，除此之外，还需要部署 Docker 环境、CNI 网络插件 flannel 以及 coredns 服务。 根据我们的架构，我们在 10.4.7.21 和 10.4.7.22 两台服务器上同时部署 Master 节点和 Node 节点，所以，这两台服务器既是 Master 节点，又是 Node 节点。
98 天前 / 陆道峰-MLSys
论文研读系列是阅读、总结计算机领域优秀论文的系列文章。由于论文的学术性较高，无法面面俱到，只会就关键思想进行概括介绍。 简介 Google 的 Borg 集群系统需要管理数十万个 jobs，要能够提高资源使用率、隔离性，通过调度策略降低关联故障发生率，通过声明式 job 描述语言简化复杂性。 Borg 提供三个主要优势： 1.隐藏资源管理与故障处理的细节，用户可以集中在应用开发上 2.高可用、高稳定 3.O(10000)机器规模内高效任务调度 相关术语 1.job and task，一个 job 包含多个 task，每个 task 包含多个进程 2.nameing and monitoring...
106 天前 / 陆道峰-MLSys
简介 Mesos 是一个在多个集群计算框架中共享集群资源的管理系统，它提高了集群资源利用率，避免了每个计算框架数据复制。 通过分布式两层调度模型实现了细粒度的资源分配：由 Mesos 决定为每个框架提供多少资源，框架决定接受哪些资源，以及把计算任务分配到哪里去执行。 问题与方案 2010 年代计算框架百花齐放，相继出现 MapReduce[1]、MPI、Dryad、Pregel 等。很明显，新的集群计算框架还会不断涌现，不存在满足所有应用需求的集群计算框架，因此企业、研究机构会在同一个集群中运行多个计算框架。
111 天前 / 知了一笑
一、Cassandra 简介 1、基础描述 Cassandra 是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据，此后，由于 Cassandra 良好的可扩展性，逐渐发展成为了一种流行的分布式结构化数据存储方案。 2、特点分析弹性可扩展性 Cassandra 是高度可扩展的；它允许添加更多的硬件以适应更多的客户和更多的数据根据要求，可以根据业务的数据流量轻松扩展集群规模。 架构特点 Cassandra 可以基于分布式运行，并采用了许多容错机制。由于去中心化无主的策略，所以没有单点故障。可以做到不停服滚动升级。