12 天前 / why技术
持续输出原创文章，点击蓝字关注我吧 这是 why 技术的第 33 篇原创文章 本周是在家办公的一周，上面的图就是我在家的工位。 工欲善其事，必先利其器。在家办公，我是认真的。 在家里开发的时候有需求是这样的：一个如果接口调用失败，需要自动进行重试。 虽然关系不大，但是我还是想到了 Dubbo 的集群容错策略：Failover Cluster，即失败自动切换。 （这个转折是不是有点生硬。......） 所以借本文对于 Dubbo 的 Cluster 集群和 FailoverCluster( 失败自动切换)策略进行一个详细分析。 本文如果没有特别说明的地方，源码均是来自最新的 2.7.5 版本。
52 天前 / u128287
点击上方“马蜂窝技术”，关注订阅更多优质内容 Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。 Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。
63 天前 / iyacontrol
Kubernetes是用于构建高度可扩展系统的强大工具。结果，许多公司已经开始或正在计划使用它来协调生产服务。不幸的是，像大多数强大的技术一样，Kubernetes也很复杂。我们整理了以下清单，以帮助你生产环境最佳实践Kubernetes。 容器最佳实践Kubernetes提供了一种编排容器化服务的方法，因此，如果您没有按顺序实践你的容器，那么集群一开始就不会处于良好状态。请按照以下提示开始。 1: 使用精简基础镜像 what：容器是内置在系统镜像中的应用程序堆栈。从业务逻辑到内核的所有内容都打包在一起。
71 天前 / 雨后天空
点击上方"IT牧场"，选择"设为星标"技术干货每日送达！ TIPS 本文基于Consul 1.5.3，理论适用于Consul 1.6及更低版本。安装单机版Consul详见：《安装单机版Consul》 知识预热Consul常用命令命令解释示例agent运行一个consul agentconsul agent -devjoin将agent加入到consul集群consul join IPmembers列出consul cluster集群中的membersconsul membersleave将节点移除所在集群consul leave参考文档这里只列出几个常用的命令，consul有将近20个命令，本文不作展开...
71 天前 / laoyang360
0、引言实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？ Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。
75 天前 / 平头哥的技术博文
点击上方“平头哥的技术博文”，选择“关注公众号” 技术文章第一时间送达！ 最近看 redis cluster 集群，在 Redis Cluster 集群中涉及到了数据分布问题，因为 redis cluster 是多 master 的结构，每个 master 都是可以提供存储服务的，这就会涉及到数据分布的问题，所以借着个机会聊一聊分布式中的数据分布算法，在新的 redis 版本中采用的是虚拟槽分区技术来解决数据分布的问题，关于什么是虚拟槽分区技术我们后面会详细的介绍。
77 天前 / NebulaGraph
首发于Nebula 的图数据库新世界写文章分布式图数据库 Nebula Graph 中的集群快照实践NebulaGraph已认证的官方帐号 1 概述1.1 术语本文主要会用到以下术语： StorageEngine：Nebula Graph 的最小物理存储单元，目前支持 RocksDB 和 HBase，在本文中只针对 RocksDB。Partition：Nebula Graph 的最小逻辑存储单元，一个 StorageEngine 可包含多个 Partition。Partition 分为 leader 和 follower 的角色，Raftex 保证了 leader 和 follower 之间的数据一致性。
103 天前 / openio
1、问题引出ES中文社区中，有如下问题：问题1：存储数据，data目录从一个机器直接移到一台新的机器是否可以直接使用？问题2：es升级时，data目录如果在外部路径，从低版本升级到高版本时，data目录是否直接可以使用？问题3：将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上)，这种做法是否可取？脑补一下，如果你遇到上述问题，你一般怎么解决？2、问题分析上述问题涉及到集群备份、索引数据备份、数据迁移、数据恢复等问题...
112 天前 / 崔秀龙
最近我接到一个问题：“你是如何管理这么多 Kubernetes 的？”。本文试图揭示 Zalando 在 AWS 管理 140 多个 Kubernetes 集群的秘密。 我写过一篇文章：为什么需要多集群，Mikkel 在 KubeCon EU 2018 上做了关于如何在 Kubernetes 基础设施上进行持续交付的精彩分享。这里基本是对现存信息的一个梳理。 背景Zalando 有 200 多个开发团队，他们全权负责自己的应用，其中也包括 7*24 待命的支持工作。
115 天前 / 公众号「后端进阶」
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中花费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整个集群的性能影响等，特此将这个过程总结一下，也为双十一打了一剂强心剂。 排查问题与分析接到用户的反馈后，我用脚本测试了一遍，并对比了另外一个正常的 Kafka 集群，发现耗时确实很高，接下来 经过排查...
118 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置 master...
118 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置 master...
119 天前 / 噶牛爱尚
首发于NodeJS写文章Egg.js 打造高可用服务集群图南Noder / 全干工程师46 人赞同了该文章 前言Q4 了，秋高气爽适合养生。每天昏昏欲睡的我，今晚突然血气上涌，又来滥竽充数发表 yy 文了。 今日份主题：高可用服务！ 以下服务案例是以 egg.js 为基础搭建。 理解高可用服务高可用也就是大家常说的HA（High Availability），高可用的引入，是通过设计减少系统不能提供服务的时间，而不能保证系谢统可用性是能达到100%的♀！ 不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！背景目前我们公司的...
120 天前 / Vinta_陳上進
This article is about how to deploy a scalable WordPress site on Google Kubernetes Engine. Using the container version of the popular LEMP stack: Linux (Docker containers)NGINXMySQL (Google Cloud SQL)PHP (PHP-FPM)Google Cloud Platform PricingDeploying a personal blog on Kubernetes sounds like overkill (I must admit, it does). Still, it is fun and an excellent practice to containerize a traditional application, WordPress, which is harder than you thought. More importantly, the financial cost of running a Kuber...
124 天前 / PingCAP
在 TiDB 的架构中，所有的数据按照 range 划分成一个个 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万，甚至千万个 Region。而量变引起质变，单 TiKV 实例上过多的 Region 无疑会带来比较大的负担，进而影响整个集群的性能表现。 本文将介绍 TiKV 核心模块 Raftstore 的处理流程以使大家更好得理解海量 Region 导致性能问题的根源，以及针对这种情况的一些优化手段。 Raftstore 的处理流程 大家都知道在一个 TiKV 实例上会有多个 Region，这些 Region 消息处理就是通过 Raftstore 这个模块来驱动的...