25 天前 / openio
1、问题引出ES中文社区中，有如下问题：问题1：存储数据，data目录从一个机器直接移到一台新的机器是否可以直接使用？问题2：es升级时，data目录如果在外部路径，从低版本升级到高版本时，data目录是否直接可以使用？问题3：将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上)，这种做法是否可取？脑补一下，如果你遇到上述问题，你一般怎么解决？2、问题分析上述问题涉及到集群备份、索引数据备份、数据迁移、数据恢复等问题，而数据备份和恢复又分为：1、ES Mapping&Setting ......
34 天前 / 崔秀龙
最近我接到一个问题：“你是如何管理这么多 Kubernetes 的？”。本文试图揭示 Zalando 在 AWS 管理 140 多个 Kubernetes 集群的秘密。 我写过一篇文章：为什么需要多集群，Mikkel 在 KubeCon EU 2018 上做了关于如何在 Kubernetes 基础设施上进行持续交付的精彩分享。这里基本是对现存信息的一个梳理。 背景Zalando 有 200 多个开发团队，他们全权负责自己的应用，其中也包括 7*24 待命的支持工作。我们的 Kubernetes 平台团队为 1000 多个 Zalando 开发者提供 Kubernetes 即服务的支持工作，工作过程中我们遵循如下准则： 杜绝手工操作： 所有......
37 天前 / 公众号「后端进阶」
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中花费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整个集群的性能影响等，特此将这个过程总结一下，也为双十一打了一剂强心剂。 排查问题与分析接到用户的反馈后，我用脚本测试了一遍，并对比了另外一个正常的 Kafka 集群，发现耗时确实很高，接下来 经过排查，发现有客户端在频繁断......
40 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置......
40 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置......
41 天前 / 噶牛爱尚
首发于NodeJS写文章Egg.js 打造高可用服务集群图南Noder / 全干工程师46 人赞同了该文章 前言Q4 了，秋高气爽适合养生。每天昏昏欲睡的我，今晚突然血气上涌，又来滥竽充数发表 yy 文了。 今日份主题：高可用服务！ 以下服务案例是以 egg.js 为基础搭建。 理解高可用服务高可用也就是大家常说的HA（High Availability），高可用的引入，是通过设计减少系统不能提供服务的时间，而不能保证系谢统可用性是能达到100%的♀！ 不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！背景目前我......
42 天前 / Vinta_陳上進
This article is about how to deploy a scalable WordPress site on Google Kubernetes Engine. Using the container version of the popular LEMP stack: Linux (Docker containers)NGINXMySQL (Google Cloud SQL)PHP (PHP-FPM)Google Cloud Platform PricingDeploying a personal blog on Kubernetes sounds like overkill (I must admit, it does). Still, it is fun and an excellent practice to containerize a traditional application, WordPress, which is harder than you thought. More importantly, the financial cost of running ......
46 天前 / PingCAP
在 TiDB 的架构中，所有的数据按照 range 划分成一个个 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万，甚至千万个 Region。而量变引起质变，单 TiKV 实例上过多的 Region 无疑会带来比较大的负担，进而影响整个集群的性能表现。 本文将介绍 TiKV 核心模块 Raftstore 的处理流程以使大家更好得理解海量 Region 导致性能问题的根源，以及针对这种情况的一些优化手段。 Raftstore 的处理流程 大家都知道在一个 TiKV 实例上会有多个 Region，这些 Region 消息处理就是通过 Raftstore 这个模块来驱动的，包......
46 天前 / Tim_Wu
在RTS游戏中，寻路是相对容易的，A*算法可以较高的效率寻到最优解，改变一下估值函数，也可以用更快的速度寻找到次优解，所以寻路在大多数时候并不是问题所在。 假设一个集群，需要从位置A移动到位置B，中间充满了各种障碍，如何移动才显得比较自然？这是一个比较困难的问题。 有一种方案是给每个集群中的单位都做一次寻路，但是寻路算法开销较大，如果集群中的单位较多则会面临性能问题。另一种方案是进行一次寻路，从A到B，然后考虑一种方式使得集群沿着该路径进行移动。 初步的想法很简单，所有单位全部沿路径移动即可。但是由于单位众多，而......
51 天前 / 懒人yp
前言 external-shuffle-service是Spark里一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在K8s上并不能很好的运行。让我们来看看，在K8s上实现这个external shuffle service特性的最新进展吧。 如果你想在Kubernetes集群中运行Spark任务，那么你可能会对：如何在K8s上运行external-shuffle-service感兴趣。把Driver和Executor都当做容器，丢到K8s上（K8s集群则把他们当做一般的容器，和其他业务类app一样对待），这种模式，可以使得集群资源池归一，避免Spark一个资源......
51 天前 / 一猿小讲
【这是一猿小讲的第 61篇原创分享】 饱经 CURD 折磨的程序猿，在被问起“分布式”时，转而会去说“集群”；当被问起“集群”时，转而又会去说“分布式”，在程序猿脑海中，感觉两者总是有千丝万缕的关系，扯来扯去总是扯不清楚。 那“集群”和“分布式”到底是一回事吗？两者到底有什么联系和区别呢？这要从经典的一道菜“京酱肉丝”说起。 二十世纪三十年代，北京紫禁城东北方约 4 里地的一个大杂院里，有一个原籍东北的陈老汉，和孙子相依为命，靠做豆腐维生。 有一次，陈老汉把猪肉挑出瘦的，切成很薄的片，下锅炒并放豆酱......
66 天前 / luoxn28
戳蓝字「TopCoder」关注我们哦！ 编者注：笔者整理了一份【Redis不完全指南】，包含了很多详细的知识点和Redis经典面试题，可关注「TopCoder」公众号，发送 Redis 来获取~ 随着Redis中保存数据越来越多，单个Redis节点已不堪负重，需要引入Redis集群方案，Redis常见集群方案有：client分片方案、基于代理方案、redis cluster方案。 基于代理的方案一般也是基于分片或者redis cluster方案，不过对于client端来说是无感知的。从本质上来说，这三种实现方案都是以分片为实现基础：分片是分割数据到多个redis实例的过程，差别是分片动作发生在clie......
73 天前 / WilliamGuo
## 现象Kubernetes集群版本1.15.2，使用了kube-proxy，使用的 iptables 模式。 在kubernetes的一个node节点上直接访问kubernetes中的service不通，注意是访问服务不通，不是ping不通。 以apiserver对应的kubernetes service为例：```bash$ kubectl get service -o wideNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTORkubernetes ClusterIP 172.254.0.1 443/TCP 1y```直接在node上发起访问是不通的，如下：```bash$ telnet 172.254.0.1 443Trying 172.254.0.1...```注意只是从node上、在使用......
79 天前 / sjf0115
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在consumer段，kafka只允许单个partition的数据被一个consumer线程消费。因此，在consumer端，每一个Consumer Group内部的consumer并行度完全依赖于......