13 天前 / u128287
点击上方“马蜂窝技术”，关注订阅更多优质内容 Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。 Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。 Part.1 应用场景 从 Kafka 在大数据平台的应用场景来看，主要分为以下三类： 第一......
31 天前 / 雨后天空
点击上方"IT牧场"，选择"设为星标"技术干货每日送达！ TIPS 本文基于Consul 1.5.3，理论适用于Consul 1.6及更低版本。安装单机版Consul详见：《安装单机版Consul》 知识预热Consul常用命令命令解释示例agent运行一个consul agentconsul agent -devjoin将agent加入到consul集群consul join IPmembers列出consul cluster集群中的membersconsul membersleave将节点移除所在集群consul leave参考文档这里只列出几个常用的命令，consul有将近20个命令，本文不作展开，详见：https://www.consul.io/docs/commands/index.html[1] consul agent命令详......
31 天前 / laoyang360
0、引言实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？ Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。 通过本文，您将了解： Elasticsearch 计算资源详解E......
35 天前 / 平头哥的技术博文
点击上方“平头哥的技术博文”，选择“关注公众号” 技术文章第一时间送达！ 最近看 redis cluster 集群，在 Redis Cluster 集群中涉及到了数据分布问题，因为 redis cluster 是多 master 的结构，每个 master 都是可以提供存储服务的，这就会涉及到数据分布的问题，所以借着个机会聊一聊分布式中的数据分布算法，在新的 redis 版本中采用的是虚拟槽分区技术来解决数据分布的问题，关于什么是虚拟槽分区技术我们后面会详细的介绍。在分布式集群中除了虚拟槽分区技术之外，还有几种数据分布的算法，比如哈希算法，一致性哈希算法，......
37 天前 / NebulaGraph
首发于Nebula 的图数据库新世界写文章分布式图数据库 Nebula Graph 中的集群快照实践NebulaGraph已认证的官方帐号 1 概述1.1 术语本文主要会用到以下术语： StorageEngine：Nebula Graph 的最小物理存储单元，目前支持 RocksDB 和 HBase，在本文中只针对 RocksDB。Partition：Nebula Graph 的最小逻辑存储单元，一个 StorageEngine 可包含多个 Partition。Partition 分为 leader 和 follower 的角色，Raftex 保证了 leader 和 follower 之间的数据一致性。GraphSpace：每个 GraphSpace 是一个独立的业务 Graph 单元，每个 GraphSpace 有其独立的......
64 天前 / openio
1、问题引出ES中文社区中，有如下问题：问题1：存储数据，data目录从一个机器直接移到一台新的机器是否可以直接使用？问题2：es升级时，data目录如果在外部路径，从低版本升级到高版本时，data目录是否直接可以使用？问题3：将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上)，这种做法是否可取？脑补一下，如果你遇到上述问题，你一般怎么解决？2、问题分析上述问题涉及到集群备份、索引数据备份、数据迁移、数据恢复等问题，而数据备份和恢复又分为：1、ES Mapping&Setting ......
73 天前 / 崔秀龙
最近我接到一个问题：“你是如何管理这么多 Kubernetes 的？”。本文试图揭示 Zalando 在 AWS 管理 140 多个 Kubernetes 集群的秘密。 我写过一篇文章：为什么需要多集群，Mikkel 在 KubeCon EU 2018 上做了关于如何在 Kubernetes 基础设施上进行持续交付的精彩分享。这里基本是对现存信息的一个梳理。 背景Zalando 有 200 多个开发团队，他们全权负责自己的应用，其中也包括 7*24 待命的支持工作。我们的 Kubernetes 平台团队为 1000 多个 Zalando 开发者提供 Kubernetes 即服务的支持工作，工作过程中我们遵循如下准则： 杜绝手工操作： 所有......
75 天前 / 公众号「后端进阶」
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中花费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整个集群的性能影响等，特此将这个过程总结一下，也为双十一打了一剂强心剂。 排查问题与分析接到用户的反馈后，我用脚本测试了一遍，并对比了另外一个正常的 Kafka 集群，发现耗时确实很高，接下来 经过排查，发现有客户端在频繁断......
79 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置......
79 天前 / 知了一笑
一、Redis集群简介1、RedisCluster概念Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。 2、Redis环境搭建Linux系统：Centos7搭建Redis单台和集群环境 二、与SpringBoot2.0整合1、核心依赖 org.springframework.boot spring-boot-starter-data-redis ${spring-boot.version} redis.clients jedis ${redis-client.version} 2、核心配置spring: #Redis集群 redis: sentinel: #sentinel配置......
79 天前 / 噶牛爱尚
首发于NodeJS写文章Egg.js 打造高可用服务集群图南Noder / 全干工程师46 人赞同了该文章 前言Q4 了，秋高气爽适合养生。每天昏昏欲睡的我，今晚突然血气上涌，又来滥竽充数发表 yy 文了。 今日份主题：高可用服务！ 以下服务案例是以 egg.js 为基础搭建。 理解高可用服务高可用也就是大家常说的HA（High Availability），高可用的引入，是通过设计减少系统不能提供服务的时间，而不能保证系谢统可用性是能达到100%的♀！ 不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！不能保证系统可用性是能达到100%的！背景目前我......
80 天前 / Vinta_陳上進
This article is about how to deploy a scalable WordPress site on Google Kubernetes Engine. Using the container version of the popular LEMP stack: Linux (Docker containers)NGINXMySQL (Google Cloud SQL)PHP (PHP-FPM)Google Cloud Platform PricingDeploying a personal blog on Kubernetes sounds like overkill (I must admit, it does). Still, it is fun and an excellent practice to containerize a traditional application, WordPress, which is harder than you thought. More importantly, the financial cost of running ......
84 天前 / PingCAP
在 TiDB 的架构中，所有的数据按照 range 划分成一个个 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万，甚至千万个 Region。而量变引起质变，单 TiKV 实例上过多的 Region 无疑会带来比较大的负担，进而影响整个集群的性能表现。 本文将介绍 TiKV 核心模块 Raftstore 的处理流程以使大家更好得理解海量 Region 导致性能问题的根源，以及针对这种情况的一些优化手段。 Raftstore 的处理流程 大家都知道在一个 TiKV 实例上会有多个 Region，这些 Region 消息处理就是通过 Raftstore 这个模块来驱动的，包......
84 天前 / Tim_Wu
在RTS游戏中，寻路是相对容易的，A*算法可以较高的效率寻到最优解，改变一下估值函数，也可以用更快的速度寻找到次优解，所以寻路在大多数时候并不是问题所在。 假设一个集群，需要从位置A移动到位置B，中间充满了各种障碍，如何移动才显得比较自然？这是一个比较困难的问题。 有一种方案是给每个集群中的单位都做一次寻路，但是寻路算法开销较大，如果集群中的单位较多则会面临性能问题。另一种方案是进行一次寻路，从A到B，然后考虑一种方式使得集群沿着该路径进行移动。 初步的想法很简单，所有单位全部沿路径移动即可。但是由于单位众多，而......