1 天前 / 滴滴技术
Elasticsearch是基于Lucene实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介滴滴2016年初开始构建Elasticsearch平台，如今已经发展到超过3500+Elasticsearch实例，超过5PB的数据存储，峰值写入tps超过了2000w/s的超大规模。 Elasticsearch在滴滴有着非常丰富的使用场景，例如线上核心的打车地图搜索，客服、运营的多维度查询，滴滴日志服务等近千个平台用户。 超大的规模......
4 天前 / 程序员果果
一、简介1. 什么是docker swarmSwarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。 Docker Swarm 是一个为 IT 运维团队提供集群和调度能力的编排工具。用户可以把集群中所有 Docker Engine 整合进一个「虚拟 Engine」的资源池，通过执行命令与单一的主 Swarm 进行沟......
6 天前 / buildupchao
0.背景有这么一个场景，我们有两个Hive集群，Hive集群1（后面成为1号集群）是一直专享于数据计算平台的，而Hive集群2（后面成为2号集群）是用于其他团队使用的，比如特征，广告等。而由此存在两个主要问题：a) 两个Hive集群共享了同一份MetaData，导致经常会出现在HUE（建立与2号集群上）上建表成功后，但是在计算平台上却无法查询到新建表信息；b) 让运维同学们同时维护两套集群，管理和资源分配调整起来的确是麻烦很多，毕竟也不利于资源的弹性分配。那么鉴于此，经过讨论，需要做这么一样工作：两个集群合二为一，由1号集群合并到2号集群上来......
23 天前 / 泥瓦匠BYSocket
索引（Index） 索引，用于区分文档成组，即分到一组的文档集合。索引，用于存储文档和使文档可被搜索。比如项目索引命名为 project ，交易索引命名为 trade 等。 类型（Type） 类型，用于区分索引中的文档，即在索引中对数据逻辑分区。比如设计项目分为 ui 、 ux 这些类型。可以放在该类目进行区分。但一般操作，很少用到这么复杂的。 可见， _index 索引的重要性。避免某个索引存储不相关的数据。 二、ES 集群ES 集群搭建，文章很多。我这边也不一一列举了。先看 ES 集群分布式图 集群（Cluster）跟服务器集群类似，多个 ElasticSearch 运......
24 天前 / 逗逗
点击蓝字关注△回复【架构】领取BAT架构专题合集 前一篇谈了Redis高并发快的3个原因，本篇主要谈Redis的高可用，两篇合起来就可以把redis的高并发和高可用搞清楚了。 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢？这时候就需要哨兵和复制。 哨兵(Sentinel)：可以管理多个Redis服务器，它提供了监控，提醒以及自动的故障转移的功能。 复制(Replication)：则是负责让一个Redis服务器可以配备多个备份的服务器。 Redis正是利用这两个功能来保证Redis的高可用。 哨兵（sentinal）哨兵是Redis集群架构中非常重......
31 天前 / mr7
摘要：作为noSql中的kv数据库的王者，redis以其高性能，低时延，丰富的数据结构备受开发者青睐，但是由于redis在水平伸缩性上受限，如何做到能够水平扩容，同时对业务无侵入性是很多使用redis的开发人员都会面临的问题，而redis分布式解决方案的一个开源产品【codis】较好的弥补了这一弱势，本文主要讲解codis是如何做到对业务无感知，平滑迁移，迁移性能高，迁移异常处理，高可用以及常见的redis的避坑指南，虽然codis目前随着公司的nosql产品越来越成熟，生命周期也即将结束，不过鉴于还有很多同学对codis的原理比较感兴趣，于是将......
32 天前 / 猿天地
这篇文章主要讲了Codis作为分布式集群的开源方案带来的优势和面临的弊端，毕竟原生的Redis集群坑太多了。前言 Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。 在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部署在云服务器上的，这个也会受到CPU的使用率的影响。 所以，......
52 天前 / 秦夏
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。 但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据，如果真的够大，是真的很费钱。 以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。 因此我们有很强的节省成本的动力。 另一方面，之前我在思考作为公共部门和基础设施部门，在不做业务不赚钱的情况下，怎......
52 天前 / TaoBeier
首发于k8s生态写文章使用 Kind 搭建你的本地 Kubernetes 集群TaoBeier二次元/程序猿 公众号: MoeLove7 人赞同了该文章Kind是我很喜欢也一直在参与的项目，我计划将 Kind 相关的文章写成一个系列。（flag++） 这是第一篇。Kind 介绍Kind 是 Kubernetes In Docker 的缩写，顾名思义是使用 Docker 容器作为 Node 并将 Kubernetes 部署至其中的一个工具。官方文档中也把 Kind 作为一种本地集群搭建的工具进行推荐。 安装二进制安装Kind 使用 Golang 进行开发，在仓库的 Release页面，已经上传了构建好的二进制，支持多种操作系统，可直接按需下载进行......
53 天前 / 匡匡
导语：atlas是开源的元数据管理系统，其包含了元数据治理的基本功能；包括对术语和标签的定义、数据血缘的记录、元数据的采集等功能。对于了解元数据的治理系统的构建过程具有参考意义。本文从实际搭建角度列出一些注意事项，以帮助调研元数据系统的开发者少走弯路。 一、修改依赖的kafka版本1、出现的错误 由于atlas官网用的kafka官网版本1.0.0，而CDH上用的是0.9.0-kafka-2.0.2版本。api的版本不一致，导致报下面的错误。 2、解决方案 要么改atlas源码中kafka的版本，要么hadoop机器集群改用atlas源码当中兼容的kafka版本。 这里我......
65 天前 / php-v
作者介绍 冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。 公司从建设Hadoop起，采用了Apache社区版本的Hadoop，随着业务的发展，集群规模越来越来大，现已突破百余节点。 在频繁的更改配置、增删节点、监控告警等操作中，传统手工运维的弊端被放得越来越大，日常维护消耗了工程师大量的时间和精力。 现状的产生是可以理解的，公司基础架构的发展往往始于快速搭建，然后在崩溃中挣扎，最后瓶颈痛苦后经历重构。本文将介绍，我们团队如何一步一步优化Had......
71 天前 / xF0rk
前言Kubernetes是一个开源的，用于编排云平台中多个主机上的容器化的应用，目标是让部署容器化的应用能简单并且高效的使用, 提供了应用部署，规划，更新，维护的一种机制。其核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着，管理员可以加载一个微型服务，让规划器来找到合适的位置，同时，Kubernetes在系统提升工具以及人性化方面，让用户能够方便的部署自己的应用。有着以上优点，让kubernetes越来越流行。同时，安全问题逐渐明显起来。 一、核心组件与资源对象常见的Kubernetes集群结构图如下，Master节点是集......
72 天前 / 微服务蜂巢
点击上方蓝色字关注我们~Alpha可以通过扩展部署节点个数实现高可用集群部署，并且通过在节点上设置启动参数 alpha.event.scanner.enabled=false 关闭某些节点的后台定时执行的事务扫描，避免多个节点同时扫描事物表而可能导致的性能问题。但是当启动事务扫描的进程宕机后会导致没有进程进行事务扫描，从而导致事务补偿失败。 在0.4.0版本中，我们通过一种基于数据库表的抢占锁机制，实现Alpha集群中主节点的动态选举，并让事务扫描方法只在主节点上执行。当主节点宕机后其他节点通过抢占的方式选出一个新的主节点，本文将介绍在0.4.0版本相......