7 天前 / php-v
作者介绍 冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。 公司从建设Hadoop起，采用了Apache社区版本的Hadoop，随着业务的发展，集群规模越来越来大，现已突破百余节点。 在频繁的更改配置、增删节点、监控告警等操作中，传统手工运维的弊端被放得越来越大，日常维护消耗了工程师大量的时间和精力。 现状的产生是可以理解的，公司基础架构的发展往往始于快速搭建，然后在崩溃中挣扎，最后瓶颈痛苦后经历重构。本文将介绍，我们团队如何一步一步优化Had......
13 天前 / xF0rk
前言Kubernetes是一个开源的，用于编排云平台中多个主机上的容器化的应用，目标是让部署容器化的应用能简单并且高效的使用, 提供了应用部署，规划，更新，维护的一种机制。其核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着，管理员可以加载一个微型服务，让规划器来找到合适的位置，同时，Kubernetes在系统提升工具以及人性化方面，让用户能够方便的部署自己的应用。有着以上优点，让kubernetes越来越流行。同时，安全问题逐渐明显起来。 一、核心组件与资源对象常见的Kubernetes集群结构图如下，Master节点是集......
14 天前 / 微服务蜂巢
点击上方蓝色字关注我们~Alpha可以通过扩展部署节点个数实现高可用集群部署，并且通过在节点上设置启动参数 alpha.event.scanner.enabled=false 关闭某些节点的后台定时执行的事务扫描，避免多个节点同时扫描事物表而可能导致的性能问题。但是当启动事务扫描的进程宕机后会导致没有进程进行事务扫描，从而导致事务补偿失败。 在0.4.0版本中，我们通过一种基于数据库表的抢占锁机制，实现Alpha集群中主节点的动态选举，并让事务扫描方法只在主节点上执行。当主节点宕机后其他节点通过抢占的方式选出一个新的主节点，本文将介绍在0.4.0版本相......
18 天前 / WilliamGuo
不负众望，1.5.0版本正式发布 https://github.com/Qihoo360/wayne/releases 本次更新基本涵盖了Kubernetes常用资源管理（可以彻底抛弃官方dashbord啦），并且还增加了service和ingress自动注入注解，更好的支持了公有云。## 更新详情：## [v1.5.0](https://github.com/Qihoo360/wayne/tree/v1.5.0) (2019-03-01)[Full Changelog](https://github.com/Qihoo360/wayne/compare/v1.4.3...v1.5.0)**Implemented enhancements:**- Model support toggle full screen [\#311](https://github.com/Qihoo360/wayne/issues/311)- Support command and args ......
19 天前 / phperzone
对于分布式系统而言，整个集群处理请求的效率和存储容量，往往取决于集群中响应最慢或存储增长最快的节点。所以在系统设计和容量规划时，我们尽量保障集群中各节点的“数据和请求分布均衡“。但在实际生产系统中，出现数据容量和请求倾斜(类似Data Skew）问题是比较常见的。 示例：2019年春节抽奖服务，业务评估峰值qps是2w，转化到redis集群为10w qps和5GB内存存储，部署5个分片每个分片1GB+2W qps的redis集群（包含预留容量）。结果活动开始时，才发现服务存在”热点key"，请求严重倾斜, 峰值时的6w qps都集中到其中一个分片,导致这分片过载，整......
22 天前 / yangyidba
前言因为公司技术方面的需求，前一段时间折腾了一下elasticsearch,总体技术水平能够达到简历上的“熟悉”的程度。 有管理ES集群经验的朋友肯定都知道elasticsearch的head插件能够实现对es集群的查看，索引分片，展示数据分布等功能，但是在页面美观上有点欠缺。本文介绍一款es集群管理平台--cerebro。 cerebro简介cerebro算是一款"绿色"软件，只要有标准的java环境，下载解压之后即可使用。 在功能上cerebro支持节点状态监控 服务器磁盘空间，cpu，load，索引数量大小 ，数据分布位置等监控。 支持查询。 安装wget "https://github.com/lmeneze......
22 天前 / 2020Labs小助手
作者：Anton Hgerstrand 翻译：杨振涛 Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。在经历了一些波折之后，最终我们认为做出了正确的技术选型。 Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将......
28 天前 / 程序猿DD-翟永超
前情回顾： 《Spring Cloud Alibaba基础教程：使用Nacos实现服务注册与发现》《Spring Cloud Alibaba基础教程：支持的几种服务消费方式》《Spring Cloud Alibaba基础教程：使用Nacos作为配置中心》《Spring Cloud Alibaba基础教程：Nacos配置的加载规则详解》《Spring Cloud Alibaba基础教程：Nacos配置的多环境管理》《Spring Cloud Alibaba基础教程：Nacos配置的多文件加载与共享配置》《Spring Cloud Alibaba基础教程：Nacos的数据持久化》继续说说生产环境的Nacos搭建，通过上一篇《Spring Cloud Alibaba基础教程：Nacos的数据持久化》的介绍......
42 天前 / mr7
引言今天是2019年2月6号，也就是大年初二，我接到了高中同学刘有码面试失利的消息。 他面试的时候，身份是某知名公司的小码农一枚，却因为不懂自己生产上Redis是如何部署的，导致面试失败！ 人间惨剧，莫过于此。 接到他面试失利的消息，我差点发出猪一样的笑声，显然是平时太少关注孤独烟这个公众号！ 我提笔6次，放笔6次，差点因为过于兴奋而没法编下去。最后还是硬着头皮写下了本文! 因此,今天我们来谈谈Redis集群这个话题，需要说明的是本文 适合人群：不知道自己生产Redis集群架构，以及对Redis集群不了解的人 不适合群: 对自己生产Red......
54 天前 / 深广大数据Club
微信公众号：深广大数据Club 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果你觉得深广大数据Club对你有帮助，欢迎转发朋友圈 本文介绍如何部署Apache Flink On YARN(也就是如何在YARN上运行Flink作业)，采用HDP 2.6.5以及Apache Flink 1.7.2。 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色，可以更好对集群资源进行调度和控制。 此处不对HDP安装做讲述，需要安装HDP的可以通过HDP官网安装指南进行安装。 官方文档QuickStart中包含两种Flink启动方式： 启动一个YARN session(Start a long-running Flin......
65 天前 / 逗逗
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 Fayson在之前的文章中介绍过《CDH网络要求(Lenovo参考架构)》，《如何为Hadoop集群选择正确的硬件》和《CDH安装前置准备》，而我们在搭建Hadoop集群时，还一件很重要的事就是如何给集群分配角色。 本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量，真实要部署的哪些服务，硬件资源，......
69 天前 / cbsfly
写这篇文章原因所有监控的agent底层最终都是查询的/proc和/sys里的信息推送(如果错了轻喷)，因为在Kubernetes中收集宿主机信息方面也想用pod跑，会面临到问题。 常见的zabbix_agent默认读取fs的/proc和/sys，容器跑agent会导致读取的不是宿主机的/proc和/sys。 而prometheus的node-exporter有选项--path.procfs和--path.sysfs来指定从这俩选项的值的proc和sys读取，容器跑node-exporter只需要挂载宿主机的/proc和/sys到容器fs的某个路径挂载属性设置为readonly后用这两个选项指定即可，zabbix4.0看了文档和容器都找不到类似选项应该不支持。 虽......
77 天前 / 好雨科技
今天，终于，官宣，Rainbond v5.0正式发布！ 今天，终于，官宣，Rainbond v5.0正式发布！ 今天，终于，官宣，Rainbond v5.0正式发布！ Rainbond是开源的企业应用云操作系统，支撑企业应用的开发、架构、交付和运维的全流程，通过无侵入架构，无缝衔接各类企业应用，底层资源可以对接和管理IaaS、虚拟机和物理服务器。我们在5.0版本中进行了大量优化重构，同时也增加了多项重要的功能，使得Rainbond的社区兼容性和稳定性得到全面提升。 · 特· 别· 致· 谢· 此前发布的Beta版本，经过几十家企业用户安装试用，并积极给予我们反馈和支持，......
85 天前 / CodeSheep
文章共 1273字，阅读大约需要 4分钟，文尾有计时器可自行对时！ 概 述Kubernetes集群的搭建方法其实有多种，比如我在之前的文章《利用K8S技术栈打造个人私有云（连载之：K8S集群搭建）》中使用的就是二进制的安装方法。虽然这种方法有利于我们理解 k8s集群，但却过于繁琐。而 kubeadm是 Kubernetes官方提供的用于快速部署Kubernetes集群的工具，其历经发展如今已经比较成熟了，利用其来部署 Kubernetes集群可以说是非常好上手，操作起来也简便了许多，因此本文详细叙述之。 注：本文首发于 作者公众号CodeSheep，可长按/扫描下面的小心心来订阅......