2 天前 / 携程技术
作者简介 Liang，携程研发总监，关注 DevOps，前端 & 服务端质量保障、能效提升； Tony，携程资深测试经理，关注自动化测试框架及平台类工具开发。 一、背景 在携程内部业务高频率敏捷迭代发布节奏下，线上生产服务质量需要同步快速提升。这就依赖自动化测试的覆盖率提升，测试任务执行频次提升，测试任务执行速率提升。 通过调研机票前台内部，以及携程其他事业部前台研发和测试团队，发现存在普遍共性痛点。需要清晰化解耦自动化测试体系的三层架构，解决当前核心瓶颈。 SaaS 上层服务，例如 UI 测试，API 测试，兼容性测试，稳定性测试。
6 天前 / 知了一笑
一、Spark 概述 1、Spark 简介 Spark 是专为大规模数据处理而设计的，基于内存快速通用，可扩展的集群计算引擎，实现了高效的 DAG 执行引擎，可以通过基于内存来高效处理数据流，运算速度相比于 MapReduce 得到了显著的提高。 2、运行结构 Driver 运行 Spark 的 Applicaion 中 main()函数，会创建 SparkContext，SparkContext 负责和 Cluster-Manager 进行通信，并负责申请资源、任务分配和监控等。
6 天前 / felbry
首发于 SH 的全栈笔记写文章简单了解一下 K8S，并搭建自己的集群 SH 的全栈笔记欢迎微信关注【SH 的全栈笔记】226 人赞同了该文章距离上次更新已经有一个月了，主要是最近工作上的变动有点频繁，现在才暂时稳定下来。这篇博客的本意是带大家从零开始搭建 K8S 集群的。但是我后面一想，如果是我看了这篇文章，会收获什么？就是跟着步骤一步一走吗？是我的话我会选择拒绝，所以我加了关于 K8S 的简单介绍，每一步的步骤都添加了解释。由于篇幅和时间原因，我只介绍了 K8S 中较为核心的 Pod 和 Service。
16 天前 / 铭毅天下001
1、实战遇到的问题问题描述：如何在一个四个节点的集群中，将主节点中的数据分散到其他节点中去，最后主节点没有数据？ 问题细节： 线上环境有 4 个节点，单节点为 48 核的物理机，252G 的内存。 数据每日增量不大，累计数据就一个 TB 左右。数据的类型为文书类数据。 核心数据就一个索引，设置了 48 个分片。 只设置了一个主节点（同时是数据节点），其余三个仅数据节点。 2、问题解读抛开节点配置、集群部署层面的问题。
23 天前 / kafeidou
接安全部门的行政要求，生产环境上百台 RocketMQ 机器必须在半个月内升级，必须支持 ACL，规避安全风险。 RocketMQ 集群的升级方案、落地实施就自然而然的落到了我的头上，本文不仅要介绍一下笔者是如何升级的，更想展示作为一名架构师，处理这些问题的方法论，展示大厂架构师的工作日常。 1、版本升级的迫切性说来惭愧，作为 RocketMQ 社区优秀布道师，笔者所在公司的 RocketMQ 服务端版本竟然还是 4.1.0，RocketMQ 在 4.4.0 版本之前是不支持 ACL( 访问控制)，对应生产环境中任意一台机器都可以订阅任意 topic...
31 天前 / xF0rk
在 Kubernetes 中，Secret 显得尤其重要。因为它是 K8s 中存储所有敏感信息的对象。据悉，这些敏感信息包含密码、集群的证书、OAuth token、ssh key 以及其他用户自定义的敏感文件等。因此，一旦 K8s 中 Secret 出现安全问题，后果将非常严重。此外，虽然社区提供了一定的安全防护方案，但是依然存在诸多问题。 K8s Secret 面临着哪些安全问题？这些安全问题会带来什么影响？社区提供的解决方案存在哪些不足？......针对这些问题，InfoQ 记者采访了蚂蚁集团高级工程师秦凯伦，他专注于可信计算、系统安全和虚拟化等领域...
33 天前 / 码路印记
跟着本系列一路走来，我们已经知道 Redis 通过主从复制为手动故障转移提供了可能，通过哨兵模式实现了监控及自动故障转移。Redis 高性能的表现，使得哨兵模式可以一般规模的应用中轻松应对。 随着业务系统功能、模块、规模、复杂性的增加，我们对 Redis 的要求越来越高，尤其是在高低峰场景的动态伸缩能力，比如：电商平台平日流量较低且平稳，双十一大促流量是平日的数倍，两种情况下对于各系统的数量要求必然不同。如果始终配备高峰时的硬件及中间件配置，必然带来大量的资源浪费。 Redis 作为业界优秀的缓存产品，成为了各类系统的必备中间件。
38 天前 / 高飞
前言上一篇简单介绍了 Consul，并使用开发模式（dev）进行流程演示，但在实际开发中需要考虑 Consul 的高可用和操作安全性，所以接着来聊聊集群和 ACL 的相关配置，涉及到的命令会在环境搭建过程中详细介绍。 正文关于集群，第一反应就是多搞几台机器 ( 或者容器等)，将其关联在一块，提供功能即可；在搭建集群环境之前，需要对几个角色进行熟悉，因为在 Consul 中，它们至关重要。见下图 ( 以一个数据中心为例)： 数据中心 (DataCenter)：Consul 运行的节点集连接在一起称为数据中心；在数据中心中...
39 天前 / 码路印记
哨兵模式的自动故障转移能力为其提供高可用保障，同样的，为了提供集群的可用性，Redis Cluster 提供了自动故障检测及故障转移能力。两者在设计思想上有很大的相似之处，本节将围绕这个话题进行剖析。 心跳机制 Redis Cluster 作为无中心的分布式系统，集群容错机制依靠各个节点共同协作，在节点检测到某个节点故障时，通过传播节点故障并达成共识，然后触发一系列的从节点选举及故障转移工作。这一工作完成的基础是节点之间通过心跳机制对集群状态的维护。
41 天前 / 崔秀龙
在帮助企业进行基于私有环境的云原生转型的过程中，帮客户把存量应用迁移到 Kubenrnetes 上，是个常规任务。通常说来，在解决了初步的技术可行性之后，接下来要解决的就是资源分配的问题，我们已经讨论过，在近乎同样的资源总量情况下，少量大节点构成的集群和大量小节点构成的集群的一些差异，然而这里还是缺少一个完整的方法——如何把现有应用的需求转换为资源设计呢？ 调研要为应用分配资源，首先要明确资源所包含的项目，除了显而易见的 CPU 和内存之外，往往还会包含一些因地制宜的项目...
45 天前 / KevinYan
原文标题：Avoiding Outages in your Kubernetes Cluster using PodDisruptionBudgets 发布时间：Jan 26, 2019 原文链接：https://blog.gruntwork.io/avoiding-outages-in-your-kubernetes-cluster-using-poddisruptionbudgets-ef6a4baa5085 文章作者：yorinasub17 这是我们实现 Kubernetes 集群零停机时间更新的系列文章的第四部分也是最后一部分。在前两篇文章 「 如何优雅地关闭 Kubernetes 集群中的 Pod」和「 借助 Pod 删除事件的传播实现 Pod 摘流」中，我们重点介绍了如何正常关闭集群中现有的 Pod。
46 天前 / flyer0126
对于集群、分布式和微服务，大家在工作中可能经常会听到，但是如果问你它们之间存在什么样的区别和联系，可能你一下子又感觉说不清楚，今天就这个话题，趁着周末时间，跟大家来一起聊聊。 弄明白是什么要做三者之间的对比，首先要弄明白它们分别是什么？ 集群集群是指将多台服务器集中在一起，每台服务器都实现相同的业务，做相同的事情。 但是每台服务器并不是缺一不可，存在的作用主要是缓解并发压力和单点故障转移问题。我们可以利用一些廉价的符合工业标准的硬件构造高扩展、高性能、低成本、高可用的系统。
51 天前 / HelloGitHub
本文作者：HelloGitHub- 老荀 Hi，这里是 HelloGitHub 推出的 HelloZooKeeper 系列，免费开源、有趣、入门级的 ZooKeeper 教程，面向有编程基础的新手。 项目地址：https://github.com/HelloGitHub-Team/HelloZooKeeper 前一篇文章我们介绍了 ZK 是如何进行持久化的，这章我们将正式学习 Follower 或 Observer 是如何在选举之后和 Leader 进行数据同步的。 一、选举完成 经历了选举之后，我们的马果果荣耀当选当前办事处集群的 Leader，所以现在假设各个办事处的关系图是这样： 我们现在就来说说马小云和马小腾是如何同马果果进行数据同步的。
52 天前 / 崔秀龙
地址 Kubenurse：https://github.com/postfinance/kubenurse 简介在 Kubernetes 集群运行中，一个常见故障就是集群内网络故障，经常会因为临时策略变更或者网络抖动导致一些古怪问题，而实际场景里的虚拟机和网络的监控经常是由其它部门管理的，如果从业务和 Kubernetes 这样的上层设施着手，可能需要一些时间才能解决问题。kubenurse 项目使用 HTTP 检测的方式提供了常用的几个监控指标。 这个工具的实现也很直接，用 Daemonset 的形式部署在每个集群节点上，每个 Pod 都会通过 HTTP 检测的方式对上述几种目标分别进行访问...