2 天前 / CainGao0
“基本提到日志分析架构都会提到ELK Stack,基本上已经成为最长使用的日志分析架构。在日常的日志分析领域，简单的数据分析，数据BI等进行支持。” 最近工作的事情安排比较满，没有较多的时间来整理相关的文档内容，不是不更了。是确实有点忙.. 日志系统是什么 在早期的服务器应用故障分析的时候，可能我们直接进入服务器查询相关的日志，定位异常。但是随着服务化与业务的不断增长，部署的机器越来越多。甚至是管理权限中规定不得登陆生产服务器进行任意操作。又或者是由于数据滚动的问题，磁盘容量问题导致日志删除或压缩。......
23 天前 / laoyang360
0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。 Elasticsearch是一种分布式数据存储和搜索引擎，具有容错和高可用性特点。为了充分利用其搜索功能，需要正确配置Elasticsearch。 简单的默认配置不适合每个实际业务场景。实战开发运维中，个性......
30 天前 / 过往记忆大数据
小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。 但是由于小史很久没有背过诗词了，飞一个字很难说出一句，很多之前很熟悉的诗句也想不起来。 【倒排索引】 吕老师：但是我让你说出带“前”字的诗句，由于没有索引，你只能遍历脑海中所有诗词，当你的脑海中诗词量大的时候，就很难在短时间内得到结果了。 【索引量爆炸】 ......
38 天前 / 马蜂窝技术
点击上方“马蜂窝技术”，关注订阅更多优质内容 一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张MySQL 表中，这张中间表对应了业务需要的Elasticsearch 索引，每......
60 天前 / laoyang360
1、问题引出来自星球同学的提问： “Ingest node什么场景会遇到它？ 一直没搜到它是在什么场景工作的？” 的确我们比较关心集群的节点角色的划分。包括： 集群应该几个节点？ 几个节点用于数据存储？ 要不要独立Master节点、协调节点？ 但是Ingest node的场景用的比较少。 2、集群节点角色划分梳理之前的文章：刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解有过解读。本文再参考7.1版本官方文档总结一下： 2.1 主节点主节点负责集群相关的操作，例如创建或删除索引，跟踪哪些节点是集群的一部分，以及决定将哪些分片分配给哪些......
66 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100已经建立了索引test001；数据格式说明为了便于和读者沟通，我们来约定一下如何在文章中表达请求和响应的信息： 假设通过Postman工具向服务器发送一个PUT类型的请求，地址是：http://192.168.119.152:9200/test001/article/1请求的内容是JSON格式的，内容如下：{“id”:1,"ti......
67 天前 / 大数据手稿笔记
不经常关注 Elasticsearch 的同学可能会有点懵，Open Distro for Elasticsearch 是什么？ Open Distro for Elasticsearch 是 AWS 2019年宣布开源的 Elasticsearch 发行版。Open Distro for Elasticsearch 是一款完全社区驱动、100%开源、企业级的增强版 Elasticsearch，自带包含安全、告警、SQL、深度性能分析等在内的诸多核心功能。 Open Distro for Elasticsearch 除了包含最核心的 Elasticsearch 外，还包含Kibana。Kibana 是 Elastic Stack 中的可视化展示组件，熟悉 ELK 技术栈的同学应该比较熟悉 Kibana，这里不多做介绍了。下文主要介......
68 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100索引基本操作接下来打开Postman软件，开始实战； 创建名为test001索引，在postman的操作如下图红框1、2、3所示，操作类型是PUT，地址：http://192.168.119.152:9200/test001如上所示，类型选择PUT，红框4的返回值200表示操作成功，红框5中是elasticsearch返回的具体信息；上......
81 天前 / 公众号_小哈学Java
点击蓝色“小哈学Java”关注我哟 加个“星标”，第一时间获取小哈推送的文章哦！ 目录一、背景 二、题外话 三、开始排查 四、为什么索引处于只读状态呢？ 五、如何解决 一、背景前几天小哈在钉钉群里收到重庆业务线反馈，说是中台数据传输中间件在同步 Mysql 增量数据到 Elasticsearch 总是失败。 二、题外话你说的这个数据传输和阿里云提供的数据传输DTS是一个东西吗？ 不是！上面说的数据传输是小哈所在的中台研发部自主研发的中间件，目的是为了取代各业务线对阿里DTS同步功能的依赖！ 目前来说，数据传输还是要依赖于阿里开源 ......
84 天前 / Badb0y
概述通过开源软件可以构建一个安全应急响应平台，该平台可以进行日志整合、告警生成、IoC 丰富与事件管理。 在上面的流程图中，作为 HIDS 的 Wazuh 将数据发送回 Wazuh Manager 与 Elasticsearch。ElastAlert 观测到新事件并在 TheHive 中相应生成告警。然后通过 Cortex 与 MISP 查询额外信息丰富该事件，之后自动关闭该事件或提交给分析师。 请注意，系统中的任何端点服务或者可以生成日志传送给 Elasticsearch 的 Agent 都可以被替代。该套系统的好处在于绝大多数的组件都可以替换。 WazuhWazuh 是一个开源安全监控解决方案，用于收集、分......
87 天前 / laoyang360
0、背景2019年5月21日，Elastic官方发布消息： Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为 Kibana 提供全面保护。 免费提供的核心安全功能如下： 1）TLS 功能。 可对通信进行加密； 2）文件和原生 Realm。 可用于创建和管理用户； 3）基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限；通过针对 Kibana Spaces 的安全功能，还可允许在Kibana 中实现多租户。 网上千篇一......
87 天前 / Allo
最近基于 Elastic Stack 搭建了一个日语搜索服务，发现日文的搜索相比英语和中文，有不少特殊之处，因此记录下用 Elasticsearch 搭建日语搜索引擎的一些要点。本文所有的示例，适用于 Elastic 6.X 及 7.X 版本。 #日语搜索的特殊性以 Elastic 的介绍语「Elasticsearchは、予期した結果や、そうでないものも検索できるようにデータを集めて格納するElastic Stackのコア製品です」为例。作为搜索引擎，当然希望用户能通过句子中的所有主要关键词，都能搜索到这条结果。 和英文一样，日语的动词根据时态语境等，有多种变化。如例句中的「集めて」......
99 天前 / 滴滴技术
Elasticsearch是基于Lucene实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介滴滴2016年初开始构建Elasticsearch平台，如今已经发展到超过3500+Elasticsearch实例，超过5PB的数据存储，峰值写入tps超过了2000w/s的超大规模。 Elasticsearch在滴滴有着非常丰富的使用场景，例如线上核心的打车地图搜索，客服、运营的多维度查询，滴滴日志服务等近千个平台用户。 超大的规模......
99 天前 / 37丫37
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标题有多匹配，计算的是查询与文档的相关程度，计算完成之后会算出一个评分，记录在_score字段中，并最终按照_score字段来对所有检索到的文档进行排序 Filter过滤不会......