14 小时前 / laoyang360
1、问题引出来自星球同学的提问： “Ingest node什么场景会遇到它？ 一直没搜到它是在什么场景工作的？” 的确我们比较关心集群的节点角色的划分。包括： 集群应该几个节点？ 几个节点用于数据存储？ 要不要独立Master节点、协调节点？ 但是Ingest node的场景用的比较少。 2、集群节点角色划分梳理之前的文章：刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解有过解读。本文再参考7.1版本官方文档总结一下： 2.1 主节点主节点负责集群相关的操作，例如创建或删除索引，跟踪哪些节点是集群的一部分，以及决定将哪些分片分配给哪些......
7 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100已经建立了索引test001；数据格式说明为了便于和读者沟通，我们来约定一下如何在文章中表达请求和响应的信息： 假设通过Postman工具向服务器发送一个PUT类型的请求，地址是：http://192.168.119.152:9200/test001/article/1请求的内容是JSON格式的，内容如下：{“id”:1,"ti......
8 天前 / 大数据手稿笔记
不经常关注 Elasticsearch 的同学可能会有点懵，Open Distro for Elasticsearch 是什么？ Open Distro for Elasticsearch 是 AWS 2019年宣布开源的 Elasticsearch 发行版。Open Distro for Elasticsearch 是一款完全社区驱动、100%开源、企业级的增强版 Elasticsearch，自带包含安全、告警、SQL、深度性能分析等在内的诸多核心功能。 Open Distro for Elasticsearch 除了包含最核心的 Elasticsearch 外，还包含Kibana。Kibana 是 Elastic Stack 中的可视化展示组件，熟悉 ELK 技术栈的同学应该比较熟悉 Kibana，这里不多做介绍了。下文主要介......
9 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100索引基本操作接下来打开Postman软件，开始实战； 创建名为test001索引，在postman的操作如下图红框1、2、3所示，操作类型是PUT，地址：http://192.168.119.152:9200/test001如上所示，类型选择PUT，红框4的返回值200表示操作成功，红框5中是elasticsearch返回的具体信息；上......
22 天前 / 公众号_小哈学Java
点击蓝色“小哈学Java”关注我哟 加个“星标”，第一时间获取小哈推送的文章哦！ 目录一、背景 二、题外话 三、开始排查 四、为什么索引处于只读状态呢？ 五、如何解决 一、背景前几天小哈在钉钉群里收到重庆业务线反馈，说是中台数据传输中间件在同步 Mysql 增量数据到 Elasticsearch 总是失败。 二、题外话你说的这个数据传输和阿里云提供的数据传输DTS是一个东西吗？ 不是！上面说的数据传输是小哈所在的中台研发部自主研发的中间件，目的是为了取代各业务线对阿里DTS同步功能的依赖！ 目前来说，数据传输还是要依赖于阿里开源 ......
24 天前 / Badb0y
概述通过开源软件可以构建一个安全应急响应平台，该平台可以进行日志整合、告警生成、IoC 丰富与事件管理。 在上面的流程图中，作为 HIDS 的 Wazuh 将数据发送回 Wazuh Manager 与 Elasticsearch。ElastAlert 观测到新事件并在 TheHive 中相应生成告警。然后通过 Cortex 与 MISP 查询额外信息丰富该事件，之后自动关闭该事件或提交给分析师。 请注意，系统中的任何端点服务或者可以生成日志传送给 Elasticsearch 的 Agent 都可以被替代。该套系统的好处在于绝大多数的组件都可以替换。 WazuhWazuh 是一个开源安全监控解决方案，用于收集、分......
28 天前 / laoyang360
0、背景2019年5月21日，Elastic官方发布消息： Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为 Kibana 提供全面保护。 免费提供的核心安全功能如下： 1）TLS 功能。 可对通信进行加密； 2）文件和原生 Realm。 可用于创建和管理用户； 3）基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限；通过针对 Kibana Spaces 的安全功能，还可允许在Kibana 中实现多租户。 网上千篇一......
28 天前 / Allo
最近基于 Elastic Stack 搭建了一个日语搜索服务，发现日文的搜索相比英语和中文，有不少特殊之处，因此记录下用 Elasticsearch 搭建日语搜索引擎的一些要点。本文所有的示例，适用于 Elastic 6.X 及 7.X 版本。 #日语搜索的特殊性以 Elastic 的介绍语「Elasticsearchは、予期した結果や、そうでないものも検索できるようにデータを集めて格納するElastic Stackのコア製品です」为例。作为搜索引擎，当然希望用户能通过句子中的所有主要关键词，都能搜索到这条结果。 和英文一样，日语的动词根据时态语境等，有多种变化。如例句中的「集めて」......
39 天前 / 滴滴技术
Elasticsearch是基于Lucene实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介滴滴2016年初开始构建Elasticsearch平台，如今已经发展到超过3500+Elasticsearch实例，超过5PB的数据存储，峰值写入tps超过了2000w/s的超大规模。 Elasticsearch在滴滴有着非常丰富的使用场景，例如线上核心的打车地图搜索，客服、运营的多维度查询，滴滴日志服务等近千个平台用户。 超大的规模......
40 天前 / 37丫37
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标题有多匹配，计算的是查询与文档的相关程度，计算完成之后会算出一个评分，记录在_score字段中，并最终按照_score字段来对所有检索到的文档进行排序 Filter过滤不会......
41 天前 / laoyang360
0、监控Elasticsearch集群的重要性Elasticsearch具有通用性，可扩展性和实用性的特点，集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反，不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。 适当地监视群集可以帮助您实时监控集群规模，并且可以有效地处理所有数据请求。 本文我们将从五个不同的维度来看待集群，并从这些维度中提炼出监控的关键指标，并探讨通过观察这些指标可以避免哪些潜在问题。 1、集群健康维度：分片和节点集群、索引、分片、副本的定义不再赘述。分......
47 天前 / 逗逗
上两篇文章《基于HBase+ElasticSearch进行用户画像查询（二）》、《ElasticSearch之复杂搜索及分页（一）》提到ElasticSearch组件的实际应用，ElasticSearch在亿级海量数据中多维度检索数据具有非常好的性能。本文主要对ElasticSearch底层原理浅析。 一、基本概念 索引（Index） ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合，类比传统关系型数据库的一个数据库（database），或者一个数据存储方案（schema）。索引由其名称（必须全小写字符）进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。 类型......
48 天前 / 北冥有鱼
“Elasticsearch 基于 Lucene，隐藏其复杂性，并提供简单易用的 Restful API接口、Java API 接口。所以理解 ES 的关键在于理解 Lucene 的基本原理。 Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，使它在读写时几乎完全避免了锁的出现，大大提升了读写性能。 核心模块 Lucene 的写流程和读流程如下图所示： ......
52 天前 / laoyang360
1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案。 那么问题是：为什么好多初学的朋友，找不到答案呢。 观察和思考了很久。我认为最主要的问题在于，没有建立基础知识全貌的认知。 正所谓“站的更高、才能看的更远”，才能不拘泥于某个细节，从整体而非局部看问题，才能触类旁通，更快找到问题的底层原因，进而解决......