14 天前 / 公众号_小哈学Java
点击上方“小哈学Java”，选择“星标” 回复“666”，领取100G独家整理的学习资料哟~ 在 Elasticsearch 中，索引是一个非常重要的概念，它是具有相同结构的文档集合。类比关系型数据库，比如 Mysql, 你可以把它对标看成和库同级别的概念。 今天小哈将带着大家了解, 在 Elasticsearch 中，都是如何对索引进行操作的。 目录一、创建索引 二、删除索引 三、获取索引信息 四、打开/关闭索引 一、创建索引1.1 开始创建索引您可以通过 Elasticsearch 的 RESTFul API 来创建索引： PUT http://127.0.0.1:9200/commodity 注意：默认......
22 天前 / laoyang360
1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素，包括外部因素，如负载均衡设置，网络延迟（带宽，NIC卡/驱动程序）等。本文主要讨论可能导致慢查询的原因以及如何在Elasticsearch的上下文中识别它们？本文主要源于常见慢查询故障的排除方法，阅读本文的前提需要你对Elasticsearch的原理有大致的了解。如果不了解Elastic相关原理，可以移步：elastic.blog.csdn.net 或 历史文......
27 天前 / CainGao0
“基本提到日志分析架构都会提到ELK Stack,基本上已经成为最长使用的日志分析架构。在日常的日志分析领域，简单的数据分析，数据BI等进行支持。” 最近工作的事情安排比较满，没有较多的时间来整理相关的文档内容，不是不更了。是确实有点忙.. 日志系统是什么 在早期的服务器应用故障分析的时候，可能我们直接进入服务器查询相关的日志，定位异常。但是随着服务化与业务的不断增长，部署的机器越来越多。甚至是管理权限中规定不得登陆生产服务器进行任意操作。又或者是由于数据滚动的问题，磁盘容量问题导致日志删除或压缩。......
48 天前 / laoyang360
0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。 Elasticsearch是一种分布式数据存储和搜索引擎，具有容错和高可用性特点。为了充分利用其搜索功能，需要正确配置Elasticsearch。 简单的默认配置不适合每个实际业务场景。实战开发运维中，个性......
56 天前 / 过往记忆大数据
小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。 但是由于小史很久没有背过诗词了，飞一个字很难说出一句，很多之前很熟悉的诗句也想不起来。 【倒排索引】 吕老师：但是我让你说出带“前”字的诗句，由于没有索引，你只能遍历脑海中所有诗词，当你的脑海中诗词量大的时候，就很难在短时间内得到结果了。 【索引量爆炸】 ......
64 天前 / 马蜂窝技术
点击上方“马蜂窝技术”，关注订阅更多优质内容 一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张MySQL 表中，这张中间表对应了业务需要的Elasticsearch 索引，每......
86 天前 / laoyang360
1、问题引出来自星球同学的提问： “Ingest node什么场景会遇到它？ 一直没搜到它是在什么场景工作的？” 的确我们比较关心集群的节点角色的划分。包括： 集群应该几个节点？ 几个节点用于数据存储？ 要不要独立Master节点、协调节点？ 但是Ingest node的场景用的比较少。 2、集群节点角色划分梳理之前的文章：刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解有过解读。本文再参考7.1版本官方文档总结一下： 2.1 主节点主节点负责集群相关的操作，例如创建或删除索引，跟踪哪些节点是集群的一部分，以及决定将哪些分片分配给哪些......
92 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100已经建立了索引test001；数据格式说明为了便于和读者沟通，我们来约定一下如何在文章中表达请求和响应的信息： 假设通过Postman工具向服务器发送一个PUT类型的请求，地址是：http://192.168.119.152:9200/test001/article/1请求的内容是JSON格式的，内容如下：{“id”:1,"ti......
93 天前 / 大数据手稿笔记
不经常关注 Elasticsearch 的同学可能会有点懵，Open Distro for Elasticsearch 是什么？ Open Distro for Elasticsearch 是 AWS 2019年宣布开源的 Elasticsearch 发行版。Open Distro for Elasticsearch 是一款完全社区驱动、100%开源、企业级的增强版 Elasticsearch，自带包含安全、告警、SQL、深度性能分析等在内的诸多核心功能。 Open Distro for Elasticsearch 除了包含最核心的 Elasticsearch 外，还包含Kibana。Kibana 是 Elastic Stack 中的可视化展示组件，熟悉 ELK 技术栈的同学应该比较熟悉 Kibana，这里不多做介绍了。下文主要介......
94 天前 / zq2599
基本情况介绍本次实战的elasticsearch环境以及搭建完毕，是由两个机器搭建的集群，并且elasticsearch-head也搭建完成： 一号机器，IP地址：192.168.119.152；二号机器：IP地址：192.168.119.153；elasticsearch-head安装在一号机器，访问地址：http://192.168.119.152:9100索引基本操作接下来打开Postman软件，开始实战； 创建名为test001索引，在postman的操作如下图红框1、2、3所示，操作类型是PUT，地址：http://192.168.119.152:9200/test001如上所示，类型选择PUT，红框4的返回值200表示操作成功，红框5中是elasticsearch返回的具体信息；上......
107 天前 / 公众号_小哈学Java
点击蓝色“小哈学Java”关注我哟 加个“星标”，第一时间获取小哈推送的文章哦！ 目录一、背景 二、题外话 三、开始排查 四、为什么索引处于只读状态呢？ 五、如何解决 一、背景前几天小哈在钉钉群里收到重庆业务线反馈，说是中台数据传输中间件在同步 Mysql 增量数据到 Elasticsearch 总是失败。 二、题外话你说的这个数据传输和阿里云提供的数据传输DTS是一个东西吗？ 不是！上面说的数据传输是小哈所在的中台研发部自主研发的中间件，目的是为了取代各业务线对阿里DTS同步功能的依赖！ 目前来说，数据传输还是要依赖于阿里开源 ......
109 天前 / Badb0y
概述通过开源软件可以构建一个安全应急响应平台，该平台可以进行日志整合、告警生成、IoC 丰富与事件管理。 在上面的流程图中，作为 HIDS 的 Wazuh 将数据发送回 Wazuh Manager 与 Elasticsearch。ElastAlert 观测到新事件并在 TheHive 中相应生成告警。然后通过 Cortex 与 MISP 查询额外信息丰富该事件，之后自动关闭该事件或提交给分析师。 请注意，系统中的任何端点服务或者可以生成日志传送给 Elasticsearch 的 Agent 都可以被替代。该套系统的好处在于绝大多数的组件都可以替换。 WazuhWazuh 是一个开源安全监控解决方案，用于收集、分......
113 天前 / laoyang360
0、背景2019年5月21日，Elastic官方发布消息： Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为 Kibana 提供全面保护。 免费提供的核心安全功能如下： 1）TLS 功能。 可对通信进行加密； 2）文件和原生 Realm。 可用于创建和管理用户； 3）基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限；通过针对 Kibana Spaces 的安全功能，还可允许在Kibana 中实现多租户。 网上千篇一......
113 天前 / Allo
最近基于 Elastic Stack 搭建了一个日语搜索服务，发现日文的搜索相比英语和中文，有不少特殊之处，因此记录下用 Elasticsearch 搭建日语搜索引擎的一些要点。本文所有的示例，适用于 Elastic 6.X 及 7.X 版本。 #日语搜索的特殊性以 Elastic 的介绍语「Elasticsearchは、予期した結果や、そうでないものも検索できるようにデータを集めて格納するElastic Stackのコア製品です」为例。作为搜索引擎，当然希望用户能通过句子中的所有主要关键词，都能搜索到这条结果。 和英文一样，日语的动词根据时态语境等，有多种变化。如例句中的「集めて」......