3 天前 / 杀死那个程序员
大家好，我是历小冰。在《为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索》一文中，我们讲解了 ElasticSearch 如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析 ElasticSearch 在全文搜索前如何使用 ik 进行分词，让大家对 ElasticSearch 的全文搜索和 ik 中文分词原理有一个全面且深入的了解。 全文搜索和精确匹配 ElasticSearch 支持对文本类型数据进行全文搜索和精确搜索，但是必须提前为其设置对应的类型： keyword 类型，存储时不会做分词处理，支持精确查询和分词匹配查询； text 类型，存储时会进行分词处理...
11 天前 / Golang梦工厂
前言哈喽，大家好，我是 asong，今天与大家聊一聊如何平滑切换线上的 ES 索引。使用过 ES 的朋友们都知道，修改索引真的是一件费时又费力的工作，所以我们应该在创建索引的时候就尽量设计好索引能够满足需求，当然这几乎是不可能的，毕竟存在着万恶的产品经理，所以掌握"平滑切换线上的 ES 索引"就很必要，接下来我们就来看一看如何实现！ 前置条件能够平滑切换线上的 ES 索引需要有两个先决条件，只有满足了这两个条件才能去执行接下来的平滑切换操作，否则一切操作都是白费。
12 天前 / 阿Q说代码
“阅读本文大概需要 5 分钟。 我们上文中介绍的 ES 内部索引的写处理流程是在 ES 的内存中执行的，而数据被分配到特定的主、副分片上之后，最终是存储到磁盘上的，这样在断电的时候就不会丢失数据。具体的存储路径可在配置文件 ../config/elasticsearch.yml 中进行设置，默认存储在安装目录的 Data 文件夹下。建议不要使用默认值，因为若 ES 进行了升级，则有可能导致数据全部丢失。文件配置如下： path.data:/path/to/data// 索引数据 path.logs:/path/to/logs// 日志记录 那么 ES 是怎么将索引从内存中同步到磁盘上的呢？今天我们就来说一下 ES 的存储原...
19 天前 / zlt2000
点击上方“陶陶技术笔记”关注我 回复“资料”获取作者整理的大量学习资料！ file 一、前言 Canal 是阿里的一款开源项目，纯 Java 开发。基于数据库增量日志解析，提供增量数据订阅 & 消费，目前主要支持了 MySQL( 也支持 mariaDB)。 Canal 除了支持 binlog 实时 「增量同步」 数据库之外也支持 「全量同步」，本文主要分享使用 Canal 来实现从 MySQL 到 Elasticsearch 的全量同步； 可通过使用 adapter 的 REST 接口手动触发 ETL 任务，实现全量同步。
20 天前 / 铭毅天下001
1、wildcard 检索定义 wildcard 检索可以定义为：支持通配符的模糊检索。 类似 Mysql 中的 like 模糊匹配，如下所示： Elasticsearch 中的 wildcard 使用方式如下： 通配符运算符是匹配一个或多个字符的占位符。 通配符支持两种： : 支持模糊匹配单个字符。举例：Mas 仅能匹配：Mars, Mass, 和 Maps。: 支持模糊匹配零个或者多个字符。举例：Ma*s 能匹配：Mars, Matches 和 Massachusetts 等。
23 天前 / BloomingRose
ElasticSearch 在使用聚合功能的时候，排序的默认规则是依据命中的文档数量来做一个倒序获取；但有些统计场中并不是命中的文档数量越多其统计的结果就越大，因为很多时候聚合的数据是文档中的其他字段信息。 以上是一个按国家分类的聚合统计，统计的字段分别是销售金额和销售数量，由于每个订单存在的数量和金额都不是对等的，这时候就存在一个问题不能依据订单数量来作为排序依据。 既然是金额当然是需要按照金额量来排序，不是订单数量。所以在定义 aggs 聚合的情况还要再多定义一个排序聚合节点来做一个排序输出。
26 天前 / 雨后天空
2018 年，我写过一篇关于 Clickhouse 的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃： 上个月有 800 个合并的 PR ! 这难道没让你大吃一惊吗？或许需要一小时才能查看完这些变更日志和新功能描述，例如 2020 年：https://clickhouse.tech/docs/en/whats-new/changelog/2020/ 为了公平对比，ElasticSearch 仓库在同一个月有惊人的 1076 个合并 PR，同时在功能性方面，它的节奏也非常让人印象深刻！ 我们正在将 Clickhouse 用于 ApiRoad.net 项目（这是一个 API 市场...
48 天前 / 铭毅天下001
1、线程池相关线上实战问题问题 1：从 Kafka 消费数据导入 elasticsearch 时，批量 bulk 写入抛异常被拒绝。ES 集群四个节点，其中：两个节点 node1 和 node4 thread pool bulk rejected 30 多万条数据，es bulk thread pool 线程数 8、队列 200， Kafka 写线程池 thread 数 2*cores+cores/2、队列数 3。目前是想平衡一下写的速度和 es 处理的速度，不过现在还没有可用环境压测，想问有经验数据或方法参考吗？ 问题 2：多套系统使用一套集群，错误日志如下 {"message":"failedtoexecutepipelineforabulkrequest", "stacktrace":["org.elasticsearch.common...
67 天前 / 攻城狮-正
Elasticsearch (简称ES) 是一个基于 Lucene 的分布式、高扩展、高实时的搜索与数据分析引擎。本章介绍 Spring Boot 应用集成 Elasticsearch ，通过 Spring 封装的API访问 Elasticsearch 。 Spring Data Elasticsearch 是 Spring Data 子项目，提供对 Elasticsearch 集成与访问的支持。需要注意的是 Spring Data Elasticsearch 版本 3.2.x 与 4.x 不兼容，在升级 Spring Boot 版本时要做好评估。本章是以 Spring Data Elasticsearch 4.x 为基础。
72 天前 / 铭毅天下001
1、引言 2021 年 Elasticsearch 生态和技术峰会已完美闭幕，本次峰会可谓大咖云集，精彩纷呈。 本文仅就下午场技术部分做一下梳理、提炼、总结，希望对没有来得及参加线上技术峰会的广大 Elastic 爱好者提供帮助。错过直播，但依然收获技术干货！ 2、峰会技术关键词词云 3、技术会议主题吴斌老师（Elastic 中文社区副主席）：基于流式计算平台搭建实时分析应用 李猛老师（力萌科技数据专家）：Elasticsearch 基于 Pipeline 窗口函数实现实时聚合计算 白凡老师（尚德机构资深工程师）：基于 Elasticsearch 的容器化编排实践 刘征老师（Elastic 社区布道师）...
74 天前 / Jackeyzhe
今天来聊一个 Elasticsearch 的另一个关键概念——相关性算分。在查询 API 的结果中，我们经常会看到 _score 这个字段，它就是用来表示相关性算分的字段，而相关性就是描述一个文档和查询语句的匹配程度。 打分的本质其实就是排序，Elasticsearch 会把最符合用户需求的文档排在最前面。 在 Elasticsearch 5.0 之前，相关性算分算法采用的是 TF-IDF 算法，而在 5.0 之后采用的是 BM 25 算法。听到这也许你会比较疑惑，想知道这两个算法到底是怎么样的。别急，下面我们来具体了解一下。 TF-IDF 首先来看字面意思，TF 是 Term Frequency 的缩写，也就是词频。
75 天前 / 铭毅天下001
1、问题引出默认情况下，Elasticsearch 已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的 Elasticsearch 集群聚合性能优化提供一些指导。 2、聚合实战问题 问题 1：1 天的数据 70W,聚合 2 次分桶正常查询时间是 200ms 左右， 增加了一个去重条件， 就 10-13 秒了，有优化的地方不？ 问题 2：请问在很多 terms 聚合的情况下，怎样优化检索？我的场景在无聚合时，吞吐量有 300...
81 天前 / 过往记忆大数据
1 月 15 日，ElasticSearch 创始人、Elastic 公司 CEO Shay Banon 宣布，将把 Elasticsearch 和 Kibana 的 Apache 2.0-licensed 源码协议修改成 SSPL（Server Side Public License、服务器端公共许可证）和 Elastic License 双重协议！并且让用户可以选择申请哪个许可。Shay Banon 说这个决策是为了限制云服务提供商提供 Elasticsearch 和 Kibana 服务来保护 Elastic 公司在开发免费开放产品上的持续投资，这里说的云服务商其实指的是 AWS。
82 天前 / 铭毅天下001
故事得从这一筐积木说起。..... 周末带孩子正准备玩积木的时候，手机响了，死磕 Elasticsearch 技术群里在探讨 Elastic 认证中聚合考点，我想起关于 Elasticsearch 聚合，我之前写过 2-3 篇文章，跨度也得有 3 年。 但是，或多或少都是官方文档的东西，不够深入浅出。再看到手里的这堆积木，灵感来了，就带着孩子摆了各种积木造型，然后就有了这篇文章。 1、数据来源——积木 图 1 来个视频，看看有多凌乱。 数据（也就是积木）特点也就有了： 凌乱形状各异大小不一小朋友喜欢积木的原因就是：可以任想象力肆意自由发挥，堆出各种自己喜欢的造型。
88 天前 / Golang梦工厂
前言上周六马上就下班了，正兴高采烈的想着下班吃什么呢！突然 QA 找到我，说我们的 DB 与 es 无法同步数据了，真是令人头皮发秃，好不容易休一天，啊啊啊，难受呀，没办法，还是赶紧找 bug 吧。下面我就把我这次的 bug 原因分享给大家，避免踩坑～。 bug 原因之 bulk 隐藏错误信息第一时间，我去看了一下错误日志，竟然没有错误日志，很是神奇，既然这样，那我们就 DEBUG 一下吧，DEBUG 之前我先贴一段代码： func(es*UserES)batchAdd(ctxcontext.Context,user[]*model.UserEs)error{ req:=es.client.Bulk().Index(es.index) for_,u:=rangeuser{ u.Update...