14 天前 / 趣编程
1 引言 Elasticsearch 集群的高可用，保证服务的连续性是企业最关注的需求。通常当企业达到一定规模时，不管是在云上还是线下都会有多个机房做异地灾备，确保在某个机房不可用时，还能持续对外提供业务。本文将会介绍几种 Elasticsearch 常见的灾备方案，同时提供了 Demo 案例方便大家动手体验。 2 方案概要方案定期快照跨机房部署集群应用双写借助消息队列实现双写 CCR 跨集群复制极限网关描述定期将索引备份到外部存储，例如 S3，HDFS。备份的数据可以在备集群中恢复。一个集群中的节点分布在不同的机房。应用程序同时将数据写入两个集群。
18 天前 / kafeidou
导语|Elasticsearch 于 7.10 版本推出可搜索快照功能，但是 7.10 版本的可搜索快照技术还不够成熟，随着 7.14 版本的发布，可搜索快照技术才真正能够大规模用于生产实践中。本文将基于 ES 7.14.2 版本，继续从原理和实践两个角度向大家介绍可搜索快照技术。 可搜索快照特性向我们展现一种能够直接搜索快照中数据的魔力，通常我们会将快照备份到非常廉价的存储介质中，如腾讯云对象存储 COS 中。这样我们就可以将集群的使用成本降到最低。
18 天前 / 趣编程
1、Elasticsearch 数组常见问题清单近期 Elasticsearch 数组问题被问到的比较多，为了方便大家对数组建立全局认知，我把数组相关实战问题梳理出来，让更多后来人遇到类似问题少走不必要的弯路。 精简几个核心问题列举如下： Elasticsearch 是否有数组类型？Elasticsearch 数据选型有没有坑？Elasticsearch 如何获取数组中第 i 号位置的值？Elasticsearch 如何获取数组最后一个元素的值？2、Elasticsearch 是否有数组类型？了解 Elasticsearch 版本历史的读者会知道 1.X 版本中没有独立模块强调数组 Array 类型。
25 天前 / 铭毅天下001
1、实战项目需求需求 1：有一个小需求 kafka 源数据： topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1} topicB:{"B_content":"XXX","name":"B","type":"XXX","id":1} 现在想将两个 topic 的数据写到同一个 es 索引中，但由于更新性能太慢，有啥思路可以加速写入性能呢 (topicA 和 topicB 的数据可能会有几天的延时) 需求 2： 在 cluster1 上有如 a，b 两索引，均有字段 filed_a，索引 a，b 各自包含其它字段，建立新索引如 c，要求 c 包含 a 索引全部文档，且在 a 和 b 索引关联字段 field_a 相同的文档中把 b 文档其它字段更新到索引 c 中。
27 天前 / 趣编程
1、背景作为一家搜索引擎公司，我们会很倚赖 ES 帮忙处理包括文章召回，数据源划分，实体、标签管理等任务，而且都收到了不错的结果。 最近我们需要对行业知识库进行建模，其中可能会涉及到实体匹配、模糊搜索、向量搜索等多种召回和算分方式，最终我们选择了通过 ES 7.X （最终选择 7.10）里的新功能，Dense vector 帮忙一起完成这部分的需求。 2、技术选型 2.1 解决方案需求支持向量搜索支持多维度筛选、过滤吞吐速率学习、使用成本运维成本 2.2 使用场景设计离线数据准备在离线数据构建完成后...
43 天前 / 趣编程
1、实战问题星主，请教一下，我在 painless 中使用 doc 的形式访问字段，如 if(doc['xxx'].value ...)报错了，是 painless 中不允许使用 doc 吗？ 我看官方示例和您之前的博客都是用 ctx，请问 ctx 和 doc, params，params._source 之间有什么区别吗？我知道 doc 直接从内存获取，params 从磁盘获取，但是对于上述 4 个的区别不是很了解，也没有查询到相关的资料。..... ——来自《死磕 Elasticsearch 知识星球》 上述问题不止一次被问到，我自己在使用 painless 脚本的时候，也会遇到上述困惑。 今天，我们把这几种的区别梳理清楚。
51 天前 / 逗逗
一、概述 Elasticsearch 是一个基于 Apache Lucene(TM)的分布式、高扩展、高实时、RESTful 风格的搜索和数据分析引擎。Elasticsearch 是用 Java 语言开发的，并作为 Apache 许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch 可用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在 Java、.NET（C#）、PHP、Python、ApacheGroovy、Ruby 和许多其他语言中都是可用的。根据 DB-Engines 的排名显示，Elasticsearch 是最受欢迎的企业搜索引擎，其次是 Apache Solr，也是基于 Lucene。
53 天前 / 逗逗
作者介绍 许睿哲 2020 年 12 月加入去哪儿网 - 数据平台团队，目前主要负责公司的 esaas 云服务与实时日志 ELK 平台的开发、维护与优化。主导参与了公司的 ES 架构升级迁移与 ES 平台 SLA 规则的制定与开发。 1. 何为 ES 索引设计 ElasticSearch（以下简称：ES ）是一个分布式、RESTful 风格的搜索和数据分析引擎。区别于传统关系型数据库（比如：MySQL、Oracle 等），ES 在定义数据模型和搜索方式上非常灵活，数据模型可以采用静态数据映射与动态数据映射，搜索方式也支持多维度类型的搜索（结构化数据、非结构化数据、地理位置、指标参数等）。
56 天前 / Java4ye
小伙伴们 好久不见呀~ 能安心写文的日子真好 o(^▽^)o 一堆感悟，等把技术文的坑填上了再来絮絮叨叨 今天 4ye 来和小伙伴们分享下这个云端的 ES 大家族 image-20210927072610535Elasticsearch Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎。底层的全文检索就是居于 Lucene 实现的。 关于 Lucene 可以看这里 《快速上手搜索引擎的秘密武器——Lucene》 特点 支持 PB 级别的数据存储和搜索提供 近实时 的搜索本身就是一个集群，即使只开启了一个。插件机制：支持开发自己的分词插件副本机制：默认配置是 1 个索引 5 个分片，5 个副本。
70 天前 / Java4ye
今天 4ye 来和小伙伴们分享下这个 ES 入门心得 啦 故事的开始过完这中秋佳节回来上班的第一天，老大一早就把我叫过去。 看着他那神秘和兴奋的眼神，我心里却在想，“难道他是赏月看到嫦娥姐姐了吗？” 谁知他开口道：“这次咱们要上云了！” “哈？！上啥云 ” ，我说。 于是他便把事情的来龙去脉和我扒拉了老半天。 最后让我去研究下下面这个东西： Elastic Enterprise SearchElastic Cloud 如图 看到这里，我有点懵了，毕竟我也只听过 ElasticSearch 这个搜索引擎和看过别人写的博文说：用它和 Logstash ， Kibana 去服务器扒拉日志 哈哈 说白了...
74 天前 / 趣编程
一道之前的面试题： 来自：社招一年半面经分享 ( 含阿里美团头条京东滴滴) 「文章较长，可以点赞在看」 前言 Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。 在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同理，在 Elasticsearch 中，也应该尽量避免使用深度分页。 这篇文章主要介绍 Elasticsearch 中分页相关内容！ From/Size 参数在 ES 中，分页查询默认返回最顶端的 10 条匹配 hits。 如果需要分页，需要使用 from 和 size 参数。
78 天前 / 趣编程
1、词频相关实战问题最近词频统计问题被问到的非常多，词频统计问题清单如下： Q1：Elasticsearch 可以根据检索词在 doc 中的词频进行检索排序嘛？Q2：求教 ES 可以查询某个索引中某个 text 类型字段的词频数量最大值和词所在文档数最大值么？例：索引中有两个文档 doc1：{"text":""} 分词结果有两个北京，一个南京 doc2：{"text":""} 分词结果有一个北京想要一下结果：北京：词频 3，文档量 2 南京：词频 1，文档量 1Q3：对某些文章的词频统计除了用 fielddata 之外还有没有效率比较高的解决办法呢？目前统计有时候会遇到十万级的文章数直接在通过聚合效率...