6 天前 / 铭毅天下001
1、实战问题在使用 Elasticsearch 过程中，不免还会有 Mysql 等关系型数据库的使用痕迹，以下两个都是实战开发问到的问题： Elasticsearch 新增字段，能在 Mapping 设置默认值吗？ Elasticsearch 有什么好的方式维护文档的 create_time （创建时间）和 update_time （更新时间）吗？ 本文就从 Elasticsearch 默认值的实现方案说开去。 2、Elasticsearch Mapping 层面默认值认知前提：严格讲 Elasticsearch 是不支持 Mapping 层面设置数据类型的时候，设置字段的默认值的。 有人会说，null value 设置算不算？不算。
8 天前 / 铭毅天下001
1、线上实战问题前置说明：本文是线上环境的实战问题拆解，涉及复杂 DSL，看着会很长，但强烈建议您耐心读完。 问题描述： 有个复杂的场景涉及到按照求和后过滤，user_id 是用户编号，gender 是性别，time_label 是时间标签，时间标签是 nested 结构，intent_order_count 是意向订单数量，time 是对应时间。 现在要筛选出在 20210510~20210610，意向订单数总和为 26 的男性用户，请问应该怎么写 dsl 语句？ 感觉这个场景很复杂，涉及到 array 判断后求和，然后求和结果做筛选条件。 请帮忙看看有什么好的 dsl 语句，或者改变现有 mapping 结构。
16 天前 / 铭毅天下001
0、问题来源 1、日志实时分析是 Elasticsearch 三大核心业务场景之一 Elasticsearch 架构选型指南——不止是搜索引擎，还有。.....曾强调：Elasticsearch 三大核心业务场景： 搜索服务场景。 日志实时分析场景。 商业智能 BI 场景。 2、少啰嗦，先看东西 2.1 日志数据准备以 Python 日志作为数据源，开搞。 在 Python 中，日志记录可以分为 5 种不同级别： Info — 指定信息性消息，在粗粒度级别突出显示应用程序的进度。 Debug — 指定对调试应用程序最有用的细粒度信息事件。 Warning — 指定警告 / 告警事件。
23 天前 / 铭毅天下001
Elasticsearch 5 之前的版本，评分机制或者打分模型基于 TF-IDF 实现。 从 Elasticsearch 5 开始，Elasticsearch 的默认相似度算法是 Okapi BM25，Okapi BM25 模型于 1994 年提出，BM25 的 BM 是缩写自 Best Match, 25 是经过 25 次迭代调整之后得出的算法，该模型也是基于 TF/IDF 进化来的，Okapi 信息检索系统是第一个实现此功能的系统，之后被广泛应用在不同系统里。 相似性（评分 / 排名模型）定义了匹配文档的评分方式， 对一组文档执行搜索并提供按相关性排序的结果。在这篇文章中，我们将一步步拆解 Okapi BM25 模型的内部工作原理。
31 天前 / 铭毅天下001
1、实战问题问题 1：es 中 scroll 游标不能与 collapse 共用，有什么办法可以实现 collapse 的效果？问题 2：采集互联网数据有重复数据写入 Elasticsearch，如何去重后放到另外索引？2、排查思路 2.1 Elasticsearch 去重的几种方式之前我有文章解读：Elasticsearch6.X 去重详解方式一：terms 指定字段聚合 + top_hits 子聚合。方式二：collapse 折叠去重。拿个实战列子看一下：当下正值高考出成绩，我们拿新闻事件信息作为数据来源。如下文档_id:1、_id:2、_id:3 是一模一样的数据；_id: 4 是独立数据。
38 天前 / 铭毅天下001
和腾讯的老师聊天，期间提到了写博客、公众号发文，老师的一句话“不过得有持续的内容才行”，振聋发聩！让我思考良久。..... 因为有太多的博主写着写着就各种原因断更了，“可持续”的确是写作者的一路向前走、所向披靡的唯一的法宝。 1、博客起源研究生阶段搞 C++，机缘巧合读了《我是一只 IT 小小鸟》（豆瓣评分：7.8 分），关注到书中作者之一的“C++ 的罗浮宫”博主刘未鹏老师，后面自然读了他的长销书《暗时间》。这本书我至少读了两遍之上，对当时的我冲击很大，现在读当时做的读书笔记，仍然感觉“字字珠玑”，值得慢速、逐字逐句读。
39 天前 / 逗逗
点击上方蓝色字体，选择“设为星标” 回复”资源“获取更多惊喜 本文公众号读者飞熊的投稿，本文主要讲述了 ElasticSearch 双数据中心建设在新网银行的实践。 作者简介： 飞熊，目前就职于新网银行大数据中心，主要从事大数据实时计算和平台开发相关工作，对 Flink ,Spark 以及 ElasticSearch 等大数据技术有浓厚兴趣和较深入的理解。 引言 新网银行是作为西部首家互联网银行，一直践行依靠数据和技术驱动业务的发展理念。自开业以来，已经积累了大量数据。
41 天前 / 铭毅天下001
最近被咨询到“ETC 卡口数据的存储以及车流量分析、车路线分析业务场景是否适合 Elasticsearch 去做”的问题。 这个问题涉及 Elasticsearch 架构选型的问题，而追根究底是：Elasticsearch 适合的业务场景的问题。 记得我在做内部技术分享的时候，讲解 Elasticsearch 应用场景，就铺了 3 页 PPT：搜索服务场景、日志实时分析场景、商业智能 BI 场景。我拿着初稿找同事讨论，我心想：“没毛病啊？！Elastic 官方、阿里云、腾讯云、金山云、京东云、百度云等介绍 Elasticsearch 都是这么说的。
54 天前 / 铭毅天下001
1、什么是索引生命周期？关于人生，有人这么说：“人，生来一个人，死去一个人，所以，人生就是一个人生老病死的简称。” 在基于日志、指标、实时时间序列的大型系统中，集群的索引也具备类似上图中相通的属性，一个索引自创建之后，不可能无限期的存在下去，从索引产生到索引“消亡”，也会经历：“生、老、病、死”的阶段。 我们把索引的“生、老、病、死”的全过程类比称为索引的生命周期。 2、什么是索引生命周期管理？由于自然规律，人会“不可逆转”的由小长到大，由大长到老，且理论上年龄一般不会超过 150 岁（吉尼斯世界纪录：122 岁零 164 天）。
66 天前 / u553049
ES 接收到查询请求后，会转发给所有相关的 Shard 分片，每个 Shard 在自己这块儿进行搜索，各自的结果汇总后再返回给客户端。 这个过程有 2 个核心性能关键点： Shard 执行查询计算的耗时 Shard 读取各个 Segment 文件的 I/O 耗时 所以，我们就要从这两个角度进行优化。 尽量让 ES 的查询动作简单，避免进行复杂的查询计算。 尽量提升 I/O 效率，也就是用好文件系统缓存（从 ES 写入流程可以知道文件缓存有很大的作用） 1. 尽量让查询计算简单这就涉及到 ES 中的数据建模方式。
82 天前 / 铭毅天下001
1、关于 Elasticsearch 分页查询，这几个问题经常被问到问题 1：想请问下，一次性获取索引上的某个字段的所有值（100 万左右），除了把 max_result_window 调大 ，还有没有啥方法？ 问题 2：关于 es 的分页，每次拿 20 条展示在前台，然后点击下一页，在查询后面的 20 条数据，应该要怎么写？ 问题 3：From+size、Scroll、search_after 的本质区别和应用场景分别是什么？ 2、 Elasticsearch 支持的三种分页查询方式 From + Size 查询 Search After 查询 Scroll 查询下面我就三种方式的联系与区别、优缺点、适用场景等展开进行解读。
90 天前 / 铭毅天下001
1、实战遇到的问题问题描述：如何在一个四个节点的集群中，将主节点中的数据分散到其他节点中去，最后主节点没有数据？ 问题细节： 线上环境有 4 个节点，单节点为 48 核的物理机，252G 的内存。 数据每日增量不大，累计数据就一个 TB 左右。数据的类型为文书类数据。 核心数据就一个索引，设置了 48 个分片。 只设置了一个主节点（同时是数据节点），其余三个仅数据节点。 2、问题解读抛开节点配置、集群部署层面的问题。
97 天前 / 铭毅天下001
1、由两个线上问题说开去问题 1：用 Elasticsearch 做宽表的报表查询，我们打算用 jdbc 的方式访问，方便开发（使用 sql），这种方式还是用 JAVA 封装的方法好。有没有坑？ 问题 2：Elasticsearch 可以用脚本写 sql ，像执行 hive 脚本一样吗？ 2、问题解读问题 1 涉及选型问题，我们会条分缕析解读。 问题 2 涉及 Elasticsearch 是否支持 SQL 功能。 3、Elasticsearch SQL 到底指什么？一句话：能像关系型数据库如 Mysql 中使用 SQL 方式一样方便的实现 Elasticsearch 增、删、改、查（尤其是检索、聚合）等的操作。
100 天前 / 杀死那个程序员
点击上方"程序员历小冰"，选择“置顶或者星标” 你的关注意义重大！ 大家好，我是历小冰。ElasticSearch 作为一个分布式的开源搜索和分析引擎，不仅能够进行全文匹配搜索，还可以进行聚合分析。 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。 比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。 近似算法 当数据量较小或者数据集中存储在同一位置时，进行类似 TP99 这样的百分位数分析就很容易。
105 天前 / 杀死那个程序员
大家好，我是历小冰。在《为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索》一文中，我们讲解了 ElasticSearch 如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析 ElasticSearch 在全文搜索前如何使用 ik 进行分词，让大家对 ElasticSearch 的全文搜索和 ik 中文分词原理有一个全面且深入的了解。 全文搜索和精确匹配 ElasticSearch 支持对文本类型数据进行全文搜索和精确搜索，但是必须提前为其设置对应的类型： keyword 类型，存储时不会做分词处理，支持精确查询和分词匹配查询； text 类型，存储时会进行分词处理...