13 小时前 / 铭毅天下001
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界。..... ——『美』 阿图 - 葛尔德《清单革命》 01Elasticsearch 学习方法论如何系统的学习 Elasticsearch ？视频 | 零基础如何学习 Elasticsearch？刻意练习 Elasticsearch 10000 个小时，鬼知道经历了什么？！重磅 | Elasticsearch7.X 学习路线图 Elasticsearch 学习，请先看这一篇！死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！从实战中来...
61 天前 / 铭毅天下001
检索锦囊 1：尽可能的使用缓存对于精准匹配的查询，不关注评分结果，只关注数据是否满足检索需求。 可以考虑用 filter “包裹一层”，如处理时间范围检索，Elasticsearch 能缓存部分结果。但，要说明的是更换时间窗口，换不同时间段检索，原有缓存不起作用。 关于 filter 的缓存效果，官方文档如是说： “Frequently used filters will be cached automatically by Elasticsearch, to speed up performance.” 即：“频繁的使用过滤器会有自动缓存的“效果”，以提高性能。” 举例如下，“/m”的本质使检索不是具体到某秒的精确值，而是扩展到分钟。
72 天前 / 铭毅天下001
1、Elasticsearch 版本升级常见问题问题 1：我现在集群是：5.X、6.X、7.X，要不要升级？ 问题 2：版本跨度这么大，如何升级？ 7 月 6 日，读者凌晨 00:30 留言：“怎么不出升级的文章呢？ 需求比较迫切，所以，就有了今天的文章。 我们系统得敲一遍，让大家明白如何升级。 2、Elasticsearch 要不要升级？Elasticsearch 版本迭代历史如下： Elasticsearch 的特点就是一个字快！ 速度快，PB 级别数据全文检索秒级响应，这是用户群体大的根因，不展开论述。版本更新快，几乎每个月都更新一个小版本，大版本基本 2 年左右升级一次。
73 天前 / sjf0115
分享嘉宾：郭嘉梁 阿里巴巴 技术专家 出品平台：DataFunTalk 导读：全文将围绕以下四点展开： 阿里云 Elasticsearch 日志场景最佳实践 阿里云 Elasticsearch 引擎内核优化 阿里云 Elasticsearch 性能评测 阿里云 Elasticsearch 产品演示 01 阿里云 Elasticsearch 日志场景最佳实践 1. 阿里云 Elasticsearch 日志场景概况 阿里云 Elasticsearch（简称 ES）在线上拥有 1W+ 的集群和 6W+ 节点，为用户提供线上检索和分析服务，在这些集群中，日志集群占比 35%，其平均 CPU 核数超过 40 个，数据量达到 PB 级别。
84 天前 / BloomingRose
原文： blog.csdn.net/andybegin/article/details/83864171 一、from + size 浅分页"浅"分页可以理解为简单意义上的分页。 它的原理很简单，就是查询前 20 条数据，然后截断前 10 条，只返回 10-20 的数据。这样其实白白浪费了前 10 条的查询。 GETtest_dev/_search { "query":{ "bool":{ "filter":[ { "term":{ "age":28 } } ] } }, "size":10, "from":20, "sort":[ { "timestamp":{ "order":"desc" }, "_id":{ "order":"desc" } } ] } 其中，from 定义了目标数据的偏移值，size 定义当前返回的数目。
86 天前 / 铭毅天下001
1、安全无小事此处省略 1 万字...... 2、Elasticsearch 安全演进历史 6.3 版本之前 X-Pack 需要单独安装。 6.3（含）及之后版本 X-Pack 已集成到 Elasticsearch。 如果没有第三方加固，1.X——6.8 之前版本，Elasticsearch 都属于“裸奔”状态。 6.8 版本和 7.1 版本之后，Elasticsearch X-Pack 基础功能免费。 1.X——7.X，Elasticsearch 安全都不是必选项，也就是部署 Elasticsearch 安全是否开启都是自己随意的，Elasticsearch 没有强制要求。 直到 8.X 版本，Elasticsearch 才自动默认集成安全功能。
92 天前 / 铭毅天下001
1、实战项目问题。.....我有 2 个 index，假设其中 index1 中数据是 id1，id2，id3，index2 中是 id1，id3。我的目的是能找出缺失的 id2 的数据，并且后续进去的 id4，id5 如果有缺失的也能发现。——问题来源：死磕 Elasticsearch 知识星球 2、问题解读假定有两个索引 index1、index2，这两个索引中有大量相同数据。 这个问题的本质是实现类似：linux 下的 diff 命令的操作，找出一个索引中存在而在另外一个索引不存在的数据。 3、方案探讨 Elasticsearch 没有直接实现找索引数据差异的类diff 命令可用。
93 天前 / HueiFeng
点击卡片，关注我们 由于近期在公司内部做了一次 Elasticsearch 的分享，所以本篇主要是做一个总结，希望通过这篇文章能让读者大致了解 Elasticsearch 是做什么的以及它的使用和基本原理。 生活中的数据 搜索引擎是对数据的检索，所以我们先从生活中的数据说起。我们生活中的数据总体分为两种： 结构化数据 非结构化数据 结构化数据：也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据，如数据库，元数据等。
99 天前 / 进击的强
动手点关注干货不迷路 背景领域特定语言（DSL），如 SQL、Elasticsearch Querystring 等，往往是为专门的目的设计的。在特定的任务中，DSL 通过在表达能力上做的妥协换取在某一领域内的高效。 在飞书套件日志系统的私有化研发过程中，为了符合研发同学查询日志的习惯，尝试使用 Elasticquery Querystring（下简称为 Querystring）作为过滤器的查询条件语句，由此需要可用的 Golang Querystring 解析器。由于目前开源界无法找到完善的实现，尝试使用 Goyacc 自行构建。
109 天前 / BloomingRose
问题：慢查询 搜索平台的公共集群，由于业务众多，对业务的 es 查询语法缺少约束，导致问题频发。业务可能写了一个巨大的查询直接把集群打挂掉，但是我们平台人力投入有限，也不可能一条条去审核业务的 es 查询语法，只能通过后置的手段去保证整个集群的稳定性，通过 slowlog 分析等，下图中 cpu 已经 100% 了。 昨天刚好手头有一点点时间，就想着能不能针对这些情况，把影响最坏的业务抓出来，进行一些改善，于是昨天花了 2 小时分析了一下，找到了一些共性的问题，可以通过平台来很好的改善这些情况。
125 天前 / 趣编程
近期“知网”的热度一直不减，本来可以拿一些热点图片、网友评论作为开场。算了，这不是我一个技术博主该做的。 此处仅拿 2022 年 5 月 24 日早晨 6:00 微博搜索“知网”得到的前 20 条动态信息的词云说话。 基于 ik_smart 中文分词器的词云图在网友不建议专家建议的大环境下，作为老百姓对“知网”的建议如下： 1、尊重版权，每篇文档被下载（人工备案下载，非爬虫）获得的收益一半（比例待商榷）费用给第一作者，这会极大的激发大家的创作动力。 2、将文章收益、被引用次数等作为未来文章评价指标。
125 天前 / 逗逗
每天早上七点三十，准时推送干货 一、简介 Elasticsearch（简称 ES）是一个基于 Apache Lucene的开源搜索引擎，无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 对于初次接触 Elasticsearch，不禁会发出一个疑问，Elasticsearch 是干啥的？ 官方的解释如下：Elasticsearch（简称 ES）是一个基于 Apache Lucene 的开源搜索引擎，它提供了一个基于 RESTful web 接口的分布式多用户能力的全文搜索引擎，能够达到实时搜索、稳定、可靠、快速、安装使用方便等特点。
146 天前 / 铭毅天下001
1、Elasticsearch 保证高可用性的方式 Elasticsearch 保证集群高可用的方式包含但不限于如下三种： 方式一：副本分片。主分片失效后，副本分片会被提升为主分片。方式二：跨集群复制主从同步。简称：CCR，指的是索引数据从一个 Elasticsearch 集群复制到另一个 Elasticsearch 集群。对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。方式三：快照。快照在给定时刻对集群或者索引按了暂停键且拍摄了当时的全部“照片”。这样，当在之后的某个时间点，倘若集群或索引出现故障，可以基于之前的快照进行快速恢复。
156 天前 / 逗逗
0、题记我在做 Elasticsearch 相关咨询和培训过程中，发现大家普遍更关注实战中涉及的问题，下面我选取几个常见且典型的问题，和大家一起分析一下。订单表、账单表父子文档可以实现类似 SQL 的左连接吗？通过 canal 同步到 ES 中，能否实现类似左连接的效果？具体应该如何建模？一个人管理 1000 家连锁门店，如何更高效地查询自己管辖的商品类目？企微 一个人维护了 1000 个员工，如何快速查询自己管辖的员工信息？随着业务的增长，一个索引的字段数据不断膨胀（商品场景变化，业务一直加字段），有什么解决方法？一个索引字段个数设置为 1500 个...