3 天前 / 搬运工来架构
ES 各大版本演进时间线： 视频版的可以移步 B 站同号——点击左下角“阅读原文”直达。 初始版本 0.7.0 2010 年 5 月 14 日 Zen Discovery 自动发现模块 Groovy Client 支持 简单的插件管理机制 更好支持 ICU 分词器 更多的管理 API icu_分词器 和 标准分词器 使用同样的 Unicode 文本分段算法， 只是为了更好的支持亚洲语，添加了泰语、老挝语、中文、日文、和韩文基于词典的词汇识别方法，并且可以使用自定义规则将缅甸语和柬埔寨语文本拆分成音节。
3 天前 / Juicedata
解决方案下载文档定价博客社区首页归档标签ElasticSearch 存储成本省 60%，稿定科技干货分享稿定SRE团队2021.10.09背景稿定科技旗下稿定设计产品是一个聚焦商业设计的多场景在线设计平台，打破了软硬件间的技术限制，汇集创意内容与设计工具于一体，为不同场景下的设计需求提供优质的解决方案，满足图片、视频等全类型媒介的设计需求，让设计更简单。 我们使用 Elasticsearch（下文中简称为 ES） 作为日志检索组件，随着业务量的增长，每天有 2T 左右的新增数据，需要保存 15~30 天，给磁盘和系统带来了不小的压力。
5 天前 / 随手记生活Gordon
我们在《ElasticSearch之Analysis介绍》中介绍了为了使得文本可以被搜索，我们需要位置创建inverted Index，关于它的概念我们就不详细介绍了。这里一个很有趣的问题就是不变性。我们说希望写入到磁盘中的Inverted Index不再变化，这样的特性会带来很多好处： 我们对它的访问不再需要加锁，因为没有人会来修改它，所以可以随意的读。可以很方便地cache，只要我们有足够的空间cache，那么它就可以一直在那边。显然现实不会像我们想象的这样美好，因为我们总是需要有新的文档被搜索到，这就需要更新index。
9 天前 / 随手记生活Gordon
我们在之前的《ElasticSearch基础之分布式存储》中详细介绍了ElasticSearch是如何进行分布式的读写（CRUD）。那我们在发送查找请求之后，ElasticSearch是如何进行分布式执行的呢？它其实要比我们前面提到的CRUD操作复杂一些，本文就来详细介绍一下这一方面的知识。 前面的CRUD操作其实只是针对某一个shard的，也就是说我们其实是知道我们的操作最终会指向哪一个shard的， 而search相对来说复杂的地方就在于我们根本不知道要查找的内容是存储在哪一个shard上，这就必然导致我们需要去访问每一个shard，或者说至少是我们感兴趣的shard。
12 天前 / 随手记生活Gordon
什么是相关性Elasticsearch中的相关性是通过一个浮点的数值_score来显示的，这个_score的值越大，就表示相关性越高。那这个_score的值是如何计算的呢？我们通常在全文本查询的时候，使用的是标准相似算法，它的名字是TF/IDF （term frequency/inverse document frequency），它包含下面三个重要的方面： Term frequency：我们所查的term在这个field中出现的次数，通常来说，出现的次数越多，则相关性越高。Inverse document frequency：我们所查的term在整个index中出现的频率，出现的频率越高，则相关性越低。这个可以理解，所谓物以稀为贵就是这个道理。
22 天前 / 随手记生活Gordon
我们在之前的文章中提到ElasticSearch有三个重要的部分，Analysis，Query SQL以及Mapping。本文就来详细介绍这其中的Mapping。 我们知道假如我们需要解析一个数据的时候，比如“2018-10-01”，我们需要知道这是一个什么类型的数据，比如说这是一个时间数据，那么就可以解析成2018年10月1号，假如它只是一个字符串，那只是一系列字符。所以ElasticSearch是需要知道每个数据域的类型的，而这个类型就是包含在mapping中。
33 天前 / 随手记生活Gordon
总得来说ElasticSearch把数据分成了两个类型，一个是精确值，一个是全文本。 所谓的精确值就是它精确表示的值。比如说一个日期或者一个userID，就像2018-10-01和2018进行精确值比较他们就是不一样的，再比如Apple和apple进行精确值比较也是不一样的。
33 天前 / 铭毅天下001
1、线上问题线上问题描述： 原来是聊天形式，比较冗长，精简后的问题描述如下：症状：新增节点后，shard 没有分配到新节点上。如下图所示： 2、问题排查我的大致排解思路： 如下第一、第二、第三。.....代表排查问题的推进步骤。 2.1 第一：确定节点角色划分，核实未被分配的节点类型。仅主节点是不参与分片数据落地存储的，这是认知大前提。经对方核实，未分配的节点的确是数据节点。集群有 3 个候选主节点，3 个数据节点，其中 1 个数据节点为新添加的节点。 2.2 第二：关闭索引再打开试试。close 再 open 之前验证过会走重新分配机制，部分场景适用。
41 天前 / 铭毅天下001
Elasticsearch 实战项目中势必会用到中文分词，而中文分词器的选型包含但不限于如下开源分词器： IK 分词器 https://github.com/medcl/elasticsearch-analysis-ik Ansj 分词器 https://github.com/NLPchina/elasticsearch-analysis-ansj jieba 分词器 https://github.com/sing1ee/elasticsearch-jieba-plugin 清华大学 thulac分词器 https://github.com/microbun/elasticsearch-thulac-plugin icu 分词器 https://github.com/elastic/elasticsearch-analysis-icu 还有华为的未开源的：泊松分词器；阿里未开源的：达摩院定制的分词器。
55 天前 / 随手记生活Gordon
ElasticSearch是一个基于Apache Lucene的开源搜索引擎。我们都知道Apache Lucene是一个很高效的全文本搜索引擎库，但说到底它还是一个库，所以用起来很不方便，而ElasticSearch就是在其基础上实现的，它屏蔽了Lucene的复杂底层实现，提供了分布式的特性，同时对外也提供了相应的Restful的API。所以，总得来说，ElasticSearch其实上手很容易，本文就从最基本的操作开始来介绍一下ElasticSearch相关的内容。
69 天前 / 铭毅天下001
1、实战问题如下都是实战环节遇到的问题： logstash 谁解决过时区问题，mysql 是东八区 shanghai 但是这玩意读完存到 es 就少了 8 小时？ 目前索引会比真正时间晚 8 小时，导致 8 点前的日志写到昨天索引里，大佬们有招吗？ 问一下 logstash 输出日志到本地文件中，按照小时生成索引，但是他这边的时区是 utc，生成的时间和北京时间少 8 小时，这一块大佬们是咋操作的？ ......从浏览器 kibana 那里看 timestamp 时间戳变成了 utc 的时区？ 上面的问题都涉及到时区问题...
87 天前 / 铭毅天下001
1、实战问题在使用 Elasticsearch 过程中，不免还会有 Mysql 等关系型数据库的使用痕迹，以下两个都是实战开发问到的问题： Elasticsearch 新增字段，能在 Mapping 设置默认值吗？ Elasticsearch 有什么好的方式维护文档的 create_time （创建时间）和 update_time （更新时间）吗？ 本文就从 Elasticsearch 默认值的实现方案说开去。 2、Elasticsearch Mapping 层面默认值认知前提：严格讲 Elasticsearch 是不支持 Mapping 层面设置数据类型的时候，设置字段的默认值的。 有人会说，null value 设置算不算？不算。
89 天前 / 铭毅天下001
1、线上实战问题前置说明：本文是线上环境的实战问题拆解，涉及复杂 DSL，看着会很长，但强烈建议您耐心读完。 问题描述： 有个复杂的场景涉及到按照求和后过滤，user_id 是用户编号，gender 是性别，time_label 是时间标签，时间标签是 nested 结构，intent_order_count 是意向订单数量，time 是对应时间。 现在要筛选出在 20210510~20210610，意向订单数总和为 26 的男性用户，请问应该怎么写 dsl 语句？ 感觉这个场景很复杂，涉及到 array 判断后求和，然后求和结果做筛选条件。 请帮忙看看有什么好的 dsl 语句，或者改变现有 mapping 结构。
98 天前 / 铭毅天下001
0、问题来源 1、日志实时分析是 Elasticsearch 三大核心业务场景之一 Elasticsearch 架构选型指南——不止是搜索引擎，还有。.....曾强调：Elasticsearch 三大核心业务场景： 搜索服务场景。 日志实时分析场景。 商业智能 BI 场景。 2、少啰嗦，先看东西 2.1 日志数据准备以 Python 日志作为数据源，开搞。 在 Python 中，日志记录可以分为 5 种不同级别： Info — 指定信息性消息，在粗粒度级别突出显示应用程序的进度。 Debug — 指定对调试应用程序最有用的细粒度信息事件。 Warning — 指定警告 / 告警事件。