4 天前 / Golang梦工厂
前言上周六马上就下班了，正兴高采烈的想着下班吃什么呢！突然 QA 找到我，说我们的 DB 与 es 无法同步数据了，真是令人头皮发秃，好不容易休一天，啊啊啊，难受呀，没办法，还是赶紧找 bug 吧。下面我就把我这次的 bug 原因分享给大家，避免踩坑～。 bug 原因之 bulk 隐藏错误信息第一时间，我去看了一下错误日志，竟然没有错误日志，很是神奇，既然这样，那我们就 DEBUG 一下吧，DEBUG 之前我先贴一段代码： func(es*UserES)batchAdd(ctxcontext.Context,user[]*model.UserEs)error{ req:=es.client.Bulk().Index(es.index) for_,u:=rangeuser{ u.Update...
21 天前 / 铭毅天下001
1、上问题这是来自球友实战问题。 大致需求介绍如下： 约 3600 万的数据，其中关键字段如下所示： _idcreatordoc_1『张三，李四，王五，赵六』doc_2『陈胜，吴广，张三』用 cardinality 聚合统计，creator 的个数有约 1300 万。 问题：但在高基数（high cardinality）的情形下，性能不理想。 2、概念解读：什么是高基数？为了更精确解读，这里直接拿：Elastic 官方博客只字不差的翻译。 Theperformanceoftermsaggregationscanbegreatlyimpactedbythecardinalityofthefieldthatisbeingaggregated. Cardinalityreferstotheuniquenessofvaluesstoredinapartic...
24 天前 / zlt2000
点击上方“陶陶技术笔记”关注我 回复“资料”获取作者整理的大量学习资料！ 一、前言 在 Elasticsearch 的日常中，有很多如存储 「系统日志」、「行为数据」等方面的应用场景，这些场景的特点是数据量非常大，并且随着时间的增长 索引 的数量也会持续增长，然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用（热数据），而历史数据几乎没有作用或者很少会被使用（冷数据），这个时候就需要对 索引 进行一定策略的维护管理甚至是删除清理，否则随着数据量越来越多除了浪费磁盘与内存空间之外...
33 天前 / reesunhuang
引言 如果在使用 Elasticsearch 的过程中，你还在为构建 Elasticsearch 的 DSL 语句而苦恼，还在为构建复杂冗长的条件而头疼，还在为一次次的响应提取而奔溃，那这时候你需要一个简单方便上手的 Elasticsearch ORM 框架：ebatis！ 一、背景 满帮车货匹配底层搜索引擎基于 Elasticsearch 实现。Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch Java client 方面，一般有官方提供的 Transport Client（Transport Client 在官方 7.0.0 文档中声明过时并将在 8.0.0 版...
40 天前 / 铭毅天下001
题记这是一位腾讯大佬 2020 年 4 月份在死磕 Elasticsearch 技术交流微信群里发起讨论的问题，之前初步讨论了答案，但是不够细或者说讲解不透，所以一直没有成文。 这一次，加上了实践验证，说透。 1、上问题还是没太搞懂 seed_hosts 和 cluster.initial_master_nodes 的区别。 1、 seed_hosts 里面一定是配置 master eligible 节点吗？2、还是说 data 节点也可以配置到 master eligible3、是如何发现潜在机器的呢？4、initial_master 一定是 master eligible 节点吧？5、集群初始启动时， 这几个节点一定都要在是吗？6 、初始的时候是不是可以配置一个...
44 天前 / sjf0115
导语 |Elasticsearch 7.10 版本最近发布，该版本有一个重磅特性：Searchable snapshots （可搜索快照功能），可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢，下面就让我们来一探究竟吧！本文作者：高斌龙，腾讯云大数据研发工程师。 一、功能介绍 在 Searchable snapshots 可搜索快照功能发布之前，通过调用 _snapshot API 对索引打的快照，不管是存储在 S3 还是 HDFS 或者是腾讯云的对象存储 COS 上，都是不能够直接进行查询的。
46 天前 / vivo互联网技术
一、写在前面 ES（Elasticsearch 下文统一称为 ES）越来越多的企业在业务场景是使用 ES 存储自己的非结构化数据，例如电商业务实现商品站内搜索，数据指标分析，日志分析等，ES 作为传统关系型数据库的补充，提供了关系型数据库不具备的一些能力。 ES 最先进入大众视野的是其能够实现全文搜索的能力，也是由于基于 Lucene 的实现，内部有一种倒排索引的数据结构。 本文作者将介绍 ES 的分布式架构，以及 ES 的存储索引机制，本文不会详细介绍 ES 的 API，会从整体架构层面进行分析，后续作者会有其他文章对 ES 的使用进行介绍。
58 天前 / 逗逗
导语 | 随着用户邮件数量越来越多，邮件搜索已是邮箱的基本功能。QQ 邮箱于 2008 年推出的自研搜索引擎面临着存储机器逐渐老化，存储机型面临淘汰的境况。因此，需要搭建一套新的全文检索服务，迁移存储数据。本文将介绍 QQ 邮箱全文检索的架构、实现细节与搜索调优。文章作者：干胜，腾讯后台研发工程师。 一、重构背景 QQ 邮箱的全文检索服务于 2008 年开始提供，使用中文分词算法和倒排索引结构实现自研搜索引擎。设计有二级索引，热数据存放于正排索引支持实时检索，冷数据存放于倒排索引支持分词搜索。
58 天前 / sjf0115
最近一年多开始“搞”ES(ElasticSearch)，遇到了很多“坑”，希望和大家也一起分享下，由于接触时间不长，如有问题麻烦联系我及时指出。 本公众号后续将改名为“Redis&ElasticSearch 开发运维实战” ElasticSearch 除了在日志场景（监控、数据分析、debug）等场景大量使用以外，最近一年多在很多核心上的线上业务（譬如电商业务）大量使用，目前接近了 5000 个节点，目前在 db-ranking（2020-11-24 日），ElasticSearch 在 search-engine 中常年第一： 对于 MySQL、Redis 这类存储缓存许多开发同学多有很强的最佳实践...
64 天前 / 铭毅天下001
1、引言 实战业务场景中，经常会遇到定义空值、检索指定空值数据的情况。这时候，当我们翻看官方文档 null_value 部分，会看到如下的描述：Accepts a string value which is substituted for any explicitnullvalues. Defaults tonull, which means the field is treated as missing.接受一个字符串值替换所有显式的空值。默认为 null，这意味着该字段被视为丢失。Anullvalue cannot be indexed or searched. When a field is set tonull, (or an empty array or an array ofnullvalues) it is treated as though that field has no values.空值不能被索引...
66 天前 / 铭毅天下001
Elasticsearch 集群在运行的过程中，由于各种原因，经常会出现健康问题。比较直观的是：kibana 监控、head 插件监控显示集群非绿色（红色或者黄色）。 遇到这种情况不要慌，本文给出基础集群故障排查及修复指南，希望对你有所帮助。1、集群健康状态的解读这里直接用官方文档的解析，以避免不准确导致误导。集群运行状况为：绿色、黄色、红色。在分片级别：绿色状态：表示集群健康；黄色状态：表示所有主分片均已分配，但有一个或多个副本分片未分配。
68 天前 / 逗逗
导语 | 随着业务的发展，系统日益复杂，功能愈发强大，用户数量级不断增多，设备 cpu、io、带宽、成本逐渐增加，当发展到某个量级时，这些因素会导致系统变得臃肿不堪，服务质量难以保障，系统稳定性变差，耗费相当的人力成本和服务器资源。这就要求我们：要有勇气和自信重构服务，提供更先进更优秀的系统。文章作者：刘敏，腾讯基础架构研发工程师。 前言 自今年三月份以来天机阁用户数快速上涨，业务总体接入数达到 1000+，数据进入量更是迎来了爆发式上涨，日均处理量上涨了一个数量级：Trace 数据峰值处理量达到 340 亿 / 日条...
73 天前 / 铭毅天下001
1、实战问题来源问题 1：大佬们 GET /_nodes/hot_threads 查看热线程的这个 API 有没有讲解请求结果的文章呢？返回一堆堆栈看不懂。..... 问题 2：ES 集群就一台机器 CPU 爆高，但 IO、heap_mem 都正常。咋搞？hot_thread 我查了，报了一坨，SOS 死磕 Elasticsearch 知识星球微信群 于是就有了这篇文章。 2、hot_threads 干什么的？能吃吗？实战业务场景中，当我们遇到集群响应比平常慢且 CPU 使用率高时，我们需要做问题排查，找到根因集群才能恢复“如丝般流畅"。 Elasticsearch 提供了监视热线程的能力，以便能够了解问题所在。
76 天前 / 铭毅天下001
1、线上实战提问 Elasticsearch 做模版查询的时候，在使用 terms 进行批量查询的时候放入数组在模版中进行查询失败，类似于模版传入数组该如何实现？ 问题来源：死磕 Elasticsearch 知识星球 #定义索引 PUTuint-2020-08-17 { "mappings":{ "properties":{ "clock":{ "type":"date", "format":"epoch_second" }, "itemid":{ "type":"long" }, "ns":{ "type":"long" }, "ttl":{ "type":"long" }, "value":{ "type":"long" } } } } #添加内容 PUTuint-2020-08-17/_bulk {"index":{"_id":"1"}} {"itemid":1,"ns":643214179,"clock":1597752311,"value":"1123",...
116 天前 / 铭毅天下001
1、实战问题 球友提问：怎么搜索才能使得结果是最好的呢？ 我这边一个搜索功能，实现做法就是将用 ik 分词器配合 multi 查询实现的。 中途也追加了客户所在领域相关词汇字典。 但是客户一直反馈搜索体验不好。 如果想要提高搜索体验还能从那些方面入手呢？ 来自：死磕 Elasticsearch 知识星球这个问题非常有代表性，我在实际产品开发中也遇到过。 2、从几个例子说搜索体验 示例一：“慕 X 网”输入“触发器”的搜索截图。 注意：我输入的是“触发器”，返回结果第一条没有问题，其他几条有关：“触”、“发”的，可以说和我的搜索没有关系。