18 小时前 / Michael_翔_
Search 简介首先引用 Elasticsearch （下文简称 ES）官网的一段描述： Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 本文主要介绍 Elasticsearch 集群的搭建。通过在一台服务器上创建 3 个 ES 实例来创建一个建议的 ES 集群。 Elasticsearch/ES 官方的 Elasticsearch Reference 提供了不同版本的文档连接，真是赞！ 如果英文的不想看，还提供了中文版的 Elasticsearch 2.x: 权威指南，版本不是最新的...
6 天前 / 铭毅天下001
1、为什么要参加云栖大会？今年是线上的方式，参加大会实际就是看直播或者回放视频。 我在多种场合提及我的偶像是俞敏洪，多年前他在高校的演讲有这么一段：“我和马云的聊天，你们想不想听？当然想听，因为我们聊的内容都是书本上看不到的内容”。 是的，云栖大会大咖云集，作为 Elastic 爱好者，参加大会就是想看平时看不到、学不到的内容。 认知的四个维度中“不知道自己不知道”最为可怕。 之前微信群中有这么一段讨论： 『其实能做得很多 es 本身一开始更多的是文本相关性的搜索。但是其实现在信息已经更多是图像化、视频化、其他媒体类型。
31 天前 / 猿天地
背景读者提问：ES 的权重排序有没有示列，参考参考？ 刚好之前也稍微接触过，于是写了这篇文章，可以简单参考下。 在很多复杂的业务场景下，排序的规则会比较复杂，单一的降序，升序无法满足日常需求。不过 ES 中提供了给文档加权重的方式来排序，还是挺好用的。 首先初始化三条测试数据，方便查看效果： { id: 1, title: "Java 怎么学", type: 3, userId: 1, tags: [ "java" ], textContent: "我要学 Java", status: 1, heat: 80 } { id: 2, title: "Java 怎么学", type: 2, userId: 1, tags: [ "java" ], textContent: "我要学 Java...
36 天前 / 城的灯guo
背景最近工作中大量使用到 Elasticsearch，需要通过 Bulk 操作将大量数据推到 Elasticsearch 中，但是发现有个别推数据的分布式任务一直不能结束，通过 Thread Dump 发现 SchedulerX-ConsumerThread 处于休眠状态，Thread Dump 信息见下图： 思路通过上图的调用栈信息可知，SchedulerX-ConsumerThread 在等待锁，而该锁又被 elasticsearch[scheduler][T#1] 所占有，通过 locked ownable synchronizers 可知它不但持有 ReentrantLock 而且还锁定了 ThreadPoolExecutor， elasticsearch[scheduler][T#1] 不释放锁的原因是由于在等待一个信号量。
37 天前 / sjf0115
桔妹导读：滴滴 ElasticSearch 平台承接了公司内部所有使用 ElasticSearch 的业务，包括核心搜索、RDS 从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了 3000+ 节点，5PB 的数据存储，超过万亿条数据。平台写入的峰值写入 TPS 达到了 2000w/s，每天近 10 亿次检索查询。为了承接这么大的体量和丰富的使用场景，滴滴 ElasticSearch 需要解决稳定性、易用性、性能、成本等诸多问题。我们在 4 年多的时间里，做了大量优化，积攒了非常丰富的经验。通过建设滴滴搜索平台，打造滴滴 ES 引擎，全方位提升用户使用 ElasticSearch 体验。
44 天前 / -江边城外-
同义词也叫近义词或相近词，用来处理用户不同搜索关键词但表述相同的场景；如当用户输入“邀请函免费“与“邀请函免费版”，其实都在找免费的邀请函，那么在不考虑个性化的前提下返回的商品结果集不应该是不一样的。 那么基于以上假设，我们可尝试通过 ES 自带同义词功能来解决。 创建同义词文件第一步在 elasticsearch 的 config 目录下创建 analysis 文件夹创建自己的同义词文件 synonym.txt 并编辑 synonym.txt 文件 ( 切记文档编码格式一定要是 UTF-8,)，内容比如如下： 双十一，双 11=>购物节中秋，中秋节 =>中秋节免费，免费版 iPhone,苹果手机耐克...
50 天前 / sjf0115
作者：bellen，腾讯云大数据研发工程师。 腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。 背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。 因为游戏业务本身的日志数据量非常大 ( 写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群调整得比较稳定...
53 天前 / 铭毅天下001
题记 Elasticsearch 社区有大量关于 Elasticsearch 错误和异常的问题。 深挖这些错误背后的原因，把常见的错误积累为自己的实战经验甚至是工具，不仅可以节省我们的开发和运维时间，而且可以帮助确保 Elasticsearch 集群的长期健康运行。 常见的异常、原因和常规最佳实践拆解如下，这些最佳实践可以帮助我们更有效地识别、最小化定位和处理异常问题。 1、 Mapper_parsing_exception Elasticsearch 依靠映射（Mapping）定义的数据类型处理数据。
54 天前 / Jackeyzhe
前面我们聊了 Elasticsearch 的索引、搜索和分词器，今天再来聊另一个基础内容—— Mapping。 Mapping 在 Elasticsearch 中的地位相当于关系型数据库中的 schema，它可以用来定义索引中字段的名字、定义字段的数据类型，还可以用来做一些字段的配置。从 Elasticsearch 7.0 开始，Mapping 中不在乎需要定义 type 信息了，具体原因可以看官方的解释。 字段的数据类型我们刚刚提到 Mapping 中可以定义字段的数据类型，这可能是 Mapping 最常用的功能了，所以我们先来看看 Elasticsearch 都支持哪些数据类型。
61 天前 / -江边城外-
十条优化带你的 ES 飞起来 1、bool 查询的 filter 筛选众所周知，ES 中 filter 是不参与相关性评分的，所以查询子句可以被系统进行缓存，性能要高于普通的 query 查询。bool 查询中支持 4 种子句，分别是 filter、must、must_not、should，其中 filter 和 must_not 属于过滤器，过滤器查询先于其它查询执行。另外在 function_score、constant_score 中也可以使用 filter 子句进行查询缓存。 2、设置 indices.memory.index_buffer_sizeindices.memory.index_buffer_size 默认是 jvm 大小的 10% ，将该值调大到 20%，经常查询的索引分片数据会被缓存...
65 天前 / aotian
版权声明 本站原创文章 由 萌叔 发表转载请注明 萌叔 | http://vearne.cc1. 前言之所以写这篇文章是因为我已经在不止一个群里，看到有人问如何在 ES 中存储关联关系。 2. 答案你可能会在网上看到有说 Join datatype 和 Nested data type 的，但是其实这都不是 ES 该有的玩法。 Join datatype 和 Nested data type 都会涉及多次查询的开销 Join datatype 本身的数据就是在不同的表中，对于分布式数据库，还涉及数据从不同的节点上拉取和组装的开销。
68 天前 / sjf0115
分享嘉宾：于伯伟 58 同城 高级架构师 编辑整理：陈树昌 内容来源：DataFunTalk 导读：Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在是使用最广的开源搜索引擎之一。Elasticsearch 可以应用于在 / 离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki 文档检索等应用场景。
68 天前 / Jackeyzhe
在之前学习 Redis 的过程中，我就是一边通过文档 / 视频学习，一边阅读源码。我发现两种方法可以相辅相成，互相补充。阅读文档可以帮助我们快速了解某个功能，阅读源码有助于我们更深入的理解这一功能的实现及思想。 因此，在学习 Elasticsearch 的时候我也准备采用这样的模式。所以，从今天开始，我会定期更新学习 Elasticsearch 源码的收获。在开始学习之前，需要先把环境准备好。所以今天就先分享一下准备环境的过程。 软件环境 Intellij Idea:2020.1 版本 JDK 12 Gradle 5.5 下载源码你可以在 Github 中下载 release 版本或指定 tag 的源码，地址如下。
70 天前 / 知了一笑
一、集群环境搭建 1、环境概览 ES 版本 6.3.2，集群名称 esmaster，虚拟机 centos7。 ElasticSearch 基础功能和用法： MySQL 数据全量和增量方式向 ES 搜索引擎同步 Linux 系统 Centos7 环境搭建 ElasticSearch 中间件 SpringBoot2 整合 ElasticSearch 搜索引擎框架 在真正海量数据的业务场景中，ElasticSearch 搜索引擎都是需要集群化管理的，实时搜索几十亿的数据十分常见。 2、集群配置配置文件 vim/opt/elasticsearch-6.3.2/config/elasticsearch.yml 主节点配置 #集群主节点配置 cluster.name:esmaster node.master:true #节点名称 node.name:esnode1...
76 天前 / 铭毅天下001
1、上问题 1.1 线上实战问题 1——字符串切分 es 可以根据_id 字符串切分，再聚合统计吗比如：数据 1、_id=C12345 数据 2、_id=C12456 数据 3、_id=C31268 通过 es 聚合统计 C1 开头的数量有 2 个 C3 开头的数据有 1 个 这个 API 怎么写，有大佬指导下吗？ 1.2 线上实战问题 2——json 转 object 插入的时候，能不能对原数据进行一定的转化，再进行 indexing { "headers":{ "userInfo":[ "{\"password\":\"test\",\"username\":\"zy\"}" ] } } 这里面的已经是字符串了...