23 天前 / 铭毅天下001
1、真实面试问题死磕 Elasticsearch 技术群好友留言： 2、面试官在问 Elasticsearch range 过滤时，他内心在想什么？最基础的：看你了不了解 range 查询？ 其次：看你了不了解 range 查询 支持哪些数据类型？ 再次：看你了不了解对应数据类型底层存储数据结构或算法？ 最后：看你了不了解对应数据结构的 range 查询原理？ 最根本的，想看你的底层原理扎不扎实？ 我们在被面试官面试的时候，实际上也是我们自己面试“面试官”。 站在面试官的角度考虑问题，多问几个问什么？基本就能揣摩出他内心的想法。
24 天前 / 九卷
作者：morningchen，腾讯 TEG 后台开发工程师 Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。 Tencent ES 是内核级深度优化的 ES 分支，持续地进行高可用、高性能、低成本等全方位优化，已支撑的单集群规模达到千级节点、万亿级吞吐。Tencent ES 已在公司内部开源，同时也积极贡献开源社区，截止目前已向社区提交 PR 25+。
41 天前 / xF0rk
如果您身在技术圈，很可能在某个时刻已经正面遭遇过“服务器入侵”。即使您身处圈外，也可能会对致使私密个人数据最终落入不法之手的服务器 / 数据入侵和安全漏洞有所耳闻。此类数据可能包括信用信息、社会安全号码，以及其他您想要保密且不希望落入暗网的信息。 所有软件都必须应对可能出现的入侵或攻击。Elasticsearch，这个由 Elastic 开发的开源软件项目也不例外。未在 Elasticsearch 中安全存储的数据也曾发生过泄露、丢失或被盗的情况。
51 天前 / xF0rk
作者：黄华，腾讯 TEG 云架构平台部研发工程师 背景 Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。
56 天前 / 铭毅天下001
昨天晚上看到《成人网站泄露 108 亿数据，内含 50 万中国用户 》的文章，因为数据是基于 Elasticsearch 存储的，出于好奇，查了一些国外的报道，才有了这篇文章的思考。 1、信息滞后及一手资料的重要性 国内首发时间较国际首发时间晚了 5 天。也就是我们看到的鲜活的标题是 5 天后的第二手、第三手数据。 第一手资料的重要性不言而喻。 号称比特币首富的李笑来在一次收费语音课程中提到：他最早关注比特币就是通过刷 twiiter 刷出来的，讨论的人多 + 新事物两个属性激发了他的兴趣。
56 天前 / reesunhuang
作者海向，Java 知音撰稿人，前 58 同城后端研发工程师，现某知名金融科技类公司 Java 工程师，热爱技术研究，技术分享。如果您有好的作品分享，公众号菜单栏“关于我们”中查看投稿方式。 什么是 elasticsearchElasticsearch 是一个开源的高度可扩展的全文搜索和分析引擎，拥有查询近实时的超强性能。 大名鼎鼎的 Lucene 搜索引擎被广泛用于搜索领域，但是操作复杂繁琐，总是让开发者敬而远之。而 Elasticsearch 将 Lucene 作为其核心来实现所有索引和搜索的功能，通过简单的 RESTful 语法来隐藏掉 Lucene 的复杂性...
60 天前 / HueiFeng
作者介绍 李猛 (ynuosoft)，Elastic-stack 产品深度用户，ES 认证工程师，2012 年接触 Elasticsearch，对 Elastic-Stack 开发、架构、运维等方面有深入体验，实践过多种 Elasticsearch 项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供 Elastic-stack 咨询培训以及调优实施。 序言 Elasticsearch 当前热度排名很高 青出于蓝，而胜于蓝。 入行 Elastic-Stack 技术栈很久很久，为了免于知识匮乏眼光局限，有必要到外面的世界看看，丰富自己的世界观。本篇内容从 Elastic 的竞争产品角度分析探讨。
63 天前 / 虞大胆
最近要做一个自动补全搜索的项目，很久没看了，都生疏了，过年的时候也写过好几篇相关文章（见文末），相比以前的自动补全，本次增加了两个新功能： 支持拼音全拼、拼音 prefix 补全 支持模糊自动补全 对于拼音，主要就是使用 pinyin 分词插件，具体的原理后续分享，本文的目的是说明如何进行拼音补全。 首先就是建模，如下图： 可以看出 full_pinyin、prefix_pinyin 这两个 filter 就是支持全拼、拼音 prefix，加上 standard 标准分词的搜索，原理很简单，相当于一个词可以通过三种类型的分词进行匹配，增大了匹配范围。
76 天前 / 铭毅天下001
1、问题引出 微信群里的线上实战问题： 诸位大哥，es 中： keyword 类型的字段进行高亮查询，值为 123asd456，查询 sd4，高亮结果是 em 123asd456 em 有没有办法只对我查询的 sd4 高亮？ 明明查询 id 的一部分，却高亮结果是整个 id 串，怎么办？ 死磕 Elasticsearch 技术微信群 2、一个 Demo 描述清楚问题 注：本文示例 DSL 在 7.2 版本运行 ok，6.X 之前早期版本可能需要微调。 PUT findex { "mappings": { "properties": { "aname":{ "type":"text" }, "acode":{ "type":"keyword" } } } } POST f...
81 天前 / Jeffrey1029
一：elasticsearch 是什么 elasticsearch 是一个高度可扩展的开开源的分布式 RESTful 搜索和分析引擎 它具有快速，近乎实时存储，搜索和分析大量数据 它通常作为一个基础引擎技术为公司的搜索中心项目所用 二：为什么要学习 elasticsearch 迄今为止最先进，性能最好，功能最全的搜索引擎库 Lucene 分布式实时文件存储 支持横向扩展和纵向扩展。不需要程序去关注这些。 三：elasticsearch 几个使用场景如果你的公司有电商项目，可以使用 elasticsearch 存储商品，目录和库存，为用户提供搜索和自动补全搜索关键词的功能。
85 天前 / 虞大胆
作者介绍 李猛 (ynuosoft)，Elastic-stack 产品深度用户，ES 认证工程师，2012 年接触 Elasticsearch，对 Elastic-Stack 开发、架构、运维等方面有深入体验，实践过多种 Elasticsearch 项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供 Elastic-stack 咨询培训以及调优实施。 序言 图示：MongoDB 与 Elasticsearch 热度排名 本文内容涉及到 MongoDB 与 Elasticsearch 两大阵营，可能会引起口水之争，仅代表个人经验之谈，非阵营之说，围绕两个话题展开： 为什么要从 MongoDB 迁移到 Elasticsearch？ 如何从 MongoDB 迁移到 Elasticse...
92 天前 / 铭毅天下001
题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。 文章从以下几个维度展开讲解： 映射（Mapping）设置（Setting）查询方式（Querying）实战技巧（Strategy）1、映射（Mapping）1.1 避免使用nested类型 每个Elasticsearch文档都对应一个Lucene文档。
94 天前 / 开发者头条
ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。 鉴于使用习惯，以及默认配置原因，Elasticsearch 服务普遍存在一个未授权访问的问题，攻击者通常可以请求一个开放 9200 或 9300 的服务器进行未授权访问数据。 而 3 月末以来，有黑客入侵了没有设置密码保护并开放在公网的 Elasticsearch 服务器，在进入数据库后，黑客将数据库全部删除，并留一下网络安全公司的名称，试图甩锅。 首次入侵始于 3 月 24 日左右。
113 天前 / 铭毅天下001
1、期望 Elasticsearch 搜索结果更准确，不可回避的三个问题问题 1：用户真正的需求是什么？ 如果不能获得用户的搜索意图，搜索的准确性无从谈起。 比如：同样输入“锤子”，工匠期望的是钉子对应的“锤子”，老罗的粉丝期望的是“锤子科技”、“锤子便签”、“锤子手机”等。 即使同一用户发出的同一个查询，也可能因为用户所处场景不同，其期望结果也存在很大差异。 问题 2：哪些信息是和用户需求真正相关的？ 搜索引擎本质是一个匹配过程，即从海量的数据中找到匹配用户需求的内容。
119 天前 / 大数据技术架构
在 Elasticsearch 日常运维中，有时候要对集群的某一个节点进行下线、上线操作，比如增加磁盘，扩展内存，版本升级，或节点回收等。本文就根据近期的一次生产实践，梳理如何实现 Elasticsearch 节点平滑下线。 所谓平滑下线，是指服务不中断，不影响正常的数据写入和业务查询。首先我们不能直接 kill 服务进程，这样可能会造成数据丢失，影响正常业务。下面整理了正确的操作步骤。 一、检查集群配置，避免脑裂问题在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 minimum_master_nodes 配置，确认下线节点不会影响集群可用性与稳定性...