7 天前 / xF0rk
如果您身在技术圈，很可能在某个时刻已经正面遭遇过“服务器入侵”。即使您身处圈外，也可能会对致使私密个人数据最终落入不法之手的服务器 / 数据入侵和安全漏洞有所耳闻。此类数据可能包括信用信息、社会安全号码，以及其他您想要保密且不希望落入暗网的信息。 所有软件都必须应对可能出现的入侵或攻击。Elasticsearch，这个由 Elastic 开发的开源软件项目也不例外。未在 Elasticsearch 中安全存储的数据也曾发生过泄露、丢失或被盗的情况。
17 天前 / xF0rk
作者：黄华，腾讯 TEG 云架构平台部研发工程师 背景 Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。
22 天前 / 铭毅天下001
昨天晚上看到《成人网站泄露 108 亿数据，内含 50 万中国用户 》的文章，因为数据是基于 Elasticsearch 存储的，出于好奇，查了一些国外的报道，才有了这篇文章的思考。 1、信息滞后及一手资料的重要性 国内首发时间较国际首发时间晚了 5 天。也就是我们看到的鲜活的标题是 5 天后的第二手、第三手数据。 第一手资料的重要性不言而喻。 号称比特币首富的李笑来在一次收费语音课程中提到：他最早关注比特币就是通过刷 twiiter 刷出来的，讨论的人多 + 新事物两个属性激发了他的兴趣。
23 天前 / reesunhuang
作者海向，Java 知音撰稿人，前 58 同城后端研发工程师，现某知名金融科技类公司 Java 工程师，热爱技术研究，技术分享。如果您有好的作品分享，公众号菜单栏“关于我们”中查看投稿方式。 什么是 elasticsearchElasticsearch 是一个开源的高度可扩展的全文搜索和分析引擎，拥有查询近实时的超强性能。 大名鼎鼎的 Lucene 搜索引擎被广泛用于搜索领域，但是操作复杂繁琐，总是让开发者敬而远之。而 Elasticsearch 将 Lucene 作为其核心来实现所有索引和搜索的功能，通过简单的 RESTful 语法来隐藏掉 Lucene 的复杂性...
27 天前 / HueiFeng
作者介绍 李猛 (ynuosoft)，Elastic-stack 产品深度用户，ES 认证工程师，2012 年接触 Elasticsearch，对 Elastic-Stack 开发、架构、运维等方面有深入体验，实践过多种 Elasticsearch 项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供 Elastic-stack 咨询培训以及调优实施。 序言 Elasticsearch 当前热度排名很高 青出于蓝，而胜于蓝。 入行 Elastic-Stack 技术栈很久很久，为了免于知识匮乏眼光局限，有必要到外面的世界看看，丰富自己的世界观。本篇内容从 Elastic 的竞争产品角度分析探讨。
29 天前 / 虞大胆
最近要做一个自动补全搜索的项目，很久没看了，都生疏了，过年的时候也写过好几篇相关文章（见文末），相比以前的自动补全，本次增加了两个新功能： 支持拼音全拼、拼音 prefix 补全 支持模糊自动补全 对于拼音，主要就是使用 pinyin 分词插件，具体的原理后续分享，本文的目的是说明如何进行拼音补全。 首先就是建模，如下图： 可以看出 full_pinyin、prefix_pinyin 这两个 filter 就是支持全拼、拼音 prefix，加上 standard 标准分词的搜索，原理很简单，相当于一个词可以通过三种类型的分词进行匹配，增大了匹配范围。
42 天前 / 铭毅天下001
1、问题引出 微信群里的线上实战问题： 诸位大哥，es 中： keyword 类型的字段进行高亮查询，值为 123asd456，查询 sd4，高亮结果是 em 123asd456 em 有没有办法只对我查询的 sd4 高亮？ 明明查询 id 的一部分，却高亮结果是整个 id 串，怎么办？ 死磕 Elasticsearch 技术微信群 2、一个 Demo 描述清楚问题 注：本文示例 DSL 在 7.2 版本运行 ok，6.X 之前早期版本可能需要微调。 PUT findex { "mappings": { "properties": { "aname":{ "type":"text" }, "acode":{ "type":"keyword" } } } } POST f...
47 天前 / Jeffrey1029
一：elasticsearch 是什么 elasticsearch 是一个高度可扩展的开开源的分布式 RESTful 搜索和分析引擎 它具有快速，近乎实时存储，搜索和分析大量数据 它通常作为一个基础引擎技术为公司的搜索中心项目所用 二：为什么要学习 elasticsearch 迄今为止最先进，性能最好，功能最全的搜索引擎库 Lucene 分布式实时文件存储 支持横向扩展和纵向扩展。不需要程序去关注这些。 三：elasticsearch 几个使用场景如果你的公司有电商项目，可以使用 elasticsearch 存储商品，目录和库存，为用户提供搜索和自动补全搜索关键词的功能。
51 天前 / 虞大胆
作者介绍 李猛 (ynuosoft)，Elastic-stack 产品深度用户，ES 认证工程师，2012 年接触 Elasticsearch，对 Elastic-Stack 开发、架构、运维等方面有深入体验，实践过多种 Elasticsearch 项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供 Elastic-stack 咨询培训以及调优实施。 序言 图示：MongoDB 与 Elasticsearch 热度排名 本文内容涉及到 MongoDB 与 Elasticsearch 两大阵营，可能会引起口水之争，仅代表个人经验之谈，非阵营之说，围绕两个话题展开： 为什么要从 MongoDB 迁移到 Elasticsearch？ 如何从 MongoDB 迁移到 Elasticse...
58 天前 / 铭毅天下001
题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。 文章从以下几个维度展开讲解： 映射（Mapping）设置（Setting）查询方式（Querying）实战技巧（Strategy）1、映射（Mapping）1.1 避免使用nested类型 每个Elasticsearch文档都对应一个Lucene文档。
61 天前 / 开发者头条
ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。 鉴于使用习惯，以及默认配置原因，Elasticsearch 服务普遍存在一个未授权访问的问题，攻击者通常可以请求一个开放 9200 或 9300 的服务器进行未授权访问数据。 而 3 月末以来，有黑客入侵了没有设置密码保护并开放在公网的 Elasticsearch 服务器，在进入数据库后，黑客将数据库全部删除，并留一下网络安全公司的名称，试图甩锅。 首次入侵始于 3 月 24 日左右。
79 天前 / 铭毅天下001
1、期望 Elasticsearch 搜索结果更准确，不可回避的三个问题问题 1：用户真正的需求是什么？ 如果不能获得用户的搜索意图，搜索的准确性无从谈起。 比如：同样输入“锤子”，工匠期望的是钉子对应的“锤子”，老罗的粉丝期望的是“锤子科技”、“锤子便签”、“锤子手机”等。 即使同一用户发出的同一个查询，也可能因为用户所处场景不同，其期望结果也存在很大差异。 问题 2：哪些信息是和用户需求真正相关的？ 搜索引擎本质是一个匹配过程，即从海量的数据中找到匹配用户需求的内容。
86 天前 / 大数据技术架构
在 Elasticsearch 日常运维中，有时候要对集群的某一个节点进行下线、上线操作，比如增加磁盘，扩展内存，版本升级，或节点回收等。本文就根据近期的一次生产实践，梳理如何实现 Elasticsearch 节点平滑下线。 所谓平滑下线，是指服务不中断，不影响正常的数据写入和业务查询。首先我们不能直接 kill 服务进程，这样可能会造成数据丢失，影响正常业务。下面整理了正确的操作步骤。 一、检查集群配置，避免脑裂问题在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 minimum_master_nodes 配置，确认下线节点不会影响集群可用性与稳定性...
95 天前 / 铭毅天下001
题记 percolator query 大家肯定在文档中见过，但实际业务中则较少用到。 本文探究一下 percolator query 的使用方法、原理、适用场景。 1、什么是 percolator 查询 percolator 中文含义：渗透器。 percolator query 等价于渗透查询或者反向查询。 我们相信大多数 Elasticsearch 开发人员都会按照惯例进行思考，我们为数据建模并将其存储在索引中。然后，他们通过搜索 API 定义查询以检索这些文档。 percolator query 的原理则完全相反，如下图所示： 您将查询存储到索引中，然后通过 Percolate API 定义文档以检索这些查询。
111 天前 / 虞大胆
在搜索项目中，对于中文语境必须选择一个中文分词器，目前选择的是 hanlp，选择它来源于官方介绍： HanLP 希望兼顾学术界的精准与工业界的效率，在两者之间取一个平衡，真正将自然语言处理普及到生产环境中去。 1：英语因为有空格分隔，而中文如果不分词，基本上每个单词都会被拆分，这是分词的难点。 我们不是搞学术研究的（也不会），所以拿来应用是最重要的，但能多了解一点原理，对于应用会有帮助。