2 天前 / 开发者头条
ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。 鉴于使用习惯，以及默认配置原因，Elasticsearch 服务普遍存在一个未授权访问的问题，攻击者通常可以请求一个开放 9200 或 9300 的服务器进行未授权访问数据。 而 3 月末以来，有黑客入侵了没有设置密码保护并开放在公网的 Elasticsearch 服务器，在进入数据库后，黑客将数据库全部删除，并留一下网络安全公司的名称，试图甩锅。 首次入侵始于 3 月 24 日左右。
21 天前 / 铭毅天下001
1、期望 Elasticsearch 搜索结果更准确，不可回避的三个问题问题 1：用户真正的需求是什么？ 如果不能获得用户的搜索意图，搜索的准确性无从谈起。 比如：同样输入“锤子”，工匠期望的是钉子对应的“锤子”，老罗的粉丝期望的是“锤子科技”、“锤子便签”、“锤子手机”等。 即使同一用户发出的同一个查询，也可能因为用户所处场景不同，其期望结果也存在很大差异。 问题 2：哪些信息是和用户需求真正相关的？ 搜索引擎本质是一个匹配过程，即从海量的数据中找到匹配用户需求的内容。
27 天前 / 大数据技术架构
在 Elasticsearch 日常运维中，有时候要对集群的某一个节点进行下线、上线操作，比如增加磁盘，扩展内存，版本升级，或节点回收等。本文就根据近期的一次生产实践，梳理如何实现 Elasticsearch 节点平滑下线。 所谓平滑下线，是指服务不中断，不影响正常的数据写入和业务查询。首先我们不能直接 kill 服务进程，这样可能会造成数据丢失，影响正常业务。下面整理了正确的操作步骤。 一、检查集群配置，避免脑裂问题在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 minimum_master_nodes 配置，确认下线节点不会影响集群可用性与稳定性...
36 天前 / 铭毅天下001
题记 percolator query 大家肯定在文档中见过，但实际业务中则较少用到。 本文探究一下 percolator query 的使用方法、原理、适用场景。 1、什么是 percolator 查询 percolator 中文含义：渗透器。 percolator query 等价于渗透查询或者反向查询。 我们相信大多数 Elasticsearch 开发人员都会按照惯例进行思考，我们为数据建模并将其存储在索引中。然后，他们通过搜索 API 定义查询以检索这些文档。 percolator query 的原理则完全相反，如下图所示： 您将查询存储到索引中，然后通过 Percolate API 定义文档以检索这些查询。
53 天前 / 虞大胆
在搜索项目中，对于中文语境必须选择一个中文分词器，目前选择的是 hanlp，选择它来源于官方介绍： HanLP 希望兼顾学术界的精准与工业界的效率，在两者之间取一个平衡，真正将自然语言处理普及到生产环境中去。 1：英语因为有空格分隔，而中文如果不分词，基本上每个单词都会被拆分，这是分词的难点。 我们不是搞学术研究的（也不会），所以拿来应用是最重要的，但能多了解一点原理，对于应用会有帮助。
59 天前 / 铭毅天下001
题记随着 Elastic 的上市，ELK Stack 不仅在 BAT 的大公司得到长足的发展，而且在各个中小公司都得到非常广泛的应用，甚至连“婚庆网站”都开始使用 Elasticsearch 了。随之而来的是 Elasticsearch 相关部署、框架、性能优化的文章早已铺天盖地。 初学者甚至会进入幻觉——“一键部署、导入数据、检索 & 聚合、动态扩展， So Easy，妈妈再也不用担心我的 Elastic 学习”！ 但，实际上呢？仅就 Elasticsearch 索引设计，请回答如下几个问题： 每天几百 GB 增量实时数据的 TB 级甚至 PB 级别的大索引如何设计？分片数和副本数大小如何设计...
74 天前 / u553049
内容概要倒排索引是什么？为什么需要倒排索引？倒排索引是怎么工作的？1. 倒排索引是什么？假设有一个交友网站，信息表如下： 美女 1：“我要找在上海做 PHP 的哥哥。” 需要匹配 性别、城市、语言列。 美女 2：“我要找北京的爱旅游、爱美食的 JAVA 哥哥。” 更复杂了是吧，实际场景中，会有更复杂的排列组合。 对于这类的搜索，关系型数据库的索引就很难应付了，适合使用全文搜索的倒排索引。 倒排索引是一种数据库的索引形式，存储了 “内容 -> 文档” 映射关系，目的是快速的进行全文搜索。
76 天前 / u553049
内容概要 ES 基础介绍，重点是其中的核心概念。基础 API 实践操作。1. 基础介绍 Elasticsearch (ES) 是一个数据库，提供了分布式的、准实时搜索和分析。 基于 Apache Lucene，可以操作结构化数据、非结构化数据、数字类型数据、地理空间数据。 数据存储使用松散结构的 JSON 文档。 主要特性轻量快速的全文搜索。安全分析和基础设施监控。支持海量规模，数千台服务器、PB 级数据量。可以集成可视化数据分析工具，用于例如应用性能分析、日志监控、基础设施度量指标监控。可以用于机器学习，对数据实时进行自动化模型处理。
81 天前 / ytao
本文案例操作，建议先阅读我之前的文章《ElasticSearch之安装及基本操作API》 Mapping (映射)类似关系型数据库中的表的结构定义。我们将数据以 JSON 格式存入到 ElasticSearch 中后，在搜索引擎中 JSON 字段映射对应的类型，这时需要 mapping 来定义内容的类型。 字段类型JSON 数据类型映射到 ElasticSearch 定义的类型，常用的简单类型有： JSON类型ElasticSearch 类型文本类型Text/Keyword整数类型long/integer浮点类型float/double时间类型date布尔值boolean数组Text/Keyword上面要注意的是时间类型，JSON 中并没有时间类型...
103 天前 / sjf0115
作者： johngqjiang，腾讯 TEG 云架构平台部研发工程师 Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务，大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容：腾讯万亿级 Elasticsearch 技术解密。
104 天前 / u553049
Elasticsearch 是什么？Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化。 Elasticsearch 是基于 Apache Lucene 的。 Elasticsearch 因其简单的 REST API、分布式特性、告诉、可扩展而闻名。 Elasticsearch 是 Elastic 产品栈的核心，Elastic 产品栈是个开源工具集合，用于数据接收、存储、分析、可视化。 一个搜索和分析引擎Elasticsearch 可以让你存储所有类型的数据。 你可能认为搜索是关于文本的，的确，Elasticsearch 精通索引和查询文本。
106 天前 / 铭毅天下001
0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。 来自运维球友讨论的真实线上吐槽问题总结： 问题1：开发不规范。我们这边es 都是我们在推,很多开发不会用或者用的不规范！ 问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windows size死命地设，不管多少页都让它翻。 问题3：不评估可行性和高可用性，先搞起来。
113 天前 / laoyang360
0、引言实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？ Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。
121 天前 / 数据叔
推荐原创专栏大叔的大数据杂谈 【每日五分钟学习大数据】系列No.20 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！ 文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-Tree的优化，两者的区别由图应该是可以看得比较清楚的。
125 天前 / 数据叔
【每日五分钟学习大数据】系列No.19 最近在给公司其他部门的同事输出关于 ElasticSearch (下面都简称ES) 的培训，内容从入门到（精通/放弃），反响还不错，有望在年底再冲一波绩效，哈哈。所以，独乐乐不如众乐乐，我整理了下大纲，脱敏了一些内容，发出来给大家一起学习一下，先从最基础的开始，后面会一步步深入，欢迎持续关注。 言归正传，要说ES那不得不先提一下 Apache Lucene，Lucene 是当下最先进、高性能、全功能的搜索引擎库。