5 天前 / 滴滴技术
Elasticsearch是基于Lucene实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介滴滴2016年初开始构建Elasticsearch平台，如今已经发展到超过3500+Elasticsearch实例，超过5PB的数据存储，峰值写入tps超过了2000w/s的超大规模。 Elasticsearch在滴滴有着非常丰富的使用场景，例如线上核心的打车地图搜索，客服、运营的多维度查询，滴滴日志服务等近千个平台用户。 超大的规模......
6 天前 / 37丫37
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标题有多匹配，计算的是查询与文档的相关程度，计算完成之后会算出一个评分，记录在_score字段中，并最终按照_score字段来对所有检索到的文档进行排序 Filter过滤不会......
7 天前 / laoyang360
0、监控Elasticsearch集群的重要性Elasticsearch具有通用性，可扩展性和实用性的特点，集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反，不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。 适当地监视群集可以帮助您实时监控集群规模，并且可以有效地处理所有数据请求。 本文我们将从五个不同的维度来看待集群，并从这些维度中提炼出监控的关键指标，并探讨通过观察这些指标可以避免哪些潜在问题。 1、集群健康维度：分片和节点集群、索引、分片、副本的定义不再赘述。分......
13 天前 / 逗逗
上两篇文章《基于HBase+ElasticSearch进行用户画像查询（二）》、《ElasticSearch之复杂搜索及分页（一）》提到ElasticSearch组件的实际应用，ElasticSearch在亿级海量数据中多维度检索数据具有非常好的性能。本文主要对ElasticSearch底层原理浅析。 一、基本概念 索引（Index） ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合，类比传统关系型数据库的一个数据库（database），或者一个数据存储方案（schema）。索引由其名称（必须全小写字符）进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。 类型......
14 天前 / 北冥有鱼
“Elasticsearch 基于 Lucene，隐藏其复杂性，并提供简单易用的 Restful API接口、Java API 接口。所以理解 ES 的关键在于理解 Lucene 的基本原理。 Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，使它在读写时几乎完全避免了锁的出现，大大提升了读写性能。 核心模块 Lucene 的写流程和读流程如下图所示： ......
18 天前 / laoyang360
1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案。 那么问题是：为什么好多初学的朋友，找不到答案呢。 观察和思考了很久。我认为最主要的问题在于，没有建立基础知识全貌的认知。 正所谓“站的更高、才能看的更远”，才能不拘泥于某个细节，从整体而非局部看问题，才能触类旁通，更快找到问题的底层原因，进而解决......
21 天前 / 运维个西瓜
背景熟悉SaltStack的都知道，master/minions间所有的交互操作都是通过一个事件总线完成的。从master发出一个管理命令的同时，就生成了一个Job，当minions执行完作业并返回结果数据给master时，则又是以另外一个Job的形式返回的。 因此，我们在排查一些基于salt实现的自动化运维服务故障时，经常要做的一个操作就是登录到master系统，执行salt-run state.event test=True命令，然后观察当执行特定管理或配置任务时，salt底层的事件总线上面究竟是发生了什么，在C/S交互过程中，哪个步骤中有什么错误信息等。 由于以上命令查看的是事件总线上所有的......
23 天前 / Badb0y
本文只是重点摘要什么是Sonic？ Sonic是一个开源搜索索引服务器，用Rust编写。它构建简单，高性能且轻量级。 Sonic接受用户查询，并返回标识符。这些标识符指的是关系数据库中的实际文档（例如，在我们的案例中：消息，文章，CRM联系人等）。 Sonic不存储文档，这使得整个系统在存储方面简单而有效，因为从Sonic获取搜索结果的应用程序必须从另一个数据库（例如，MongoDB，MySQL等）提取实际结果数据，因为搜索结果返回的是ID）。 为什么要创造一个除Solr、ElasticSearch之外的新选择？ 我（sonic作者）经营一家名为Crisp的公司，为100,......
23 天前 / hehua
之前负责搜索系统的时候花了些时间在搜索中间件上，沉淀了一下拿出来跟大家分享。 一、背景 相比之下大家对数据库中间件的项目背景会比较熟悉，其实搜索中间件的项目背景也类似，搜索系统总的来说可以分两种，一种是业务为主的搜索推荐系统，另一种是以提供基础搜索服务能力为主的泛化的数据检索系统。 搜索中间件的服务目标就是这种泛化的平台化数据检索系统。 二、总体目标 根据前期的搜索平台运营经验，中间件的核心目标主要有三个： 引擎虚拟化：业务线不再需要感知具体的引擎地址（如具体的elasticsearch的ip/port），不需要了......
30 天前 / -江边城外-
内容较多、请先马后看；借助es分布式计算的能力，使得早期易企秀APP端图片搜索功能就具备了高可用、可扩展的能力 1、背景易企秀商场为我们提供了大量免付费的模板，这些模板多以固定的图片及样式组合而成，用户在这个基础上稍加修改便可以快速实现自己的H5场景，为了满足小白用户能够快速制作H5场景的需求，方便用户能够从海量商城作品中快速找到符合自己使用的风格模板，为此产品上提供了通过文本搜索快速获取样例商品的途径，也提供了基于图片搜索样例商品的功能，做图片搜索的目的是为了拓展用户获取商品的途径，同时也满足了用户基于图片风格......
34 天前 / -江边城外-
首先这个特性处于实验阶段，在之后发布的release版本中可能会被移除，Elastic官方会尽最大努力去修复可能出现的各种问题，因为不受GA保护，所以前期大家尽量不要在生产环境中使用 1、介绍script_score 是 function score 2.0版本， 允许用户在检索中灵活修改文档score，来实现自己干预结果排名的目的，另外script score性能要高于function score下面我们通过一个简单的例子来加深理解，通过script score将文档score值修改为“like”字段值的十分之一： GET /_search{"query" : {"script_score" : {"query" : {"match": { "message": "elasticsear......
35 天前 / -江边城外-
一、背景易企秀创意云矩阵下面运营了多个以内容发布为核心的互联网产品，每天都有大量企业与设计师在这些平台制作并传播他们的作品，每个产品又由不同部门及技术小组分管运营，底层的技术框架、存储以及数据结构差异性都比较大，产品要求整合各产品线数据做一个一站式搜索引擎，数据要求尽可能与业务线保持实时同步，并且允许用户对搜索结果按照实时阅读量进行排序。幸运的是，elasticsearch提供了丰富的功能帮我们实现了大部分的操作，大幅降低了系统的维护成本。 二、数据处理流程业务线用到的数据库主要有3类，分别是MySQL、oracle、MongoDB，......
37 天前 / 恒生技术君
还记得我们的超萌搜索引擎——万事通（knowsmore）吗？之前我们深入介绍了内存分配和分词索引，今天我们就来深入解剖它的秘密！ 善于联想 电影中来到Google柜台前的用户，每说一个字一个词，万事通就可以展开多种联想，这或许得益于它多样化的查询方式。 Elasticsearch 是一个分布式的基于 RESTful 接口的搜索和分析引擎，使用的是DSL语法，下面介绍几个常用的搜索语句： 1、简单条件查询，term是精确查询 2、比较查询 3、符合多个条件查询，terms类似数据库中的in语句 4、多条件查询，bool must里面可以写多个查询条件，且可......
38 天前 / laoyang360
Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。 比快更快，有传说中的那么牛逼吗？盘他！ 通过本文，你能了解到： Elasticsearch&Kibana 7.部署体验 Elasticsearch7 革命性更新 Elasticsearch 7升级注意事项 Elasticsearch版本更新太快了，学不动了，肿么办？ 1、Elasticsearch&Kibana 7.部署体验1.1 Elasticsearch 7.0 默认自带 JDK不用再为安装什么版本的JDK和环境冲突而苦恼了，下载安装即可使用。 对比可知，包大了200MB+，正是JDK的大小。 1.2默认节点名称为主机名。不过仍然可以在elasticsearc......
45 天前 / laoyang360
1、问题抛出来自星友的一个真实业务场景问题： 我现在的业务需求是这样的。有一个作者字段，比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLei Li...。 现在要精确匹配。 我的想法是：用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLeiLi就不能搜索到，我希望的结果是LeiLei Li也被搜索到。 而且这种分词，Li,LeiLei不加逗号，也不能匹配到。但是不知道为什么我在mapping里面添加停用词也不管用？ 2、本文思路从问题出发，由浅入深逐步探讨 为什么需要分词？ 文档转换为倒排索引，发生了什么 Elasticsearch自带的分词器 ......