9 小时前 / u553049
内容概要倒排索引是什么？为什么需要倒排索引？倒排索引是怎么工作的？1. 倒排索引是什么？假设有一个交友网站，信息表如下： 美女 1：“我要找在上海做 PHP 的哥哥。” 需要匹配 性别、城市、语言列。 美女 2：“我要找北京的爱旅游、爱美食的 JAVA 哥哥。” 更复杂了是吧，实际场景中，会有更复杂的排列组合。 对于这类的搜索，关系型数据库的索引就很难应付了，适合使用全文搜索的倒排索引。 倒排索引是一种数据库的索引形式，存储了 “内容 -> 文档” 映射关系，目的是快速的进行全文搜索。 2. 倒排索引是怎么工作的？主要包括 2 个过程： 创建......
3 天前 / u553049
内容概要 ES 基础介绍，重点是其中的核心概念。基础 API 实践操作。1. 基础介绍 Elasticsearch (ES) 是一个数据库，提供了分布式的、准实时搜索和分析。 基于 Apache Lucene，可以操作结构化数据、非结构化数据、数字类型数据、地理空间数据。 数据存储使用松散结构的 JSON 文档。 主要特性轻量快速的全文搜索。安全分析和基础设施监控。支持海量规模，数千台服务器、PB 级数据量。可以集成可视化数据分析工具，用于例如应用性能分析、日志监控、基础设施度量指标监控。可以用于机器学习，对数据实时进行自动化模型处理。核心概念 Index 索引关系数......
7 天前 / ytao
本文案例操作，建议先阅读我之前的文章《ElasticSearch之安装及基本操作API》 Mapping (映射)类似关系型数据库中的表的结构定义。我们将数据以 JSON 格式存入到 ElasticSearch 中后，在搜索引擎中 JSON 字段映射对应的类型，这时需要 mapping 来定义内容的类型。 字段类型JSON 数据类型映射到 ElasticSearch 定义的类型，常用的简单类型有： JSON类型ElasticSearch 类型文本类型Text/Keyword整数类型long/integer浮点类型float/double时间类型date布尔值boolean数组Text/Keyword上面要注意的是时间类型，JSON 中并没有时间类型，这里主要指时......
30 天前 / sjf0115
作者： johngqjiang，腾讯 TEG 云架构平台部研发工程师 Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务，大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容：腾讯万亿级 Elasticsearch 技术解密。......
30 天前 / u553049
Elasticsearch 是什么？Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化。 Elasticsearch 是基于 Apache Lucene 的。 Elasticsearch 因其简单的 REST API、分布式特性、告诉、可扩展而闻名。 Elasticsearch 是 Elastic 产品栈的核心，Elastic 产品栈是个开源工具集合，用于数据接收、存储、分析、可视化。 一个搜索和分析引擎Elasticsearch 可以让你存储所有类型的数据。 你可能认为搜索是关于文本的，的确，Elasticsearch 精通索引和查询文本。 但是，那不是全部，你还可以存......
32 天前 / 铭毅天下001
0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。 来自运维球友讨论的真实线上吐槽问题总结： 问题1：开发不规范。我们这边es 都是我们在推,很多开发不会用或者用的不规范！ 问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windows size死命地设，不管多少页都让它翻。 问题3：不评估可行性和高可用性，先搞起来。场景1, 我们还在2.x，这些开发的大爷可以把size给你堆几万！ 场景2, 那你叫产品看百度嘛，你搜个东西，前几页就有你想要的，会不会翻到10页以后？ ......
39 天前 / laoyang360
0、引言实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？ Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。 通过本文，您将了解： Elasticsearch 计算资源详解E......
48 天前 / 数据叔
推荐原创专栏大叔的大数据杂谈 【每日五分钟学习大数据】系列No.20 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！ 文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-Tree的优化，两者的区别由图应该是可以看得比较清楚......
51 天前 / 数据叔
【每日五分钟学习大数据】系列No.19 最近在给公司其他部门的同事输出关于 ElasticSearch (下面都简称ES) 的培训，内容从入门到（精通/放弃），反响还不错，有望在年底再冲一波绩效，哈哈。所以，独乐乐不如众乐乐，我整理了下大纲，脱敏了一些内容，发出来给大家一起学习一下，先从最基础的开始，后面会一步步深入，欢迎持续关注。 言归正传，要说ES那不得不先提一下 Apache Lucene，Lucene 是当下最先进、高性能、全功能的搜索引擎库。 而ES是用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单， 通......
55 天前 / hivefans东杰
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 改进版本目标：数据能跨月查询，并且支持1年以上的历史数据查询与导出。 按条件的数据查询秒级返回。 三、Elasticsearch检索原理3......
59 天前 / 知了一笑
一、安装和简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 环境搭建 Linux系统：centos7下搭建ElasticSearch中间件，常用接口演示 二、与SpringBoot2整合1、核心依赖 org.springframework.boot spring-boot-starter-data-elasticsearch ${spring-boot.version} 2、配置文件spring: application: name:ware-elastic-search data: elasticsearch: #默......
81 天前 / laoyang360
1、调查：你的Elasticsearch怎么做的安全防护？背景：大家知道elasticsearch早期版本安全部分收费（7.1 & 6.8 版本之前），实际中各个公司6.x，5.x,2.x,1.x都有在用，且非少数。群随机投票结果如下： 通过留言发现，大家使用2的比较多，历史包袱重，真正升级7.X的企业还不太多。Medcl在《给你 10 个升级到 Elastic Stack 7 的理由！》分享中提到升级到最新版本“更安全”的核心理由。 之前文章中也有过探讨：你的Elasitcsearch集群在裸奔吗？的确，安全问题已经成为公司使用Elasticsearch必须考虑的问题之一。2、说到Elasticsearch安全，你想......
91 天前 / Badb0y
游戏直播行业龙头斗鱼在 2019 年 Q2 的平均 MAU 再创新高，达到 1.628 亿。每天，超大量的用户使用斗鱼各客户端参与线上互动，斗鱼需要对客户端采集到的性能数据进行统计和分析，开发出具有多维度分析图表和数据监控的 APM （Application Performance Monitoring，应用性能监控） 平台。最初，斗鱼采用了市面上非常流行的 Elasticsearch （简称 ES）实时聚合实现。运行一段时间后，基于 ES 的方案面临用户查询时间长、数据精度丢失等问题，斗鱼采用 Apache Kylin 替换 Elasticsearch， 对 APM 平台中存在的问题进行优化。不试不知道，一试吓一跳......
104 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容 作者丨斌迪 HappyMint编辑丨Zandy 导语 本篇文章为大家带来ES面试指南，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案，希望对大家面试大数据分析师能够有所帮助。 为什么考察Elasticsearch？ Elasticsearch是一个近实时的搜索平台，在大数据生态系统中占据重要的地位。我们必须要了解其基本原理和概念，一方面可以对数据分析工作中排查问题有比较大的帮助，另一方面方便我们与他人沟通交流。 精......
105 天前 / sjf0115
背景说明 线上业务反应使用Flink消费上游kafka topic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境elasticsearch 2.3.3 flink 1.6.3 flink-connector-elasticsearch2_2.11 八台SSD，56核 ：3主5从 Rally分布式压测ES集群从压测结果来看，集群层面的平均写入性能大概在每秒10w+的doc。 Flink写入测试配置文件 1config.put("cluster.name",ConfigUtil.......