5 小时前 / ytao
本文案例操作，建议先阅读我之前的文章《ElasticSearch之安装及基本操作API》 Mapping (映射)类似关系型数据库中的表的结构定义。我们将数据以 JSON 格式存入到 ElasticSearch 中后，在搜索引擎中 JSON 字段映射对应的类型，这时需要 mapping 来定义内容的类型。 字段类型JSON 数据类型映射到 ElasticSearch 定义的类型，常用的简单类型有： JSON类型ElasticSearch 类型文本类型Text/Keyword整数类型long/integer浮点类型float/double时间类型date布尔值boolean数组Text/Keyword上面要注意的是时间类型，JSON 中并没有时间类型，这里主要指时......
23 天前 / sjf0115
作者： johngqjiang，腾讯 TEG 云架构平台部研发工程师 Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务，大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容：腾讯万亿级 Elasticsearch 技术解密。......
23 天前 / u553049
Elasticsearch 是什么？Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化。 Elasticsearch 是基于 Apache Lucene 的。 Elasticsearch 因其简单的 REST API、分布式特性、告诉、可扩展而闻名。 Elasticsearch 是 Elastic 产品栈的核心，Elastic 产品栈是个开源工具集合，用于数据接收、存储、分析、可视化。 一个搜索和分析引擎Elasticsearch 可以让你存储所有类型的数据。 你可能认为搜索是关于文本的，的确，Elasticsearch 精通索引和查询文本。 但是，那不是全部，你还可以存......
25 天前 / 铭毅天下001
0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。 来自运维球友讨论的真实线上吐槽问题总结： 问题1：开发不规范。我们这边es 都是我们在推,很多开发不会用或者用的不规范！ 问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windows size死命地设，不管多少页都让它翻。 问题3：不评估可行性和高可用性，先搞起来。场景1, 我们还在2.x，这些开发的大爷可以把size给你堆几万！ 场景2, 那你叫产品看百度嘛，你搜个东西，前几页就有你想要的，会不会翻到10页以后？ ......
32 天前 / laoyang360
0、引言实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？ Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。 通过本文，您将了解： Elasticsearch 计算资源详解E......
41 天前 / 数据叔
推荐原创专栏大叔的大数据杂谈 【每日五分钟学习大数据】系列No.20 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！ 文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-Tree的优化，两者的区别由图应该是可以看得比较清楚......
44 天前 / 数据叔
【每日五分钟学习大数据】系列No.19 最近在给公司其他部门的同事输出关于 ElasticSearch (下面都简称ES) 的培训，内容从入门到（精通/放弃），反响还不错，有望在年底再冲一波绩效，哈哈。所以，独乐乐不如众乐乐，我整理了下大纲，脱敏了一些内容，发出来给大家一起学习一下，先从最基础的开始，后面会一步步深入，欢迎持续关注。 言归正传，要说ES那不得不先提一下 Apache Lucene，Lucene 是当下最先进、高性能、全功能的搜索引擎库。 而ES是用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单， 通......
47 天前 / hivefans东杰
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 改进版本目标：数据能跨月查询，并且支持1年以上的历史数据查询与导出。 按条件的数据查询秒级返回。 三、Elasticsearch检索原理3......
52 天前 / 知了一笑
一、安装和简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 环境搭建 Linux系统：centos7下搭建ElasticSearch中间件，常用接口演示 二、与SpringBoot2整合1、核心依赖 org.springframework.boot spring-boot-starter-data-elasticsearch ${spring-boot.version} 2、配置文件spring: application: name:ware-elastic-search data: elasticsearch: #默......
73 天前 / laoyang360
1、调查：你的Elasticsearch怎么做的安全防护？背景：大家知道elasticsearch早期版本安全部分收费（7.1 & 6.8 版本之前），实际中各个公司6.x，5.x,2.x,1.x都有在用，且非少数。群随机投票结果如下： 通过留言发现，大家使用2的比较多，历史包袱重，真正升级7.X的企业还不太多。Medcl在《给你 10 个升级到 Elastic Stack 7 的理由！》分享中提到升级到最新版本“更安全”的核心理由。 之前文章中也有过探讨：你的Elasitcsearch集群在裸奔吗？的确，安全问题已经成为公司使用Elasticsearch必须考虑的问题之一。2、说到Elasticsearch安全，你想......
84 天前 / Badb0y
游戏直播行业龙头斗鱼在 2019 年 Q2 的平均 MAU 再创新高，达到 1.628 亿。每天，超大量的用户使用斗鱼各客户端参与线上互动，斗鱼需要对客户端采集到的性能数据进行统计和分析，开发出具有多维度分析图表和数据监控的 APM （Application Performance Monitoring，应用性能监控） 平台。最初，斗鱼采用了市面上非常流行的 Elasticsearch （简称 ES）实时聚合实现。运行一段时间后，基于 ES 的方案面临用户查询时间长、数据精度丢失等问题，斗鱼采用 Apache Kylin 替换 Elasticsearch， 对 APM 平台中存在的问题进行优化。不试不知道，一试吓一跳......
96 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容 作者丨斌迪 HappyMint编辑丨Zandy 导语 本篇文章为大家带来ES面试指南，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案，希望对大家面试大数据分析师能够有所帮助。 为什么考察Elasticsearch？ Elasticsearch是一个近实时的搜索平台，在大数据生态系统中占据重要的地位。我们必须要了解其基本原理和概念，一方面可以对数据分析工作中排查问题有比较大的帮助，另一方面方便我们与他人沟通交流。 精......
98 天前 / sjf0115
背景说明 线上业务反应使用Flink消费上游kafka topic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境elasticsearch 2.3.3 flink 1.6.3 flink-connector-elasticsearch2_2.11 八台SSD，56核 ：3主5从 Rally分布式压测ES集群从压测结果来看，集群层面的平均写入性能大概在每秒10w+的doc。 Flink写入测试配置文件 1config.put("cluster.name",ConfigUtil.......
101 天前 / 鸡尾巴
作者: admin时间: 2019-09-20分类: elasticsearch背景增加字段的时候手残，将 float 类型的字段，加了 " , 自动识别为了 text 类型，想要修改 mapping 的时候发现 Elastic search 的 mapping 建立之后就不能更新了 ！！ 解决方案大体方案是 建立一个新的 索引 index_v2, 然后 reindex ，再将旧索引删掉，最后建立一个 alias 到 index_v2 talk is less，show me the code参数说明当前索引 index_v1目标索引 index_v2第一步，建立一个新的索引 index_v2 (mappings 替换成你需要的)curl -X PUT "http://localhost:9200/index_v2" -H 'Content-Type: ......
109 天前 / GO语言中文网
点击上方蓝色“Go语言中文网”关注我们，设个星标，天天学习Go Elastic client[1] 是一款很不错的针对 Go 语言的 Elasticsearch 客户端，在Working With Elasticsearch[2] 一文中，我用它举例解释了如何对文档建立索引并搜索文档。你如果希望代码能正常执行，不会被重构或者修改所影响，那么你必须要有一个能覆盖所有代码的测试用例。 在本文中我将教你如何用 Go 语言与 Elasticsearch 做单元测试。并且，此方法也适用于几乎所有语言调用外部 RESTful API. 服务调用 Elasticsearch 假设你有一个日志服务，能够获取获取某个应用，最近 n 条日志。......