5 天前 / laoyang360
题记Elasticsearch是被Netflix，微软，eBay，Facebook等Top N 顶级公司使用的搜索引擎。它很容易使用，但从长远来看相对难掌握。在本文中，我们分享了在系统中使用Elasticsearch六个不太明显但非常值得了解的注意事项。 1. Elastic StackElasticsearch最初是作为独立产品开发的。它的核心作用是提供可扩展的搜索引擎服务，它提供多种语言库API，基于分布式模型创建，并对外提供REST API接口服务。 随着Elastic生态圈的发展，衍生出了与Elasticsearch并肩作战的其他工具集合。从最早的Kibana （用于可视化和数据分析）、Logstash （用于日志收集）......
11 天前 / laoyang360
题记马云演讲中曾经提到：很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的，因为成功的原因有千千万万，失败的原因就一两个点。 创业需要关注别人的失败，而开发实战，别人的错误经验、别人的问题也非常有价值。 开发最懊悔的事莫过于：自己费尽脑汁、花费了很长时间解决了问题，原来别人在社区或者别的地方早已经给出了更优化的方案。 开发最最懊悔的事莫过于：别人已经给出了方案，但是我们仍然在黑暗中苦逼的摸索。 因此，我从2018年4月——至今，每月都会梳理出了Elasticsearch中文社区的精华干货——简称：Elastic......
25 天前 / laoyang360
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。 清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界...... ——[美] 阿图-葛尔德《清单革命》 01 Elasticsearch基础认知 死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！ Elasticsearch学习，请先看这一篇！ 严选 | ELK Stack 选书指南 严选 | Elasticsearch史上最全最常用工具清单 抢先 | 支持sql的Elasticsearch6.3全景概览 上线必备 | 高性能ES5.X部署配置清单刨根问底......
29 天前 / 逗逗
大家好，我是皮蛋二哥。 “ELK”是ElasticSearch、Logstash、Kibana 三门技术的简称。如今 ELK技术栈在互联网行业数据开发领域使用率越来越高，做过数据收集、数据开发、数据存储的同学相信对这个简称并不陌生，而ElasticSearch（以下简称ES）则在 ELK 栈中占着举足轻重的地位。 前一段时间，我亲身参与了一个 ES 集群的调优，今天把我所了解与用到的调优方法与大家分享，如有错误，请大家包涵与指正。 系统层面的调优系统层面的调优主要是内存的设定与避免交换内存。 ES 安装后默认设置的堆内存是 1GB，这很明显是不够的，那么接下来就会有......
33 天前 / laoyang360
题记git上发现了网友总结的Elasticsearch BAT大厂面试题。只有题目，部分有答案，但不全。 正好抽出一些时间一起梳理一下。 既然是面试题，每个人都会有自己的结合业务场景的答案，没有非常标准的答案。 欢迎大家留言拍砖指正。 1、elasticsearch了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段 。面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道不同共20+索引，根......
41 天前 / laoyang360
题记安全事件频发， 2018上半年的群友的讨论： 安全隐患划重点： 1、印度：没有设置Elasticsearch集群安全权限； 2、婚庆网站：Elasticsearch服务器暴露到公网。 3、群友：9200端口映射到外网。 保障Elasticsearch单节点或者集群网络安全必须提上日程！！ 该如何保障Elasticsearch集群的网络安全呢？ 1、不要将Elasticsearch暴露到Internet必须强调这一点。即使在开发和测试中，也没有理由让您的集群暴露于公共IP。 异地联调，外网访问的场景各大公司都存在，但请千万别“裸奔”。 1.1 防火墙：限制公共端口限制9200—— 集群对......
44 天前 / 恒生技术君
你看过《无敌破坏王2》吗？电影里对互联网每一个节点的具象化表现，真的是脑洞大开！ 每一个上网用户都被具化成实体，乘坐交通工具在每一个站点「停留」，网页上的广告位变成推销小哥举着牌子给用户推销，感兴趣的人就跟着这个小哥坐车去他简陋的小网站。细思极有趣。 当然，这里最让人印象深刻的就是这个搜索引擎——万事通（knowsmore），他是一个资料库柜台的小人，人们来这提问，他就搜索路径，让他们上车去往下一站。 最有趣的一点，是你每说一个字，他就会猜测一大堆的词语、句子，把搜索引擎的联想功能展现得特别生......
57 天前 / 猿天地
全文搜索引擎 ElasticSearch 还是 Solr？最近项目组安排了一个任务，项目中用到了全文搜索，基于全文搜索 Solr，但是该 Solr 搜索云项目不稳定，经常查询不出来数据，需要手动全量同步，而且是其他团队在维护，依赖性太强，导致 Solr 服务一出问题，我们的项目也基本瘫痪，因为所有的依赖查询都无结果数据了。所以考虑开发一个适配层，如果 Solr 搜索出问题，自动切换到新的搜索--ES。 其实可以通过 Solr 集群或者服务容错等设计来解决该问题。但是先不考虑本身设计的合理性，领导需要开发，所以我开始踏上了搭建 ES 服务的道路，从零开始，因为之......
65 天前 / Joinncat
张sir，京东到家研发工程师，主要负责订单中心、商家中心、计费等系统。 背景京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。京东到家的订单数据存储在Mysql中，但显然只通过DB来支撑大量的查询是不可取的，同时对于一些复杂的查询，Mysql支持得不够友好，所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。 Elasticsearch 做为一款功能强大的分布式搜索引擎，支持近实时的存储、搜索数据，在京东到家订单系统中发挥着......
65 天前 / laoyang360
0、题记 Elasticsearch性能优化的最终目的：用户体验爽。 关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。 Elasticsearch的爽点就是：快、准、全! 关于Elasticsearch性能优化，阿里、腾讯、京东、携程、滴滴、58等都有过很多深入的实践总结，都是非常好的参考。本文换一个思路，基于Elasticsearch的爽点，进行性能优化相关探讨。 1、集群规划优化实践1.1 基于目标数据量规划集群在业务初期，经常被问到的问题，要几......
71 天前 / 小米运维
本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。 上篇文章回顾：看示例学awk 一、5.x中ES-SQL用法Elasticsearch 5.x版本中，SQL功能还没有集成到Elasticsearch源码中，需要下载第三方插件后才能使用，配置过程如下： 1.安装ES-SQL依赖node npm ES-SQL 5.x版本以后，安装需要依赖node和npm，先安装node和npm，安装后在检查node及npm的安装，命令如下： yum -y install nodejs npmnode -vnpm -v 2.下载ES-SQL并安装 然后切换到ES的根目录下，执行如下命令，下载并安ES-SQL......
75 天前 / Gary_Gao
如何使用Spark快速将数据写入Elasticsearch说到数据写入Elasticsearch，最先想到的肯定是Logstash。Logstash因为其简单上手、可扩展、可伸缩等优点被广大用户接受。但是尺有所短，寸有所长，Logstash肯定也有它无法适用的应用场景，比如： 海量数据ETL海量数据聚合多源数据处理为了满足这些场景，很多同学都会选择Spark，借助Spark算子进行数据处理，最后将处理结果写入Elasticsearch。 我们部门之前利用Spark对Nginx日志进行分析，统计我们的Web服务访问情况，将Nginx日志每分钟聚合一次最后将结果写入Elasticsearch，然后利用Kibana配置实时监......
82 天前 / laoyang360
1、题记Elasticsearch写入流程，网上有视频、笔记等各种版本，本文结合最新官方文档进行重新梳理，节省大家的时间。 思考如下几个问题？ 1、为什么Elasticsarch是近实时，而不是准实时？ 2、为什么文档的CRUD操作是实时的？3、为什么Elasticsearch能做到保证数据不丢失 4、Refresh、flush的作用是什么？ 什么时候使用？5、Elasticsearch存储怎么让数据保存在磁盘上，而不是在内存上？ 本文会给出以上问题的答案。 2、Elasticsearch写入核心概念2.1 索引 indexElasticsearch中的“索引”有点像关系数据库中的数据库。 它是存储/索引数据的地方。......
89 天前 / 猿天地
前言公司的ES最近需要全部进行升级，目的是方便维护和统一管理。以前的版本不统一，这次准备统一升级到一个固定的版本。 同时还会给ES加上权限控制，虽然都是部署在内网，为了防止误操作，加上权限还是有必要的。 带来的问题就是我这边的程序得改了，目前用的是Spring Data Elasticsearch来操作ES。 问题首先版本从5.x升级到6.4.0，我这边用的Spring Boot是2.0.1版本，这块是兼容的，没有影响。唯一导致我这边要改动的就是权限这块。 在Spring Boot的文档中，提供了三种操作ES的框架，有两种是走Http协议的，也就是操作9200端口，是可以直接支......