23 小时前 / 编程一生
背景 在13年的时候，我开始负责整个公司的搜索引擎。嗯……，不是很牛的那种大项目负责人。而是整个搜索就我一个人做。哈哈。 后来跳槽之后，所经历的团队都用Elasticsearch，基本上和缓存一样，是项目必备的工具。目前静儿在做的项目中也在用，正好系统学习一下。毕竟静儿的梦想就是打造自己的搜索引擎。 目录 1.近实时(NRT NearRealtime) 2.集群(Cluster) 3.节点(Node) 4.索引(Index) 5.文档(Document) 6.分片和副本(Shards & Replicas) 7.缓存数据(fielddata) 8.文档值(doc values) 9.行为模式(norms) 10.召回率(Recall Rate)......
5 天前 / laoyang360
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？ .....本文给出答案。 1、Canal同步1.1 canal官方已支持Mysql同步ES6.X同步原理，参见之前: 干货 | Debezium实现Mysql到Elasticsearch高效实时同步。 canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能。canal adapter 的 Elastic Search 版本支持6.x.x以上。需要借助adapter实现。......
11 天前 / laoyang360
题记Elasticsearch 目前被广泛使用，也越来越受到欢迎。一些传统的行业甚至婚庆公司都已经在使用Elasticsearch。 人们喜欢Elasticsearch，不单单因为它的典型特征： 1）易于部署； 2）无需额外的软件即可扩展到数百个节点； 3）内置RESTful API，上手快； 4）开源+更新快+社区相当活跃。 更重要的是Elastic已经形成了包含Elasticsearch、logstash、kibana、Beats等的Elastic Stack一体化解决方案。 在大家使用Elasticsearch作为备用选型方案期间，被问到最多的问题之一是： “Elasticsearch作为解决方案需要注意什么？” 本文以15年国外......
13 天前 / sjf0115
提示：公众号展示代码会自动折行，建议横屏阅读 大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。 一、场景描述废话不多说，先来描述场景。某日，腾讯云某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。为了加快集群恢复的速度，调整分片恢复并发数，将默认值为2的 node_concurrent_recoveries 调整为100： curl -X PUT "localhost:9200/_cluster/settings" -......
19 天前 / laoyang360
题记马云演讲中曾经提到：很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的，因为成功的原因有千千万万，失败的原因就一两个点。 创业需要关注别人的失败，而开发实战，别人的错误经验、别人的问题也非常有价值。 开发最懊悔的事莫过于：自己费尽脑汁、花费了很长时间解决了问题，原来别人在社区或者别的地方早已经给出了更优化的方案。 开发最最懊悔的事莫过于：别人已经给出了方案，但是我们仍然在黑暗中苦逼的摸索。 因此，我从2018年4月——至今，每月都会梳理出了Elasticsearch中文社区的精华干货——简称：Elastic......
22 天前 / CodeSheep
文章共 500字，阅读大约需要 2分钟，文尾有计时器可自行对时！ 概 述Elasticsearch 在企业里落地的场景越来越多了，但是大家在项目里使用 Elasticsearch的姿势也是千奇百怪，这次正好自己需要使用，所以干脆就封装一个 elasticsearch-spring-boot-starter 以供复用好了。如果不知道 spring-boot-starter该如何制作，可以参考文章《如何自制一个Spring Boot Starter并推送到远端公服》，下面就来简述一下自制的 elasticsearch-spring-boot-starter该如何使用。 注：本文首发于 作者公众号CodeSheep，可长按/扫描下面的小心心来订阅 ↓ ↓ ↓ ......
23 天前 / yangyidba
前言因为公司技术方面的需求，前一段时间折腾了一下elasticsearch,总体技术水平能够达到简历上的“熟悉”的程度。 有管理ES集群经验的朋友肯定都知道elasticsearch的head插件能够实现对es集群的查看，索引分片，展示数据分布等功能，但是在页面美观上有点欠缺。本文介绍一款es集群管理平台--cerebro。 cerebro简介cerebro算是一款"绿色"软件，只要有标准的java环境，下载解压之后即可使用。 在功能上cerebro支持节点状态监控 服务器磁盘空间，cpu，load，索引数量大小 ，数据分布位置等监控。 支持查询。 安装wget "https://github.com/lmeneze......
23 天前 / 2020Labs小助手
作者：Anton Hgerstrand 翻译：杨振涛 Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。在经历了一些波折之后，最终我们认为做出了正确的技术选型。 Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将......
25 天前 / 小旋锋
前言本文的主要内容： 分布式介绍及cerebro 构建集群 副本与分片 集群状态与故障转移 文档分布式存储 脑裂问题 shard详解 分布式介绍及cerebroES支持集群模式，是一个分布式系统，其好处主要有两个： 增大系统容量，如内存、磁盘，使得ES集群可以支持PB级的数据 提高系统可用性，即使部分节点停止服务，整个集群依然可以正常服务 ES集群由多个ES实例组成 不同集群通过集群名称来区分，可通过cluster.name进行修改，名称默认为elasticsearch 每个ES实例本质上是一个JVM进程，且有自己的名字，通过node.name进行修改 cerebrocerebro 是......
26 天前 / laoyang360
题记来自Elasticsearch中文社区的问题—— MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？ logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。 回到问题本身：如果库表里没有相关字段，该如何处理呢？ 本文给出相关探讨和解决方案。 1、 binlog认知1.1 啥是 binlog？binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘......
26 天前 / 小旋锋
本文主要简要介绍Elasticsearch单节点的启动和关闭流程。Elasticsearch版本：6.3.2 相关文章1、Google Guice 快速入门 2、Elasticsearch 中的 Guice 3、教你编译调试Elasticsearch 6.3.2源码 4、Elasticsearch 6.3.2 启动过程 创建节点Elasticsearch的启动引导类为 Bootstrap 类，在创建节点 Node 对象之前，Bootstrap 会解析配置和进行一些安全检查等 创建节点对象 environment 对象主要是解析出来的配置信息 environment 对象创建节点过程的主要工作是创建各个模块对象和服务对象，完成 Guice 依赖绑定，获取并初始化探测器。 Mo......
26 天前 / mr7
背景 通过脚本改变评分 背景近期有一个需求，需要对优惠券可用商品列表加个排序，只针对面值类的券不包括折扣券。 需求是这样的，假设有一张面值券 50 块钱，可用商品列表 A 100、B 40、C 10，当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。 C 10 B 40 A 100 其实排序有很多侧重，比如： 1.根据用户利益最大化原则，排序列表应该是 B、C、A 2.根据用户购买习惯，有可能是 A、B、C 3.根据运营策略、第三方利益等有可能是C、B、A 这里暂且先不扩展如何对商品列表进行智能排序，如果需......
33 天前 / laoyang360
题记Elasticsearch是被Netflix，微软，eBay，Facebook等Top N 顶级公司使用的搜索引擎。它很容易使用，但从长远来看相对难掌握。在本文中，我们分享了在系统中使用Elasticsearch六个不太明显但非常值得了解的注意事项。 1. Elastic StackElasticsearch最初是作为独立产品开发的。它的核心作用是提供可扩展的搜索引擎服务，它提供多种语言库API，基于分布式模型创建，并对外提供REST API接口服务。 随着Elastic生态圈的发展，衍生出了与Elasticsearch并肩作战的其他工具集合。从最早的Kibana （用于可视化和数据分析）、Logstash （用于日志收集）......
39 天前 / laoyang360
题记马云演讲中曾经提到：很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的，因为成功的原因有千千万万，失败的原因就一两个点。 创业需要关注别人的失败，而开发实战，别人的错误经验、别人的问题也非常有价值。 开发最懊悔的事莫过于：自己费尽脑汁、花费了很长时间解决了问题，原来别人在社区或者别的地方早已经给出了更优化的方案。 开发最最懊悔的事莫过于：别人已经给出了方案，但是我们仍然在黑暗中苦逼的摸索。 因此，我从2018年4月——至今，每月都会梳理出了Elasticsearch中文社区的精华干货——简称：Elastic......