3 天前 / -江边城外-
首先这个特性处于实验阶段，在之后发布的release版本中可能会被移除，Elastic官方会尽最大努力去修复可能出现的各种问题，因为不受GA保护，所以前期大家尽量不要在生产环境中使用 1、介绍script_score 是 function score 2.0版本， 允许用户在检索中灵活修改文档score，来实现自己干预结果排名的目的，另外script score性能要高于function score下面我们通过一个简单的例子来加深理解，通过script score将文档score值修改为“like”字段值的十分之一： GET /_search{"query" : {"script_score" : {"query" : {"match": { "message": "elasticsear......
3 天前 / -江边城外-
一、背景易企秀创意云矩阵下面运营了多个以内容发布为核心的互联网产品，每天都有大量企业与设计师在这些平台制作并传播他们的作品，每个产品又由不同部门及技术小组分管运营，底层的技术框架、存储以及数据结构差异性都比较大，产品要求整合各产品线数据做一个一站式搜索引擎，数据要求尽可能与业务线保持实时同步，并且允许用户对搜索结果按照实时阅读量进行排序。幸运的是，elasticsearch提供了丰富的功能帮我们实现了大部分的操作，大幅降低了系统的维护成本。 二、数据处理流程业务线用到的数据库主要有3类，分别是MySQL、oracle、MongoDB，......
5 天前 / 恒生技术君
还记得我们的超萌搜索引擎——万事通（knowsmore）吗？之前我们深入介绍了内存分配和分词索引，今天我们就来深入解剖它的秘密！ 善于联想 电影中来到Google柜台前的用户，每说一个字一个词，万事通就可以展开多种联想，这或许得益于它多样化的查询方式。 Elasticsearch 是一个分布式的基于 RESTful 接口的搜索和分析引擎，使用的是DSL语法，下面介绍几个常用的搜索语句： 1、简单条件查询，term是精确查询 2、比较查询 3、符合多个条件查询，terms类似数据库中的in语句 4、多条件查询，bool must里面可以写多个查询条件，且可......
6 天前 / laoyang360
Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。 比快更快，有传说中的那么牛逼吗？盘他！ 通过本文，你能了解到： Elasticsearch&Kibana 7.部署体验 Elasticsearch7 革命性更新 Elasticsearch 7升级注意事项 Elasticsearch版本更新太快了，学不动了，肿么办？ 1、Elasticsearch&Kibana 7.部署体验1.1 Elasticsearch 7.0 默认自带 JDK不用再为安装什么版本的JDK和环境冲突而苦恼了，下载安装即可使用。 对比可知，包大了200MB+，正是JDK的大小。 1.2默认节点名称为主机名。不过仍然可以在elasticsearc......
14 天前 / laoyang360
1、问题抛出来自星友的一个真实业务场景问题： 我现在的业务需求是这样的。有一个作者字段，比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLei Li...。 现在要精确匹配。 我的想法是：用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLeiLi就不能搜索到，我希望的结果是LeiLei Li也被搜索到。 而且这种分词，Li,LeiLei不加逗号，也不能匹配到。但是不知道为什么我在mapping里面添加停用词也不管用？ 2、本文思路从问题出发，由浅入深逐步探讨 为什么需要分词？ 文档转换为倒排索引，发生了什么 Elasticsearch自带的分词器 ......
15 天前 / xF0rk
郑重声明：漫画人物和故事情节均是原创，未经同意禁止任何形式的转载，侵权将进入法律程序。大佬除外。 欢迎大家转发文章，谢谢！ 小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 对小史面试情况感兴趣的同学可以观看面试现场系列。 随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。 但是由于小史很久没有背过诗词了，飞一个字很难说出一句，很多之前很熟悉的诗句也想不起来。 【倒排索引】 ......
27 天前 / laoyang360
0、题记 Elasticsearch多表关联问题是讨论最多的问题之一，如：博客和评论的关系，用户和爱好的关系。 多表关联通常指：1对多，或者多对多关系在ES中的呈现。 本文以星球问题为出发点，引申出ES多表关联认知，分析了4种关联关系的适用场景、优点、缺点。 希望对你有所启发，为你的多表关联方案选型、实战提供帮助。 1、抛出问题 1.1 星球典型问题1.2 社区典型问题1.3 QQ群典型问题关系型数据库中的多表之间的关联查询，ES中有什么好的解决方案？ 如果我把关联关系的表迁移到ES中放到一个type下，文档结构除了对象之间的嵌套还有什么好的解决方......
27 天前 / 编程一生
关于映射 实际工作中使用过ES的朋友可能会有和静儿一样的感受。ES存储更新从编码上是很方便。如下，Kubernetes的yaml文件完全可以通过json直接序列化一下，一行代码存入ES。 剩下的工作可以交给ES进行动态生成映射。索引映射的生成方式有两种： 动态映射 字段和映射类型不需要在使用前定义，新字段名可以自动被添加到索引。只需要更新索引，新字段可以被添加到顶层映射、内部对象或者嵌套字段。 显示的映射 动态的映射，字段类型定义靠的ES自己来猜。开发人员自己比ES更了解自己的索引字段。所以有时会需要明确的指定索引类型。指定索引......
28 天前 / 逗逗
“最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台，日流量峰值在 10 到 12 亿上下，每年数据约 4000 亿条，占用空间大概 200T。 面对这样一个数据量级的需求，我们的数据如何存储和实现实时查询将是一个严峻的挑战。 经过对 Elasticsearch 多方调研和超过几百亿条数据的插入和聚合查询的验证之后，我们总结出以下几种能够有效提升性能和解决这一问题的方案： 集群规划 存储策略 索引拆分 压缩 冷热分区等 本文所使用的 Elasticsearch 版本为 5.3.3。 什么是时序索引？其主要特点体现在如下两个......
31 天前 / 编程一生
背景 在13年的时候，我开始负责整个公司的搜索引擎。嗯……，不是很牛的那种大项目负责人。而是整个搜索就我一个人做。哈哈。 后来跳槽之后，所经历的团队都用Elasticsearch，基本上和缓存一样，是项目必备的工具。目前静儿在做的项目中也在用，正好系统学习一下。毕竟静儿的梦想就是打造自己的搜索引擎。 目录 1.近实时(NRT NearRealtime) 2.集群(Cluster) 3.节点(Node) 4.索引(Index) 5.文档(Document) 6.分片和副本(Shards & Replicas) 7.缓存数据(fielddata) 8.文档值(doc values) 9.行为模式(norms) 10.召回率(Recall Rate)......
35 天前 / laoyang360
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？ .....本文给出答案。 1、Canal同步1.1 canal官方已支持Mysql同步ES6.X同步原理，参见之前: 干货 | Debezium实现Mysql到Elasticsearch高效实时同步。 canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能。canal adapter 的 Elastic Search 版本支持6.x.x以上。需要借助adapter实现。......
41 天前 / laoyang360
题记Elasticsearch 目前被广泛使用，也越来越受到欢迎。一些传统的行业甚至婚庆公司都已经在使用Elasticsearch。 人们喜欢Elasticsearch，不单单因为它的典型特征： 1）易于部署； 2）无需额外的软件即可扩展到数百个节点； 3）内置RESTful API，上手快； 4）开源+更新快+社区相当活跃。 更重要的是Elastic已经形成了包含Elasticsearch、logstash、kibana、Beats等的Elastic Stack一体化解决方案。 在大家使用Elasticsearch作为备用选型方案期间，被问到最多的问题之一是： “Elasticsearch作为解决方案需要注意什么？” 本文以15年国外......
43 天前 / sjf0115
提示：公众号展示代码会自动折行，建议横屏阅读 大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。 一、场景描述废话不多说，先来描述场景。某日，腾讯云某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。为了加快集群恢复的速度，调整分片恢复并发数，将默认值为2的 node_concurrent_recoveries 调整为100： curl -X PUT "localhost:9200/_cluster/settings" -......
45 天前 / 宜信技术学院
CE_TECH@creditease.cn技术开源 "让你脑洞大开的金融科技" 洞察 宜信漏洞管理平台 流式处理平台 提供流式实时/准实时数据处理 流可视应用平台 提供一站式数据可视化解决方案 全维监控 业务、应用/服务、基础三维一体的监控平台 了解更多实用干货 "科技前沿，IT大咖原创" 最新文章了解更多AngularJS在自动化测试中的应用 武贯祥/2019.04.08自动化测试最佳实践（一）：从纺锤模型到金字塔模型 魏建军/2019.04.08AI中台：一种敏捷的智能业务支持方案|宜信技术学院沙龙分享实录 井玉欣/2019.04.03UAVStack的慢SQL数据库监控功能及其实现 ......
49 天前 / laoyang360
题记马云演讲中曾经提到：很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的，因为成功的原因有千千万万，失败的原因就一两个点。 创业需要关注别人的失败，而开发实战，别人的错误经验、别人的问题也非常有价值。 开发最懊悔的事莫过于：自己费尽脑汁、花费了很长时间解决了问题，原来别人在社区或者别的地方早已经给出了更优化的方案。 开发最最懊悔的事莫过于：别人已经给出了方案，但是我们仍然在黑暗中苦逼的摸索。 因此，我从2018年4月——至今，每月都会梳理出了Elasticsearch中文社区的精华干货——简称：Elastic......