26 天前 / 北鱼扶摇
点击卡片，关注，置顶公众号 技术干货，及时送达！ 近期在公司做了一次 Elasticsearch 的分享，所以本篇主要是做一个总结，希望通过这篇文章能让读者大致了解 Elasticsearch 是做什么的以及它的使用和基本原理。 一、生活中的数据搜索引擎是对数据的检索，所以我们先从生活中的数据说起。 我们生活中的数据总体分为两种：结构化数据 和 非结构化数据。 结构化数据：也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据，如数据库，元数据等。
31 天前 / 冷星1024
大家好，我卡颂。 在最近发布的 Node v18.6.0 中，带来了一个试验特性 ESM Loader Hooks API[1]。 如果他最终落地，很可能会成为改变前端工程化未来的特性。本文我们来聊聊他。 本文参考： Custom ESM loaders: Who, what, when, where, why, how[2] 特性简介用过 webpack 的朋友一定知道 webpack 中有个 loader 的概念，用于加载并处理不同类型文件，比如 css-loader、url-loader。 loader 的执行顺序取决于 webpack 内部对文件树解析、遍历的顺序。
77 天前 / BloomingRose
文章来源：https://c1n.cn/EmgJv 目录前言 初版设计方案 CK 分页查询 使用 ES Scroll Scan 优化深翻页 ES+Hbase 组合查询方案 RediSearch+RedisJSON 优化方案 总结 前言 在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。 对“千万量级数据中查询 10W 量级的数据”设计了如下方案： 多线程 +CK 翻页方案 ES scroll scan 深翻页方案 ES+Hbase 组合方案 RediSearch+RedisJSON 组合方...
86 天前 / BloomingRose
本文根据许鹏老师在〖deeplus 直播：开源分布式数据库 CrateDB 在携程的最佳实践〗线上分享演讲内容整理而成。（文末有回放的方式，不要错过） 许鹏 携程 研发总监 专注于分布式计算和存储，对 Spark 和 PostgreSQL 有深入研究，拥有多年 Presto 和 Elasticsearch 的运维经验。 今天的分享主要包含以下几个方面的内容： CrateDB 介绍 CrateDB 在携程的实践 CrateDB 在携程的优化 总结 一、CrateDB 介绍 1、CrateDB CrateDB 是一款基于 ElasticSearch 的分布式数据库，它与 ElasticSearch 最大的区别是提供了 ANSI SQL 查询访问接口。
99 天前 / 非常王不二
本文讨论了四种主要的 API 架构风格，比较它们的优缺点，并重点介绍每种情况下最适合的 API 架构风格。 两个单独的应用程序需要中介程序才能相互通信。因此，开发人员经常需要搭建桥梁——也就是应用程序编程接口（API），来允许一个系统访问另一个系统的信息或功能。 为了快速、大规模地集成不同的应用程序，API 使用协议或规范来定义那些通过网络传输的消息的语义和信息。这些规范构成了 API 的体系结构。 在过去，人们已经发布了多种不同的 API 架构风格。每个架构风格都有它独有的标准化数据交换的模式。
101 天前 / 冷星1024
大厂技术坚持周更精选好文首先， ESBuild & swc 是什么？ESBuild[1]是基于 Go 语言开发的 JavaScript Bundler, 由 Figma 前 CTO Evan Wallace 开发， 并且也被 Vite 用于开发环境的依赖解析和 Transform.SWC[2]则是基于 Rust 的 JavaScript Compiler( 其生态中也包含打包工具 spack), 目前为 Next.JS/Parcel/Deno 等前端圈知名项目使用。为什么要关注这两个工具？因为。
102 天前 / sjf0115
作者：吴云涛，腾讯 CSIG 高级工程师 一个监控系统对于每一个服务和应用基本上都是必不可少的。在 Flink 源码中监控相关功能主要在 flink-metrics 模块中，用于对 Flink 应用进行性能度量。Flink 监控模块使用的是当前比较流行的 metrics-core 库，来自 Coda Hale 的 dropwizard/metrics [1]。dropwizard/metrics 不仅仅在 Flink 项目中使用到，Kafka、Spark 等项目也是用的这个库。Metrics 包含监控的指标（Metric）以及指标如何导出（Reporter）。Metric 为多层树形结构，Metric Group + Metric Name 构成了指标的唯一标识。
108 天前 / reesunhuang
点击关注下方公众号，架构师全套资料都在这里 0、2T 架构师学习资料干货分享上一篇：设计一个高质量的 API 接口 大家好，我是互联网架构师。 一、背景 会员系统是一种基础系统，跟公司所有业务线的下单主流程密切相关。如果会员系统出故障，会导致用户无法下单，影响范围是全公司所有业务线。所以，会员系统必须保证高性能、高可用，提供稳定、高效的基础服务。 随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程 APP、艺龙 APP、同程微信小程序、艺龙微信小程序等多平台会员体系。
109 天前 / 冷星1024
首先， ESBuild & swc 是什么？ESBuild[1]是基于 Go 语言开发的 JavaScript Bundler, 由 Figma 前 CTO Evan Wallace 开发， 并且也被 Vite 用于开发环境的依赖解析和 Transform.SWC[2]则是基于 Rust 的 JavaScript Compiler( 其生态中也包含打包工具 spack), 目前为 Next.JS/Parcel/Deno 等前端圈知名项目使用。为什么要关注这两个工具？因为。.. 大家可能在日常工作中遇到过， 项目的构建时间随着项目体积和复杂度逐渐递增， 有的时候本地编辑一个项目要等上个大几分钟 ( 此处 @Webpack) 这个是 ESBuild 官网对于其打包 10 份 three.js 的速度对比 SWC 则...
166 天前 / 冷星1024
现代浏览器支持了 ES Modules[1]，也就是浏览器原生支持的 JavaScript 模块化方案。虽然考虑兼容性，我们还很少能够把 ES Modules 用于生产环境，但是在开发、测试、学习的场景中，ES Modules 发挥了越来越大的作用，比如构建工具 Vite[2]，就利用 ES Modules 来快速提供开发调试环境。React 和 Vue 框架的学习中，也都可以利用 ES Modules 不用安装本地构建工具，直接在浏览器上体验这些现代框架。 不过 ES Modules 有个局限性，就是它在浏览器里能够 import 指定 URL 的模块化 JS 代码，但是不能 import 自身 HTML 文件里的模块...
178 天前 / BloomingRose
1 背景 石墨文档全部应用部署在 Kubernetes 上，每时每刻都会有大量的日志输出，我们之前主要使用 SLS 和 ES 作为日志存储。但是我们在使用这些组件的时候，发现了一些问题。 成本问题： SLS 个人觉得是一个非常优秀的产品，速度快，交互方便，但是 SLS 索引成本比较贵 我们想减少 SLS 索引成本的时候，发现云厂商并不支持分析单个索引的成本，导致我们无法知道是哪些索引构建的不够合理 ES 使用的存储非常多，并且耗费大量的内存 通用问题： 如果业务是混合云架构，或者业务形态有 SAAS 和私有化两种方式，那么 SLS 并不能通用 日志和链路...
209 天前 / bytearch
解题思路需要从 ES 搜索优化作答 es 的性能优化，主要是围绕着 fileSystem cache 也可以叫做 OS cache 来进行；es 写入数据实际上数据最终都会写入到磁盘中去，当我们搜索读取的时候，系统会将数据放入到 os cache 中，而 es 严重依赖于这个 os cache，如果我们给机器的内存足够多，在 es 里存的书库里昂小于内存容量，那么搜索的效率是非常高的， 性能优化的杀手锏——filesystem cache 你往 es 里写的数据，实际上都写到磁盘文件里去了，查询的时候，操作系统会将磁盘文件里的数据自动缓存到 filesystem cache 里面去。
224 天前 / 数据时光者
导读：本文是“数据拾光者”专栏的第四十七篇文章，这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇从理论到实践分享了当前 NLP 中对比学习 SOTA 的 ESimCSE 模型，对于想将对比学习应用到 NLP 场景的小伙伴可能有帮助。 欢迎转载，转载请注明出处以及链接，更多关于自然语言处理、推荐系统优质内容请关注如下频道。 知乎专栏：数据拾光者 公众号：数据拾光者摘要：本篇从理论到实践分享了当前 NLP 中对比学习 SOTA 模型 ESimCSE。
228 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号 ID：xjjdog），欢迎分享，转载请保留出处。 ES 作为 NoSQL 数据库里非常重要的一员，使用越来越广泛。虽然它因为索引延迟的原因，数据在时效性上有一些缺陷，但其大容量、分布式的优秀设计，使得它在时效性要求并不是特别高的类实时搜索领域，能够大展身手。 根据使用场景和用途，ES 可以分为写入和读取两种典型的应用方式。比如 ELKB，我们就需要额外关注它的写优化；再比如从 MySQL 中同步数据到 ES 的宽表，我们就需要额外关注它的读优化。 废话不多说，我们直接 show 一下优化方法。