13 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......
13 天前 / ConardLi
一、导读由于公众号不能放外部链接，一些题目和资料的链接无法访问，可点击阅读全文获得更好阅读体验。 据我了解，前端程序员有相当一部分不是科班出身，以至于对“数据结构”和“算法”的基础概念都不是很清晰，这直接导致很多人在看到有关这部分的内容就会望而却步。 实际上，当你了解了“数据结构”和“算法”存在的真正意义，以及一些实际的应用场景，对它有了一个整体的认知之后，你可能会对它产生强烈的兴趣。当然，它带将带给你的收益也是相当可观的。 很多前端同学在看到“数据结构”和“算法”后会有一定的抵触心理，或者尝试去练习，......
39 天前 / engineX
作者：朱江，腾讯工程师。 | 导语布隆过滤器是一种很实用的数据结构，能快速判断某个数据是否存在于特定集合中，比如可以用一个布隆过滤器记录读过某篇文章的所有用户，或者记录一个月内访问过某个URL所有用户。这样可以快速判断某个用户是否读过某篇文章、某个用户是否访问过某个URL，同时消耗内存极少。为了可以让各个业务都能方便使用，借鉴DCache设计，方便申请使用、管理，而背后的分配、主备、异常管理不需要业务关心。 01写在前面1.布隆过滤器特点一种概率型的数据结构，可以高效地插入和查询，能告诉你"某个数据一定不存在或可能存......
58 天前 / 冷星1024
编者按：本文作者高峰，360奇舞团前端工程师，W3C性能工作组/WOT工作组成员。 相信栈和队列这两种数据结构大家一定都不陌生吧。这两种数据结构有个特殊形式：即最小栈和最小队列。 下面我们分别来介绍下这两个带有“特异功能”的数据结构。 一、最小栈1. 什么是最小栈实现一个栈，带有出栈（pop），入栈（push），取最小元素（getMin）三个方法。并且这三个方法的时间复杂度都是O（1）。 2. 设计思路2.1 错误思路看了上面对于最小栈的定义后，可能大部分人都能够快速想到这样的思路： 创建一个栈，再额外声明一个变量，用于存储栈的最小值。将......
59 天前 / 让我思考一下
在分布式系统、P2P应用中或者是区块链中，会经常使用一种数据结构Merkle tree（默克尔树），这里我们将详细讨论一下这个数据结构。 Merkle treeMerkle树看起来非常像二叉树，其叶子节点上的值通常为数据块的哈希值，而非叶子节点上的值，所以有时候Merkle tree也表示为Hash tree，如下图所示： image在构造Merkle树时，首先要对数据块计算哈希值，通常，选用SHA-256等哈希算法。但如果仅仅防止数据不是蓄意的损坏或篡改，可以改用一些安全性低但效率高的校验和算法，如CRC。然后将数据块计算的哈希值两两配对（如果是奇数个数，最后一个自己与自......
59 天前 / 爱写Bug
给定一个链表，返回链表开始入环的第一个节点。如果链表无环，则返回null。 为了表示给定链表中的环，我们使用整数pos来表示链表尾连接到链表中的位置（索引从 0 开始）。如果pos是-1，则在该链表中没有环。 说明：不允许修改给定的链表。 Given a linked list, return the node where the cycle begins. If there is no cycle, returnnull. To represent a cycle in the given linked list, we use an integerposwhich represents the position (0-indexed) in the linked list where tail connects to. Ifposis-1, then there is no cycle in......
62 天前 / laoyang360
0、题记日志分析是ELK最常用、最核心业务场景之一。 如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。 Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。 本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。 1、认知前提老生常谈，夯实基础认知。 ELK Stack是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。 它们可以共同构成一个日志管理平台。 Elasticsearch：搜索和分析引擎。 Logstash：服务器端数据处理管道，它同时从多......
81 天前 / 冷星1024
原文：https://www.freecodecamp.org/news/the-complexity-of-simple-algorithms-and-data-structures-in-javascript-11e25b29de1e/ 译者：zhicheng 校对者：Chengjun.L 提示：文中的蓝色字体大家可以点击文末“阅读原文”在 freeCodeCamp 中文论坛访问链接 在之前的文章迈向计算科学的一步：JS 里的简易算法和数据结构里，我们讨论了简易的算法 (线性和二分搜索；冒泡、选择、插入排序) 以及数据结构 (数组、键值对对象)，这里将继续讨论算法和数据结构的复杂度概念及其应用。 复杂度复杂度是衡量程序复杂程度的一个指标。对于算法和数......
84 天前 / 秦小风啊
学了这么长时间数据结构和算法，有必要来个总结了，顺便回顾一下我们这段时间的学习成果。以 C++ 语言本身提供的数据结构为例。如果能掌握这 13 种数据结构，相信在学习其它语言的时候就不费劲了。
数组 Array
数组在初始化的时候就需要知道其大小，后续是不可以改变其大小的，可以通过下标来获取某个 index 中存放的元素。在 C++ 中通过源码可以知道，它其实是在 C 数组的基础上封装的：
#include
96 天前 / 宜信技术学院
前言 上篇文章Redis闲谈（1）：构建知识图谱介绍了Redis的基本概念、优缺点以及它的内存淘汰机制，相信大家对Redis有了初步的认识。互联网的很多应用场景都有着Redis的身影，它能做的事情远远超出了我们的想像。Redis的底层数据结构到底是什么样的呢，为什么它能做这么多的事情？本文将探秘Redis的底层数据结构以及常用的命令。 本文知识脑图如下： 一、Redis的数据模型 用 键值对name："小明"来展示Redis的数据模型如下： dictEntry:在一些编程语言中，键值对的数据结构被称为字典，而在Redis中，会给每一个key-value键值对分配一个字......
104 天前 / 仁风H
数据结构作为大学计算机相关专业的最基础的课程之一，我相信很多软件开发的从业者都能够列举一些具体的数据结构，比如栈、链表，树，图等。 但它对我们实际的开发过程有什么用呢？可能很多人都会说，没有太大用处，数据结构中学的东西，工作中基本都用不到。 之所以有这样结论，在笔者看来，是因为我们只学会了数据结构交给的我们的术，而没有学会其背后更本质的道。 我们的现状在很多的软件开发过程中，说实话，数据结构并不是一门必须要掌握的技能，因为很多的软件开发，并不需要什么高深的技术，直接想到哪儿，写到哪儿，错了就改，然后功能......
109 天前 / 杀死那个程序员
点击上方"张狗蛋的技术之路"，选择“置顶或者星标” 你的关注意义重大! Redis是一个开源的 key-value 存储系统，它使用六种底层数据结构构建了包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象的对象系统。今天我们就通过12张图来全面了解一下它的数据结构和对象系统的实现原理。 本文的内容如下： 首先介绍六种基础数据结构：动态字符串，链表，字典，跳跃表，整数集合和压缩列表。 其次介绍 Redis 的对象系统中的字符串对象（String）、列表对象（List）、哈希对象（Hash）、集合对象（Set）和有序集合对象（ZSet）。 最后......
116 天前 / 哈尔的数据城堡
学习数据挖掘算法也有一段时间了，某天小伙伴问我，你学的这个跟我们之前学校学的数据结构算法有什么区别吗。我很快回答：当然有区别啊。其实过后细想，究竟有啥区别。就是因为这个问题，才有了今天这篇文章。 那么在我们开始前，可以先暂停阅读一分钟，回忆下已了解数据结构的算法还有数据挖掘算法，思考下这两种算法有区别吗。 下面我们称数据结构算法为经典算法。 首先我们来看看算法是什么看看维基百科的定义 算法（algorithm），在数学（算学）和计算机科学之中，为任何良定义的具体计算步骤的一个序列，常用于计算、数据处理和自动推理。......
121 天前 / 人魔七七
树的基本概念篇 前言 由于我们后面讲的一些结构有很多是树结构实现的比如堆，然后基于堆可以实现优先级队列，有界优先级队列等，所以我们先讲述树结构，我们可能常见到的是二叉树，但是还有一些其他的树的概念：比如二叉搜索树，AVL树，红黑树，B树，决策树等。以便于在特定场景下使用。 树的一些应用场景 CFBinaryHeap 这个类在iOS中你可能会见到，这是一个二叉搜索算法实现的一个二叉堆，后面的priority queues这个结构就是用这个二叉堆实现的。还可以实现二叉搜索树。对高效率的搜索和排序有帮助。 iOS 中视图的层级结构就......