3 天前 / 叫我大德行
在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。如何在ZB级的海量数据中获取并筛选有价值的信息，是对IT企业的一大挑战，通过构建客户标签，支撑精准营销服务，是应对上述挑战的有效解决方案，但是怎么设计一个完善的用户标签体系？怎么打标签？打哪些标签？谁来打？怎么使用用户标签创建商业价值？这些都是产品设计层面需要解决的问题。 掌上医讯一直以来都致力于打造医生的今日头条和智能化的学习平台，通过大数据技术实现医生学习的智能化和个性化，而要构建这样一个......
9 天前 / 浪尖
保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。 1. 语言要求 java刚入门的时候要求javase。 scala是学习spark要用的基本使用即可，这个虽然不是必须的但是后期要想深入玩转spark，kafka，flink等源码的话，还是必须要掌握的。 网上发现的一套linux 和java的入门教程 链接: https://pan.baidu.com/s/1_O5yY0kcYwskNRiPYoUaSw 提取码: up9g后期深入要求： java NIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。 2. 操作系统要求 linux 基本的shell脚本的使用。 crontab的使用，......
27 天前 / 唐磊
写这篇文章主要是为了告诉大家, 此号还活着~都9012年了, 大家还不掌握点"大数据"技能 哈哈, 开玩笑, 本文主要是一些常用 Shell 命令的综合应用. (啊, 发现微信公号改版后没发过, 所以把这段引言也放一下) 标题党一回, 现如今到处都是各种"大数据", 本文分析对象也就是首批积分落户的6000多条数据而已, 显然不能算什么大数据. 概述本文是 Shell 的一次综合应用, 充分利用 Shell 中的管道, 结合常用的 Shell 命令, 如sort, uniq, cut, grep, awk, sed等等命令对之前官方公布的首批北京积分落户同学进行分析. 目前政府官方数据公示期已过, 已经不能......
29 天前 / 雷语
引言在大数据系统中，我们往往无法直接对在线系统中的数据直接进行检索和计算。在线系统所使用关系型数据库、缓存数据库存储数据的方式都非常不同，很多存储系统并不适合分析型（OLAP）的查询，也不允许分析查询影响到在线业务的稳定性。从数仓建设的角度思考，数据仓库需要依赖于稳定和规范的数据源，数据需要经过采集加工后才能真正被数仓所使用。推动数据同步服务的平台化，才有可能从源头规范数据的产出。数据同步服务不像数据挖掘一样可以直接产生价值，但它更像是连接在线系统和离线系统的高速公路，好的同步工具可以很大程度上提升数据开发......
29 天前 / u496865
“带你走进Apache Kylin的世界” Kylin版本：2.5.1 前言 膜拜大神，Kylin作为第一个由国人主导并贡献到Apache基金会的开源项目，堪称大数据分析界的“神兽”。所以我也是抓紧时间来学习Kylin，感受Kylin所带来的魅力。 一、Kylin简介Kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据，它能在亚秒内查询巨大的Hive表。其核心是预计算，计算结果存在HBase中。 作为大数据分析神器，它也需要站在巨人的肩膀上，依赖HDFS、MapReduce/Spark、Hive/Kafka......
30 天前 / openio
潘卫华 / 唯品会基础架构部架构师，唯品会Dragonfly日志系统负责人。 对 Elasticsearch 和大数据流式处理有丰富经验，对Golang及其程序的性能优化也有较多研究。 前言 大家下午好！我是来自唯品会基础架构部的潘卫华。今天我们来跟大家一起看看在大数据领域里面，Golang的应用。我们知道在大数据领域里，Java 和 Scala 语言基本是处于统治地位的，主要是因为像 Hadoop 以及基于 Hadoop 的一些工具栈，比如 HBase/Hive/Spark/Flink 等等，这些都是基于 Java 或者 Scala开发，他们提供 的api 也是主要给 Java 系的语言来使用的。不过实......
33 天前 / Tamic
一年多以前，有朋友让我聊一下你们的大数据反欺诈架构是怎么实现的，以及我们途中踩了哪些坑，怎么做到从30min延迟优化到1s内完成实时反欺诈。当时呢第一是觉得不合适，第二也是觉得场景比较局限没什么分享的必要性。 时间也过了很久了，最近看到圈里一些东西，发现当时的这套架构并未落伍，依然具有很大的参考价值，所以今天跟大伙聊聊关于大数据反欺诈体系怎么搭建，主要来源是来自于我工作的时候的实践，以及跟行业里的很多大佬交流的实践，算是集小成的一个比较好的实践。 这套架构我做的时候主要领域是信贷行业的大数据反欺诈，......
34 天前 / 有赞技术
文 | 群演 on 大数据 一、概述在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？ 环境隔离，数据开发人员应当只需关注自己相关业务域的数据，也应该只能访问这一部分数据。从数据的角度，减小了被接触面，降低了被误操作的可能。从数据开发人员的角度，只能访问自己业......
49 天前 / 个推技术学院
“个数”是“个推”旗下面向 APP 开发者提供数据统计分析的产品。“个数”通过可视化埋点技术及大数据分析能力从用户属性、渠道质量、行业对比等维度对 APP 进行全面的统计分析。 “个数”不仅可以及时统计用户的活跃、新增等，还可以分析卸载用户的成分、流向，此外还能实现流失、付费等用户关键行为的预测，从而帮助 APP 开发者实现用户精细化运营和全生命周期管理。其中很值得一提的是，“个数”在“可视化埋点”及“行为预测”方面的创新，为 APP 开发者在实际运营中带来了极大便利，所以，在下文中，我们也将围绕这两点做详细的分析。 可视......
51 天前 / ThoughtWorks
在当今的法律体系中，法律条文的制定往往跟不上时代前进的脚步，落后的条文（或者判例）有时反而会成为新生事物的制约；部分领域的法律条文或者判例卷帙浩繁，即使是专业的法律人也得耗费数年的学习和实践才能慢慢掌握法条的场景和使用；而即便是这么多的法律条文也难以将现实发生的所有复杂情况一一枚举，因此根据案件的实际情况参考哪些法条和如何定罪与量刑是法官、律师、陪审团等法律程序参与者的任务。这种人工干预有巨大操作和斡旋空间，也就出现了各种州级法院和联邦法院判断不一致的情况—— 明明案件内容是明确的，法律条文是明确的，然而......
57 天前 / 小米云技术
关于华米 华科技创于2014年，是家在智能穿戴技术领域有着丰富生物特征识别经验和数据驱动的公司，现拥有全球用户海量的生物识别与运动数据库，为户提供综合评估及分析等服务。华科技旗下产品主要包括小米品牌的智能环及智能秤、主品牌AMAZFIT系列的智能表及智能环等。截 2018年9，单小米环总出货量突破5000万只。 **本文根据华米大数据总监周锐的主题演讲 《可穿戴设备数据平台的演进之路》整理编辑** 华米大数据平台构成可穿戴设备的数据具有以下几点： 数据是结构化的。例如：小米手环自身会有一些传感器和处理单元，会把这些数据以结......
58 天前 / 恒生技术君
现如今，大数据技术的发展和应用有着巨幅的增长，Hadoop和相关平台推动起一波数据分析浪潮，今天产生的数据将用来预测明天发生的事情，我们该如何跨过这个海量数据新时代的门槛？又该如何获取更有价值的数据并将其收入囊中？ Apache Flume正是用来应对这个挑战的，无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达你的大数据平台，然后你就可以将精力集中在如何洞悉数据上。那么，下面我将带你揭开Flume的神秘面纱。 一、概述 Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、......
59 天前 / 个推技术学院
随着智能手机的普及和APP形态的愈发丰富，移动设备的应用安装量急剧上升。用户在每天使用这些APP的过程中，也会产生大量的线上和线下行为数据。这些数据反映了用户的兴趣与需求，如果能够被深入挖掘并且合理利用，可以指导用户的运营。若能提前预测用户下一步的行为，甚至提前得知用户卸载、流失的可能性，则能更好地指导产品的优化以及用户的精细化运营。 大数据服务商个推旗下的应用统计产品“个数”，可以从用户属性、使用行为、行业对比等多指标多维度对APP进行全面统计分析。除了基础统计、渠道统计、埋点统计等功能外，个数的一大特色能力......
63 天前 / Ala6
148人阅读2018-12-21 13:40:13一、Redis封装架构讲解 实际上NewLife.Redis是一个完整的Redis协议功能的实现，但是Redis的核心功能并没有在这里面，而是在NewLife.Core里面。 这里可以打开看一下，NewLife.Core里面有一个NewLife.Caching的命名空间，里面有一个Redis类，里面实现了Redis的基本功能；另一个类是RedisClient是Redis的客户端。 Redis的核心功能就是有这两个类实现，RedisClient代表着Redis客户端对服务器的一个连接。Redis真正使用的时候有一个Redis连接池，里面存放着很多个RedisClient对象。 所以我们Redis的封装有两层......
66 天前 / 叶锦鲤
本文是作者在2018年11月16日众智汇社群分享的记录。由@L记录整理。 作者：李吉泰康保险集团信息中心高级主管 负责数据智能部数据产品的规划设计和系统架构。在保险行业业务数据的基础上，研究如何将数据转化为服务，让数据为企业的业务服务，为企业的客户服务，同时为整个行业以及为社会服务。 曾在Sun Microsystems和Oracle公司任高级研发工程师、高级技术顾问工作。对计算机基础架构、系统软件以及云计算有丰富的经验。 大数据这个话题目前非常热门，一方面是因为有足够旺盛的需求，各个领域都觉得能够从......