163 天前 / 个推技术学院
“个数”是“个推”旗下面向 APP 开发者提供数据统计分析的产品。“个数”通过可视化埋点技术及大数据分析能力从用户属性、渠道质量、行业对比等维度对 APP 进行全面的统计分析。 “个数”不仅可以及时统计用户的活跃、新增等，还可以分析卸载用户的成分、流向，此外还能实现流失、付费等用户关键行为的预测，从而帮助 APP 开发者实现用户精细化运营和全生命周期管理。其中很值得一提的是，“个数”在“可视化埋点”及“行为预测”方面的创新，为 APP 开发者在实际运营中带来了极大便利，所以，在下文中，我们也将围绕这两点做详细的分析。 可视......
165 天前 / ThoughtWorks
在当今的法律体系中，法律条文的制定往往跟不上时代前进的脚步，落后的条文（或者判例）有时反而会成为新生事物的制约；部分领域的法律条文或者判例卷帙浩繁，即使是专业的法律人也得耗费数年的学习和实践才能慢慢掌握法条的场景和使用；而即便是这么多的法律条文也难以将现实发生的所有复杂情况一一枚举，因此根据案件的实际情况参考哪些法条和如何定罪与量刑是法官、律师、陪审团等法律程序参与者的任务。这种人工干预有巨大操作和斡旋空间，也就出现了各种州级法院和联邦法院判断不一致的情况—— 明明案件内容是明确的，法律条文是明确的，然而......
171 天前 / 小米云技术
关于华米 华科技创于2014年，是家在智能穿戴技术领域有着丰富生物特征识别经验和数据驱动的公司，现拥有全球用户海量的生物识别与运动数据库，为户提供综合评估及分析等服务。华科技旗下产品主要包括小米品牌的智能环及智能秤、主品牌AMAZFIT系列的智能表及智能环等。截 2018年9，单小米环总出货量突破5000万只。 **本文根据华米大数据总监周锐的主题演讲 《可穿戴设备数据平台的演进之路》整理编辑** 华米大数据平台构成可穿戴设备的数据具有以下几点： 数据是结构化的。例如：小米手环自身会有一些传感器和处理单元，会把这些数据以结......
172 天前 / 恒生技术君
现如今，大数据技术的发展和应用有着巨幅的增长，Hadoop和相关平台推动起一波数据分析浪潮，今天产生的数据将用来预测明天发生的事情，我们该如何跨过这个海量数据新时代的门槛？又该如何获取更有价值的数据并将其收入囊中？ Apache Flume正是用来应对这个挑战的，无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达你的大数据平台，然后你就可以将精力集中在如何洞悉数据上。那么，下面我将带你揭开Flume的神秘面纱。 一、概述 Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、......
173 天前 / 个推技术学院
随着智能手机的普及和APP形态的愈发丰富，移动设备的应用安装量急剧上升。用户在每天使用这些APP的过程中，也会产生大量的线上和线下行为数据。这些数据反映了用户的兴趣与需求，如果能够被深入挖掘并且合理利用，可以指导用户的运营。若能提前预测用户下一步的行为，甚至提前得知用户卸载、流失的可能性，则能更好地指导产品的优化以及用户的精细化运营。 大数据服务商个推旗下的应用统计产品“个数”，可以从用户属性、使用行为、行业对比等多指标多维度对APP进行全面统计分析。除了基础统计、渠道统计、埋点统计等功能外，个数的一大特色能力......
177 天前 / Ala6
148人阅读2018-12-21 13:40:13一、Redis封装架构讲解 实际上NewLife.Redis是一个完整的Redis协议功能的实现，但是Redis的核心功能并没有在这里面，而是在NewLife.Core里面。 这里可以打开看一下，NewLife.Core里面有一个NewLife.Caching的命名空间，里面有一个Redis类，里面实现了Redis的基本功能；另一个类是RedisClient是Redis的客户端。 Redis的核心功能就是有这两个类实现，RedisClient代表着Redis客户端对服务器的一个连接。Redis真正使用的时候有一个Redis连接池，里面存放着很多个RedisClient对象。 所以我们Redis的封装有两层......
181 天前 / 叶锦鲤
本文是作者在2018年11月16日众智汇社群分享的记录。由@L记录整理。 作者：李吉泰康保险集团信息中心高级主管 负责数据智能部数据产品的规划设计和系统架构。在保险行业业务数据的基础上，研究如何将数据转化为服务，让数据为企业的业务服务，为企业的客户服务，同时为整个行业以及为社会服务。 曾在Sun Microsystems和Oracle公司任高级研发工程师、高级技术顾问工作。对计算机基础架构、系统软件以及云计算有丰富的经验。 大数据这个话题目前非常热门，一方面是因为有足够旺盛的需求，各个领域都觉得能够从......
181 天前 / sjf0115
“本文分析SparkSQL ThriftServer工作原理，修改Spark SQL源代码并实现了SQL 查询进度的计算,最后展示了一点资讯基于Presto+SparkSQL+Hive的Web查询引擎” 01 — 问题背景：SparkSQL ThriftServer 无法获取查询进度 目前公司的分布式Adhoc查询有以下几种：Presto,Hive,SparkSQL。公司外部开源系统里比较知名的有Redash，Zeppelin等查询工具。 以上查询工具均支持：Hive、SparkSQL、Mysql等查询数据源，SQL格式化，结果进行排序等。Redash还支持语法动态提示等功能，非常的方便。 然而很遗憾的是: 上述开源工具，无论是对接SparkSQL还是对......
181 天前 / 大叔据
Google的BigTable论文提到了一个很重要的东西：它所使用的文件组织方式（LSM-Tree），这个东东出自1996 年的一篇论文《The Log-Structured Merge-Tree (LSM-Tree)》。 对HBase有一定了解的同学对这个LSM一定不陌生。我们先来回忆下HBase的读写 写流程 向zookeeper发起请求，从ROOT表中获得META所在的region，再根据table，namespace，rowkey，去meta表中找到目标数据对应的region信息以及regionserver 把数据分别写到HLog和MemStore上一份，若MemStore中的数据有丢失，则可在HLog上恢复 当memstore数据达到阈值（默认是64M），将数据刷到硬盘，......
186 天前 / 大叔据
本篇重点： 1.Region的切分点是整个region中最大store中的最大文件中最中心的一个block的首个rowkey。 2.Region分裂是个事务过程 3.Region会先标记，在MajorCompaction时才真正移动数据。 Region切分触发策略0.94版本~2.0版本默认切分策略是IncreasingToUpperBoundRegionSplitPolicy，一个region中最大store大小大于设置阈值就会触发切分。这个阈值在一定条件下会不断调整，调整规则和region所属表在当前regionserver上的region个数有关系 ： (#regions) * (#regions) * (#regions) * flush size * 2 当然阈值并不会无限增大，最大值为用户设......
187 天前 / 数据虫巢
文 | 黄崇远 偷偷的瞄了一把，上次文章的更新是8月3号，现在是12月3号，刚好4个月，再停更下去，这个公号就可以当作死号了。如果说这个时间里很忙，这个是肯定的，但不更新的终究原因还是懒惰使然。再偷偷的看了下后台，发现还是还有不少订阅的朋友，愧疚难当，所以，懒癌得治治了。 今天我们要聊的话题是，电商领域里，算法与运营之间的“战争”。 作为一个相对标准的电商公司，双十一刚过去，双十二马上又要来临了。是的，都是忙成狗的大活动日子。 双十一每天甚至是每个小时，不同的活动商品都会带来大量的成交订单，然后......
188 天前 / 匡匡
一、背景 在没有接触Datax之前，公司绝大部分的数据都是使用kettle来进行ETL。Kettle是一款采用纯JAVA实现的开源ETL工具，提供了一系列的组件来用于完成抽取、转换、加载的工作。kettle提供了2种脚本，job和transformation，job用来对整个任务进行控制，transformation用来执行一些数据的转换 这里简单罗列一下kettle的优点： 1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟，可视化意味着更方便人的使用。 2.元数据库。元数据库用来保存kettle任务的元信息，方便管理任务，通常叫做资源库（repository）。 3.自带工作流并......
189 天前 / 飞奔的蛋蛋
很久以前就看到过关于Hbase的相关信息，那时以为这种需要大数据相关知识的数据库肯定是我这种业务开发程序员所接触不到的。但是随着经历的公司多了，发现其实对于大数据这个概念而言，其实不过是Java开发的一个分支。你可以看到在很多的ToB业务中，都需要用到Hive，HBase，Spark等等这类常见的Hadoop系列的大数据操作工具。相对与ToC的业务，ToB需要看到数据的变化，越多的数据对于客户具有越高的价值。例如，最近跑Demo的一个用户的店，广告系统就有60W的关键词信息，而且产品还要求每两个小时给用户跑一次。所以对于一般的程序员，大数据相关也是......
189 天前 / Gary_Gao
如何使用Spark快速将数据写入Elasticsearch说到数据写入Elasticsearch，最先想到的肯定是Logstash。Logstash因为其简单上手、可扩展、可伸缩等优点被广大用户接受。但是尺有所短，寸有所长，Logstash肯定也有它无法适用的应用场景，比如： 海量数据ETL海量数据聚合多源数据处理为了满足这些场景，很多同学都会选择Spark，借助Spark算子进行数据处理，最后将处理结果写入Elasticsearch。 我们部门之前利用Spark对Nginx日志进行分析，统计我们的Web服务访问情况，将Nginx日志每分钟聚合一次最后将结果写入Elasticsearch，然后利用Kibana配置实时监......
190 天前 / 深广大数据Club
微信公众号：深广大数据Club 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果你觉得深广大数据Club对你有帮助，欢迎赞赏 本文主要讲述Apache Flink在On Yarn模式下提交任务的执行流程源码分析。 关于本地模式以及集群模式，请阅读以下两篇文章： Flink源码解析 | 从Example出发：读懂本地任务执行流程 Flink源码解析 | 从Example出发：读懂集群任务执行流程 环境部署脚本入口 在yarn集群上启动一个长时间运行的flink集群，通过脚本yarn-session.sh来启动。 ./bin/yarn-session.sh-n4-jm1024m-tm4096m 我们从yarn......