4 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨HappyMint 这是作者的第6篇文章 近几日，许久未曾联系的大学同学突然向我咨询转岗大数据的事情，他当初并未考研，算起来已经工作有五六年了，这个时候考虑转岗，让他十分纠结。 由于作者也是半路转岗大数据，今天就跟大家分享一下自己对于这个问题的一些想法和建议吧。 01转岗原因分析 作者的这位大学同学辗转过几家公司，换过几个工作，毕业头几年是安卓开发。 打去年开始纠结转岗，问他原因，他说，目前安卓市场已趋于饱和......
6 天前 / 尹千觞
概述 如何降低人们使用数据的门槛，这是一个有意思，而又不那么容易回答的问题。大家习惯从WYSIWYG（What You See Is What You Get）的角度去出发，由此诞生了一些列的分析工具，例如Tableau，Pentaho 但是在拖拽语义和查询语义的表达和翻译上，总会产生歧义，这样的结果势必就造成了，如果我们更倾向于降低门槛，那我们就必须舍弃一部分功能，如果我们选择了功能，那么我们就需要让渡一些易用性了。 对于熟悉使用SQL的人来说，可能没有什么比直接使用SQL更简单的方式来获取数据了。但是非技术人员，看到SQL可能就像看天书......
22 天前 / mr7
点击hadoop123关注我哟知名的大数据中台技术分享基地，涉及大数据架构(hadoop/spark/flink等)，数据平台(数据交换、数据服务、数据治理等)和数据产品(BI、AB测试平台)等，也会分享最新技术进展，大数据相关职位和求职信息，大数据技术交流聚会、讲座以及会议等。 背景 Impala是一个SQL on Hadoop的MPP查询引擎，由Cloudera主导开发并捐献给Apache软件基金会，在2017年底正式孵化成为Apache顶级项目。 如图，大数据领域里的OLAP系统种类繁多，它们各自有自己的特长和局限性，需要根据实际业务场景合理进行选择。存储方式往往决定了系......
27 天前 / u128287
文| 小木 on 大数据 一、需求有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。 随着公司业务发展，数据同步的场景越来越多，主要是 MySQL、Hive 与文本文件之间的数据同步，Sqoop 已经不能完全满足我们的需求。在2017年初，我们已经无法忍受 Sqoop 给我们带来的折磨，准备改造我们的数据同步工具。当时有这么些很最痛的需求： 多次因 MySQL 变更引起的数据同步异常。MySQL 需要支持读写分离与分表分库模式，而且要兼容可能的数据库迁移、节点宕机以及主从切换 有不少异常是因为......
36 天前 / hyper0x
随着信息化技术的发展，社会形式也变得更加多样，更重要的，信息技术的发展为即将要到来的数据驱动下的教育变革奠定了基础。 3月13日，人工智能基础教育学术论坛暨《K12人工智能教育》系列丛书发布会在四川省成都市武侯高级中学体育馆隆重举行，电子科大大数据研究中心主任、DataCastle数据城堡发起人周涛教授以《浅析大数据与人工智能》为题，向与会专家学者和教师代表，分享了大数据与人工智能在教育理念、社会变革等方面应用落地的思路与现状。 以下是讲座内容整理 大家好，很高兴参加这次人工智能基础教育论坛，在这里和......
43 天前 / zZhao
表格存储: 数据存储和数据消费All in one 表格存储（Table Store）是阿里云自研的NoSQL多模型数据库，提供PB级结构化数据存储、千万TPS以及毫秒级延迟的服务能力。在实时计算场景里，表格存储强大的写入能力和多模型的存储形态，使其不仅可以作为计算结果表，同时也完全具备作为实时计算源表的能力。 通道服务是表格存储提供的全增量一体化数据消费功能，为用户提供了增量、全量和增量加全它量三种类型的分布式数据实时消费通道。实时计算场景下，通过为数据表建立数据通道，用户可以以流式计算的方式对表中历史存量和新增数据做......
43 天前 / gongyouliu
写在前面 本文主要面向的读者是在校计算机/软件相关专业想踏足大数据领域寻找相关实习机会的学生，以及刚工作1-2年想转大数据方向的同学。 读完本文，你将收获大数据技术学习的基本方向，以及在面试前需要准备和复习的常见面试题。 正文： 在数据时代的今天，大数据行业是最热门的行业之一。在大数据行业中，大数据分析师是需求量最大的岗位，很多高校也都专门开设了大数据专业，培养数据分析方面的人才。 今天我们就这个话题，结合笔者多年的面试官经历，来聊一聊，如果面试大数据分析师岗位（初、中级），需要掌......
44 天前 / hyper0x
分享嘉宾：张婷婷滴滴 高级研发工程师 编辑整理：孙博文 出品社区：DataFun 注：欢迎转载，转载请注明出处。 本次分享内容： 时序数据如何与滴滴实时计算平台产生联系； 当前使用的技术方案； 基于当前技术方案能够达到的效果。 首先了解到该平台的历史使命：作为业务的双眼，能够及时的发现数据的变化，同时拥有配套的报警能力，一旦发现数据的异常能够及时的通知到相关人员。 然后看一下该数据平台的技术架构演进历史，初始的架构采用扫描MySQL从表加拉取API的数据的方式，对数据进行预计算，按照一定规则存储到本地文件（例如......
46 天前 / 极市小助手
Robin.ly 是一个全新的视频内容平台，旨在为广大工程师和研究人员提高对商业，创业，投资，领导力的理解。第二期是Robin.ly线下活动，创始人Alex Ren 采访Caffe作者、Facebook Director of AI Infrastracture 贾扬清博士，并于场下互动问答。 以下为采访实录摘要： 完整视频请在文末扫二维码关注 Alex: 最早的时候听说Caffe是你的一个side project，不是你论文的主要内容。当时开发Caffe的初衷是什么？中间经历过什么过程，可以给大家讲一下吗？ Yangqing:主要的原因也是因为AI research，以前researcher写code，像Matlab之类......
47 天前 / 有赞技术
文 | hujiahua on 大数据 一、前言 Flume 是一个分布式的高可靠，可扩展的数据采集服务。 Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工”的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。 二、Delivery 保证认识 Flume 对事件投递的可靠性保证是非常重要的，它往往是我们是否使用 Flume 来解决问题的决定因素之一。 消息投递的可靠保证有三种： At-least-once At-most-once Exactly-once 基本上所有工具的使用用户都希望工具框架能保证消息 Exactly-once ，......
50 天前 / gongyouliu
点击上方大数据工程师，关注我们 近几年，大数据被广泛应用于各行各业。从早期的一个高精尖的工业新星，到如今变成了一个世人皆知的营销词汇。各种论坛、会议，开口必谈“大数据”，不说两句“大数据长、大数据短”的，都不好意思说自己在IT界混。从某种程度上来说，大数据这个圈太乱了，被“妖魔化”或者说被“神话”了的大数据，给圈内圈外人都带来了一些误解，今天就一些常见的“大数据误区”，跟大家初步讨论一下。 一圈外人所“误解”的大数据 大家有没有这样的发现，你可能前两天刚通过手机在某宝逛了一圈，想买一件“碎......
52 天前 / zhisheng
Blink 开源了有一段时间了，竟然没发现有人写相关的博客，其实我已经在我的知识星球里开始写了，今天来看看 Blink 为什么香？ 我们先看看 Blink 黑色版本： 对比下 Flink 版本你就知道黑色版本多好看了。 你上传 jar 包的时候是这样的： 我们来看看 Blink 运行的 job 长啥样？ 再来对比一下 Flink 的样子： 查看 Job Task 的详情，可以看到开始时间、接收记录、并行度、duration、Queue in/out、TPS 查看 subTask，这里可以直接点击这个日志就可以查看 task 日志： 查看背压： 查看 task metric，可以手动添加，支持的......
53 天前 / 大数据技术博客
Pregel: A System for Large-Scale Graph ProcessingThe Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing
56 天前 / gongyouliu
点击标题下「蓝色微信名」可快速关注 在各行各业都全力拥抱“大数据”的今天，随着获客成本的急剧攀升，竞争日益残酷，一个APP想从海量APP中脱颖而出，让用户下载、注册和使用它，甚至忠于它，很大程度上取决于产品是否满足用户的需求。因此，APP设计者只有充分了解用户，才能更好地获取用户、服务于用户，于是便有了现如今被广泛使用的用户画像的概念。 01什么是用户画像？ 用户画像，即用户信息标签化。用户信息包括用户的基本信息、社会属性信息、人口统计学信息和在APP上的行为信息等。根据用户真实数据，通过建立用户模型，将......
61 天前 / 叫我大德行
在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。如何在ZB级的海量数据中获取并筛选有价值的信息，是对IT企业的一大挑战，通过构建客户标签，支撑精准营销服务，是应对上述挑战的有效解决方案，但是怎么设计一个完善的用户标签体系？怎么打标签？打哪些标签？谁来打？怎么使用用户标签创建商业价值？这些都是产品设计层面需要解决的问题。 掌上医讯一直以来都致力于打造医生的今日头条和智能化的学习平台，通过大数据技术实现医生学习的智能化和个性化，而要构建这样一个......