2 天前 / phperzone
点击标题下「蓝色微信名」可快速关注 本文大约1万字，阅读需要45分钟左右，建议先收藏 作者在上篇文章《推荐系统的工程实现》中提到推荐系统要很好地落地到业务中，需要搭建支撑模块，其中效果评估模块就是其中非常重要的一个。本篇文章作者来详细说明怎么评估(Evaluating)推荐系统的效果，有哪些评估手段,在推荐业务中的哪些阶段进行评估，具体的评估方法是什么。借此希望更好地帮助大家在实际业务中实施推荐系统评估模块。 本篇作者主要从“什么是一个好的推荐系统”、“在推荐系统业务的各个阶段怎么评估推荐系统”，“推荐系统......
2 天前 / zZhao
来这里找志同道合的小伙伴！ 引言 本文讲述如何去构建一个日志系统，用到了哪些技术？为什么用这些技术？遇到的问题及优化的过程，希望给大家在实践中提供一些参考。 这是一个有关于日志的项目，负责收集、处理、存储、查询京东卖家相关操作的日志，这里就叫它“卖家日志”。在日常的开发过程中，可能对日志这个词并不陌生，例如常接触到的Log4j、slf4j等等，这些日志工具通常用来记录代码运行的情况，当系统出问题时，可以通过查看日志及时的定位问题所在，从而很快的解决问题。 今天所讲的“卖家日志”，与普通的日志有些许的不......
2 天前 / phperzone
导读：本文由Kubernetes在微博落地的具体工作整理而成。通过围绕业务需求和大家分享下企业内部如何使用Kubernetes来解决具体的业务问题和相应的方案。文中分享了基于Kubernetes的PaaS层弹性混合部署方案，其中有Kubernetes的优点，也有部分Kubernetes在企业落地的缺陷，欢迎大家一起讨论和建设Kubernetes。希望本文对大家有一定的借鉴意义。 彭涛，主要负责微博容器平台的开发工作。Kubernetes代码贡献者。曾就职于百度基础架构部，百度公有云事业部。长期从事云计算行业。熟悉网络虚拟化，SDN，OpenStack，Kubernetes。致力于推动Kuberne......
3 天前 / 虞大胆
本文根据虢国飞老师在dbaplus社群【2019年1月5日数据架构与优化沙龙上海站】现场演讲内容整理而成，点击文末【阅读原文】可下载完整PPT~ 讲师介绍虢国飞 饿了么数据技术部负责人 从事数据库行业十余年，专注于 MySQL、PGSQL、MSSQL等数据库领域的管理、研究和平台的研发等工作。目前在饿了么主要负责数据库和相关中间件的管理、开发和维护工作。 今天我想和大家分享饿了么作为高速发展的互联网企业之一，在发展历程中数据库技术如何跟随企业发展并不断满足业务的需求，会大致介绍下数据库经历了哪些阶段，以及我们做了怎样的......
4 天前 / Yourtion
文章深度解读了某商业银行做消息队列选型时考虑的因素，包括关键需求、选型要点、选型原则等，同时给出了选型建议、产品对比以及典型场景和二次封装的建议。本文作者在自己丰富实践经验基础上抽象出一些方法论，供读者在做消息队列技术选型时参考。 本文主要内容包括以下方面： 1 概述 2 为什么引入消息队列 何为消息队列 消息队列的优势 消息队列的不足 3 消息队列选型 关键需求 其他需要考虑的因素 选型要点及原则 选型建议 候选产品比较 选择RocketMQ的原因 4 二次封装建议 5 典型场景 支付场景 第三方延时调用......
4 天前 / echochou
隔离是通过将系统、资源分开，从而保证在发生问题时使其影响最小化，防止出现雪崩效应。 例如系统中有服务接口 A B C，因为某些原因，接口A的访问量激增，占用了大量系统资源，导致 B C 接口也无法正常运行了。如果使用了隔离机制，即使A的访问量很大，也不会影响 B C，把影响限定在一定范围，提高了系统的可用性。 隔离术是保证系统高可用的重要手段，常用的隔离方式有以下几种。 1. 线程隔离比如 Tomcat 有一个线程池，接收请求后就从线程池中分配一个线程进行处理。 比如请求业务A的量很大，线程都分给A了，B的请求来了以后就无法快速响应......
5 天前 / 逗逗
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面 实时数仓 1.0 版本，主题： ETL 逻辑实时化，技术方案：Spark Streaming。实时数仓 2.0 版本，主题：数据分层，指......
5 天前 / Yourtion
导读 最近经历了一件事，就是小码农所在的公司因为被某大厂收购之后要进行融合了，其他方面的融合就没必要说了，今天咱们只是聊一下支付系统融合的事情。首先从很多互联网公司的发展经验来看，随着多条业务线的发展，最终都是会催生出建设统一支付系统的强烈需求。 这是为什么呢？因为支付系统太重要了，它拥有公司所有的现金流水，是进行业务清算、财务核算、上市审计以及后续各类财务信息管理的关键系统之一。一家公司被收购后新老板们最关心的事也莫过于财务数据的准确性了，之前小码农从事支付系统的研......
5 天前 / 编程一生
一、什么是高并发 定义： 高并发(High Concurrency)是使用技术手段使系统可以并行处理很多请求。 关键指标： -响应时间(Response Time) -吞吐量(Throughput) -每秒查询率QPS(Query Per Second) -每秒事务处理量TPS(Transaction Per Second) -同时在线用户数量 关键指标的维度： -平均，如：小时平均、日平均、月平均 -Top百分数TP(Top Percentile)，如：TP50、TP90、TP99、TP4个9 -最大值 -趋势 「并发」由于在互联网架构中，已经从机器维度上升到了系统架构层面，所以和「并行」已经没有清晰的界限。「并」(同时)是其......
5 天前 / ittimeline
4.1.1 Linux文件系统Linux文件系统中的文件和目录被组织成一个单根倒置树结构，文件系统从根目录下开始，使用"/"表示，而且Linux文件系统(CentOS6.10默认是ext4,CentOS7.6默认是xfs)的文件名区分大小写，但是有个需要注意的地方，如果CentOS系统上挂载了个U盘，而它的格式通常是VFAT，访问这个U盘的内容不区分大小写。因此是否区分大小写，和文件系统有关，和操作系统无关。 要想查看磁盘的文件系统类型，可以使用lsblk -o +FSTYPE 命令查看 CentOS7.6磁盘的文件系统查看 [root@centos7 ~]#lsblk -o +FSTYPENAME MAJ:MIN RM SIZE RO TYPE MOU......
6 天前 / u128287
小时光茶社 传说中天机阁里有一台掌控世间一切的机器，万物运行由此产生。本文的“天机阁”是一个基于链路跟踪的监控系统，后台开发人员能够通过“天机阁”洞察“天机”，快速解决问题。 摘要 为了支撑日益增长的庞大业务量，业界大量使用微服务架构。服务按照不同的维度进行拆分，互联网应用构建在不同的软件模块集上，这些软件模块可能是由不同的团队开发、可能使用不同的编程语言来实现、可能布在了几千台服务器，横跨多个不同的数据中心，分布式系统变得日趋复杂。 如何快速进行故障定位？如何准确进行容量评估？如何动态展示服务的链......
7 天前 / 跨界架构师
如果第二次看到我的文章，欢迎点上方▲蓝字关注哟~ 本文长度为3633字，建议阅读10分钟。 坚持原创，每一篇都是用心之作～ 如果我们的开发工作真的就如搭积木一般就好了，轮廓分明，个个分开，坏了哪块积木换掉哪块就好了。 但是，实际我们的工作中所面临的可能只有一块积木，而且还是一大块，要换得一起换，要修得一起修。 Z哥在之前《分布式系统关注点——「高内聚低耦合」详解》中提到的分层架构它可以让我们有意识的去做一些切分，但是换和修的难度还是根据切分的粒度大小来决定的。 有更好的方式吗？这是显然的......
7 天前 / LiveVideoStack
YY音视频算法中心负责人林绪虹在LiveVideoStackCon 2018音视频技术大会的演讲中介绍了YY如何实现全平台差异化直播能力，以及视频画质、流畅度、音视频同步、弱网条件下开播，连麦质量等直播体验核心技术指标的优化策略。LiveVideoStack对演讲内容进行了整理。 文 / 林绪虹 整理 / LiveVideoStack 大家好，我是来自YY音视频算法中心的林绪虹，今天我将从以下两个方面为大家分享YY在视频直播体验领域的多项优化实践。 1.全平台差异化直播能力 之所以我们努力实现全平台差异化直播能力，最重要的原因是YY作为最早入局......
8 天前 / 携程技术中心
作者简介 李小林，携程技术副总裁，平台研发中心负责人。从事IT互联网技术研发工作二十多年，目前负责携程基础设施平台。本文来自李小林在“2018携程技术峰会”上的分享。 作为互联网OTA领头羊，携程在近20年的发展历程中，在业务形态和互联网行业整体发展驱动下，经历了三轮技术体系的演进。本文将详述这一技术演进历程，希望能给互联网企业，尤其是早期的互联网企业一些借鉴和启发，帮助大家少走一些弯路。 一、携程当前的技术体系 最新的财报显示携程的GMV将近7000亿，已经是全球排名第一的在线OTA。支持如此大业务量背后的技术......