作者:Mars Lan, Seyi Adebajo, Shirshanka Das 译者: DataPiepline yaran 作为全球最大的职场社交平台,LinkedIn的数据团队不断致力于扩展其基础架构,以满足不断增长的大数据生态系统需求.随着数据量和丰富度的增长,对数据科学家和工程师而言:发现数据资产,理解它们的来源并基于这些见解采取适当的行动变得愈发具有挑战. 为了在数据增长的同时继续扩展数据的生产力和创新力,我们创建了一个通用的元数据搜索和发现工具Data Hub. 一.扩展元数据…

作者:DataPipeline CEO 陈诚 前两周,我们分别探讨了“数据的资产负债表与现状”及“DataOps理念与设计原则”.接下来,本文会在前两篇文章的基础上继续探讨由DataOps设计原则衍生出的具体组织架构. 让数据快速从负债变成资产,绝不仅仅是某种软件或者工具就可以做到的,我们需要构建相应的文化.DAMA的数据治理体系,非常详细地介绍了大量常见的岗位和职责,在此就不一一赘述,只是在此增加一些贯彻DataOps时非常关键的细节. 我们观察到有些企业开始让业务决策流程更多的基于数据而非完…

转自:http://blog.jobbole.com/47892/ 为什么非要把SQL放到Hadoop上? SQL易于使用.那为什么非得基于Hadoop呢?the robust and scalable architecture of Hadoop 目前SQL on Hadoop产品主要有以下几种:Hive, Tez/Stinger, Impala, Shark/Spark, Phoenix, Hawq/Greenplum, HadoopDB, Citusdata等.本文主要讨论Hive, Te…

大家好,我是来自奇虎360的国浩.今天我给大家带来的是Cassandra在360的最新进展. 我会从四个方面来介绍Cassandra在360的应用情况:Cassandra在360的使用历史再结合两个案例来介绍Cassandra在360的使用场景,最后介绍360的大规模集群是怎样做到运维统一的. 首先我先介绍Cassandra在360的使用历史.Cassandra在360已经有使用十年之多的历史了,我们在2011年就把Cassandra使用在了生产环境. 最初,我们是应用到了个人云盘的业务上,最初…

VALSE QQ群对边缘检测近期最新进展的讨论,内容整理如下: 1)推荐一篇deep learning的文章,该文章大幅度提高了edge detection的精度,在bsds上,将edge detection的精度从f-measure<0.76提高到了0.78,人眼的性能为0.80.而且可以取得4帧每秒的速度,比之前的gpb几分钟一张图快了很多. Holistically-Nested Edge Detection   Saining Xie, Zhuowen Tu  (Submitted on…

搜集整理了2004~2015性能最好的人脸检测的部分资料,欢迎交流和补充相关资料. 1:人脸检测性能 1.1 人脸检测测评 目前有两个比较大的人脸测评网站: 1:Face Detection Data Set and Benchmark(FDDB) 网址:http://vis-www.cs.umass.edu/fddb/results.html FDDB是由马萨诸塞大学计算机系维护的一套公开数据库,为来自全世界的研究者提供一个标准的人脸检测评测平台,其中涵盖在自然环境下的各种姿态的人脸:该校还维…

http://www.52ml.net/20031.html [新智元导读]Graph Convolutional Network(GCN)是直接作用于图的卷积神经网络,GCN 允许对结构化数据进行端到端的学习,也即输入可以是任意大小和形状的图.本文介绍 GCN 最新进展,讨论各种方法的优势和缺陷.GCN 未来如何拓展用于解决特定类型的问题,例如学习指示图或关系图,以及怎样用学习的图嵌入更多任务,也值得期待. 现实世界里很多重要的数据集都以图表或网络的形式呈现,例如:社交网络.知识图谱.蛋白质相…

转自原文 R-Tree空间索引算法的研究历程和最新进展分析,2008 摘要:本文介绍了空间索引的概念.R-Tree数据结构和R-Tree空间索引的算法描述,并从R-Tree索引技术的优缺点对R-Tree的改进结构——变种R-Tree进行了论述.最后,对R-Tree的最新研究进展进行了分析. 关键词:空间索引技术:R-Tree:研究历程:最新进展 当前数据搜索的一个关键问题是速度.提高速度的核心技术是空间索引.空间索引是由空间位置到空间对象的映射关系.当前的一些大型数据库都有空间索引能力,像Ora…

我们在.NET 6 Preview 3中交付了.NET多平台应用UI的移动和桌面开发的最新进展.此版本添加了Windows平台和WinUI 3,改进了基本应用程序和启动构建器,添加了原生生命周期事件,并添加了更多UI控件和布局.我们还为辅助功能引入了一些新的语义属性.当我们对这些进行详细探讨时,我们邀请您与我们一起使用dotnet new创建新应用,并分享您的反馈. 支持Windows桌面 Project Reunion 0.5已发布!现在,Windows加入了Android,iOS和macOS…

目前,依靠"手工人力"的电子表格数据治理模式逐渐被"自动智能"的专业工具取代.数据管理员.业务分析师开始采用"平台工具"来梳理主数据.元数据,构建模型和管控质量等. 以A公司为例,在此之前,其主要通过编写程序的方式定制化开发每个交易所的API.随着需要接入的交易所和用户量逐渐增多,且交易所的API会不断迭代,使得A公司面临许多问题: 需要针对每个API编写程序,且每个API会不断地迭代,导致维护成本巨大. 需要具备动态调整各个交易所API请求逻辑…