作者 关涛 阿里云智能事业群 研究员 导读:MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务.去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数据市场进入普惠+红海的新阶段,如何与生态发展共赢?人工智能进入井喷阶段,如何支持与借力?本文从过去一年的总结,核心技术概览,以及每条技术线路未来展望等几个方面做一个概述. BigData 概念在上世纪90年代被提出,随 Google 的3篇经典论文(GFS,BigT…

日前,全球权威咨询与服务机构Forrester发布了<The Forrester WaveTM: Cloud Data Warehouse, Q4 2018>报告.这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称CDW)的测评.报告对云数仓的当前产品功能.产品路线和发展策略.市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7. Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性.数据集成.性…

MaxCompute作为阿里巴巴的主力计算平台,在2018年的双11中,再次不负众望,经受住了双11期间海量数据和高并发量的考验.为集团的各条业务线提供了强劲的计算力,不愧是为阿里巴巴历年双11输送超级计算力的核武器. 本文为大家介绍,MaxCompute基于多集群部署的几万台服务器,如何为集团急剧增长的业务提供护航和保障. 挑战 每年的双11之前,也是MaxCompute各种乾坤大挪移落定的时候,因为双11就是各种大折腾项目的自然deadline.在今年双11之前,一路向北迁移和在离线混部项目…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 演讲者:刘金明 腾讯云存储业务中心副总监 背景:5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海内外业内学术专家.行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展. 腾讯云存储业务中心副总监-刘金明,在云+未来峰会上做了主题为<腾讯云 EB 级对象存储架构深度剖析及实践>的分享,以下内容整理自演讲. 刘金明:大家好.我是来自腾讯云存储业务中心…

通常在某网站使用了CDN节点来实现内容分发加速后,当源站内容更新的时候,CDN刷新系统会通过提交刷新请求将CDN节点上的指定缓存内容强制过期.当用户访问的时候,CDN节点将回源获取最新内容返回给用户,并在缓存节点更新资源.传统CDN刷新的生效时间通常需要数分钟,并且随着服务节点的数量和形态增多,生效时间会线性变长. 在这种情况下就会遇到这些问题:当媒体网站发表了一篇内容有错误的文章,因为刷新系统缓慢,无法第一时间修订或撤回:在电商大型促销活动期间,产品活动详情页的图片需要实时更新,因为不能及时刷…

Netty作为一款高性能网络应用程序框架,实现了一套高性能内存管理机制 通过学习其中的实现原理.算法.并发设计,有利于我们写出更优雅.更高性能的代码:当使用Netty时碰到内存方面的问题时,也可以更高效定位排查出来 本文基于Netty4.1.43.Final介绍其中的内存管理机制 ByteBuf分类 Netty使用ByteBuf对象作为数据容器,进行I/O读写操作,Netty的内存管理也是围绕着ByteBuf对象高效地分配和释放 当讨论ByteBuf对象管理,主要从以下方面进行分类: Poole…

摘要: 4月新功能发布,精彩技术好文推荐,5月线上线下活动抢先知道,尽在4月刊. 您好,MaxCompute 2019.4月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读. 导读 [功能发布]4月产品新功能发布 [文档更新]4月重要产品文档更新推荐 [干货精选]4月精选技术文章推荐 [活动预告]5月重要活动预告 [文档更新]4月产品新功能发布 MaxCompute预付费套餐(含计算资源.存储资源)发布上线 查看详情 >> MaxCompute project 级别 IP 白名单支持 IP…

@ 目录 一.用户信息安全规范 1.1 ​用户信息.敏感信息定义及判断依据 1.1.1 个人信息 1.1.2 个人敏感信息 1.2 ​用户信息存储的注意事项 二.​框架技术实现 2.1 用户敏感信息自动加解密 2.1.1 通过Interceptor实现数据的自动加解密 2.1.2 通过BaseTypeHandler实现数据的自动加解密 2.1.3 MybatisPlus实现数据的自动加解密 2.2 日志文件自动过滤用户敏感信息 2.3 密码加密和<密码法> 2.3.1 密码加密的注意事项 2.…

MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务.去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数据市场进入普惠+红海的新阶段,如何与生态发展共赢?人工智能进入井喷阶段,如何支持与借力?本文从过去一年的总结,核心技术概览,以及每条技术线路未来展望等几个方面做一个概述. BigData 概念在上世纪90年代被提出,随 Google 的3篇经典论文(GFS,BigTable,MapReduce)奠基,已经发展…

参考消息网3月19日报道 日前,全球权威调研机构佛瑞斯特研究公司(Forrester)发布<2018年一季度云端数据仓库>报告.报告对大数据服务商的主要功能.区域表现.细分市场和典型客户等进行了全面评估,最终AWS.阿里云.谷歌.微软四大巨头杀入全球一线阵营.阿里云成为唯一入选的中国科技公司. Forrester报告被认为是全球各大公司CIO选择服务商的指导手册,在行业内极具权威性.云端的大数据服务凭借安全.弹性伸缩.部署速度快.成本低等特点,已经成为近年来的发展趋势.与之相应的,本地部署的大…

前言 相信大部分开发者对下面这张架构图并不陌生吧,现在很多网站/应用都采用了动静分离的架构进行部署.博主的博客也不例外,主机采用的是阿里云的 ECS,使用 CDN 做静态内容分发,不过静态文件还是存储在 ECS,采用的是 Nginx 做动静分离.今天我们来学习一下如何使用阿里云 OSS 做动静分离. 简介 阿里云 OSS,海量.安全.低成本.高可靠的云存储服务,提供99.9999999999%的数据可靠性.使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存…

昨天有人偷偷告诉我说 阿里巴巴其实是一家科技公司! 我想了整整一夜 究竟是谁走漏了风声 那么重点来了,阿里到底是如何在内部的办公.生活中,玩转“黑科技”的呢? AI取名:给你专属的“武侠”花名 花名是阿里巴巴独特的文化,也是阿里员工独一无二的“身份”. 在2018年云栖大会企业智能的展台上,每个参观者都拥有了一个自己的花名. 特别的是,这个花名是AI机器人帮你取的. AI机器人会根据使用人的姓名.性别.偏好习惯,以及古诗词与武侠小说的典故等,生成一个花名.据说现在有超过一半的阿里新人在入职时就用…

Freeline 技术揭秘 Freeline是什么? Freeline是蚂蚁金服旗下一站式理财平台蚂蚁聚宝团队15年10月在Android平台上的量身定做的一个基于动态替换的编译方案,5月阿里集团内部开源,稳定性方面:完善的基线对齐,进程级别异常隔离机制.性能方面:内部采用了类似Facebook的开源工具buck的多工程多任务并发思想:端口扫描,代码扫描,并发编译,并发dx,并发merge dex等策略,在多核机器上有明显加速效果,另外在class及dex,resources层面作了相应缓存策略…

前言 近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选. AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式.本文将深入解读Ana…

淘宝心选.网易严选.小米有品...越来越多的企业电商自有品牌围绕“低价好物”大做文章,用创新赢得了市场.作为To B从业人员,不由思考:C端的成功是否可以复制在B端? 伴随着互联网下半场的到来,云计算的下半场也正式开始.然而在SaaS领域,或者说广义上的企业应用软件+SaaS的领域里,相对于全球市场,国内企业在做 SaaS 生态的过程中,构建难.定制难.缺平台.缺商机等一系列挑战横亘在他们面前. 阿里云心选SaaS,开创云时代的新格局 在这样的大背景下,「阿里云心选」横空出世.心选是阿里云推出的…

2019 年 6 月 24 日至 26 日, 由 Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会 KubeCon + CloudNativeCon + Open Source Summit(上海 )即将在中国上海盛装启幕. 继 2018 年 KubeCon 首次成功登陆中国,本届 KubeCon 将吸引来自全世界数千名技术人员将会参加此次盛会,参与CNCF 全部项目和话题的深度探讨和案例分析,聆听 CNCF 项目的运维者和最终用户的分享.本…

消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟.高并发.高可用.高可靠的分布式消息中间件.该产品最初由阿里巴巴自研并捐赠给 Apache 基金会,服务于阿里集团 13 年,覆盖全集团所有业务.作为双十一交易核心链路的官方指定产品,支撑千万级并发.万亿级数据洪峰 其主要功能有: AMQP 规范以及消息定义 消息发送的过程以及可靠消息投递机制 消息消费的过程以及消费者性能优化方法 交换器组件以及消息路由机制. RabbitMQ 分布式集群构建. Rabbit…

Yonghong Z-Suite 除了提供优秀的前端BI工具之外,Yonghong Z-Suite让用户可以选购分布式数据集市来支持实时大数据分析. 对于这种百亿级的大数据案例,Yonghong Z-Suite有哪些技术可以保证大数据的实时响应呢?下面大致从技术上介绍下: 库内计算(In-Database Computing) Z-Suite支持各种常见的汇总,还支持几乎全部的专业统计函数.得益于库内计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的.昂贵的计算都…

一.关于暴力破解 前几天新购进了一台阿里云服务器,使用过程中时常会收到“主机被暴力破解”的警告,警告信息如下: 云盾用户您好!您的主机:... 正在被暴力破解,系统已自动启动破解保护.详情请登录http://i.aliyun.com/dashboard/instance?type=yundun. 通常暴力破解的是采用穷举字典的方式尝试远程登陆,也就是我们所说的“猜”密码的方法. Linux系统安装完后,超级管理员默认的用户名是root,阿里云服务器的默认级管理员也是root,通常提升安全的做法是…

目录 疯狂创客圈 Java 分布式聊天室[ 亿级流量]实战系列之 -30[ 博客园 总入口 ] 写在前面 1.1. 快速的能力提升,巨大的应用价值 1.1.1. 飞速提升能力,并且满足实际开发要求 1.1.2. 越来越多.大量的应用场景 1.2. 高并发架构中的6大集群 1.2.1. 支撑亿级流量的IM整体架构 1.2.2. IM通讯协议介绍 1.2.3. 长连接和短连接 1.2.4. 技术选型 1.3. 基于Redis 设计分布式Session 1.3.1. SessionLocal本地会话…

阿里云os - YunOS 阿里云OS(YunOS)是阿里巴巴集团的智能手机操作系统,依托于阿里巴巴集团电子商务领域积累的经验和强大的云计算平台,基于LINUX开发. 魅族4阿里yun OS版已上市. 2012年7月25日消息,阿里巴巴于正式公布云智能手机操作系统,命名为阿里云OS. 据腾讯科技获悉,包含聚划算.淘宝比价等多个阿里集团内部开发成型的手机应用,已入驻该系统平台中.这款即将公布的手机操作系统与其他手机操作系统不同的是,阿里云OS採用Cloud App方式,使用户不须要在手机端下载应用…

深度学习引擎最佳实践 {#concept_1113021 .concept} 阿里云Web应用防火墙采用多种Web攻击检测引擎组合的方式为您的网站提供全面防护.Web应用防火墙采用规则引擎.语义分析和深度学习三种引擎组合的方式,充分发挥阿里云强大的情报.数据分析体系和专家漏洞挖掘经验的优势.基于阿里云云上攻击数据分析抓取0day漏洞,由安全专家对漏洞进行主动挖掘和分析,并最终总结沉淀为防护规则策略.Web应用防火墙的规则策略每周更新,远超业界水平,致力于为用户提供最快.最全面的防护能力. 随着互…

redis使用跳表不用B+数的原因是:redis是内存数据库,而B+树纯粹是为了mysql这种IO数据库准备的.B+树的每个节点的数量都是一个mysql分区页的大小(阿里面试) 还有个几个姊妹篇:介绍mysql的B+索引原理 参考:一步步分析为什么B+树适合作为索引的结构 以及索引原理 (阿里面试) 参考:kafka如何实现高并发存储-如何找到一条需要消费的数据(阿里) 参考:二分查找法:各种排序算法的时间复杂度和空间复杂度(阿里) 关于mysql 存储引擎 介绍包括默认的索引方式参考:MySq…

被誉为计算机视觉领域 "奥斯卡" 的 CVPR 刚刚落下帷幕,2021 年首届 "新内容 新交互" 全球视频云创新挑战赛正火热进行中,这两场大赛都不约而同地将关注点放在了视频目标分割领域,本文将详细分享来自阿里达摩院的团队在 CVPR DAVIS 视频目标分割比赛夺冠背后的技术经验,为本届大赛参赛选手提供 "他山之石". 作者|负天 与图像识别不同,AI 分析理解视频的技术门槛较高.长期以来,业界在视频 AI 技术的研究上鲜有重大突破.以 CVP…

出口转内销.首发于公司微信公众号,作者本人,现转载到此.本来写得比较技术,还算有点干货,但是结果被编辑咔咔咔,就只剩下下面这些内容. 大型企业如何开启自己的快速上云之路? 2017-12-08 易建科技刘世民 海航云 作为易建科技具有自主知识产权的云计算核心平台,eKing Cloud 基础云的演进或许能给大家提供一条探索之路. 自 2013 年 6 月上线运营至今,eKing Cloud 基础云已为海航集团内外上百家企业的上千套业务系统提供了计算服务.在这些服务的基础上,海航集团的航空旅游.金…

写在前面:这是我的第一篇自我介绍式文章,是对易建科技我所在云服务事业群的云平台产品和业务的总结和介绍.本文始发于 Linux宝库 公众号,这是原文链接.感谢公众号主人陈绪总,感谢公众号的编辑们!感谢易建云团队的辛苦工作,也祝贺你们取得的成果! 『Hi,幸会!您听说过易建科技eKing Cloud吗?哦,听说过一些是吧,但还是不太了解.没关系,今天我跟您好好聊聊我们易建科技eKing Cloud.』 易建科技是谁? 易建科技是“海南易建科技股份有限公司”的简称,是世界500强“海航集团”旗下的数字…

[摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打造新一代数仓引擎. 金融领域随着数据与日俱增(如国内某大行,平均3亿笔业务/天,峰值6亿/天):业务驱动下的数据分析灵活性要求越来越高,不同业务的数据分系统构建,导致冗余严重,缺乏高效.统一的融合数仓,阻碍企业快速转型.如何对浪涌式的数据进行整合分析,发挥最大价值,金融机构对数据的处理提出了相应诉求…

大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的EB级数据仓库解决方案. 当今社会数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百TB.PB.EB)级别.MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务. 由于单台服务器的处理能力有限,海量数据的分析需要分布式计算模型.分布式的计算模型对数据分析人员要求较高且不易维护.数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模…

摘要:2019云栖大会大数据&AI专场,阿里巴巴高级研究员贾扬清为我们带来<大数据AI发展的新机遇和新挑战>的分享.本文主要从人工智能的概念开始讲起,谈及了深度学习的发展和模型训练,以及数据的爆发增长,着重阐述了算法.数据和算力的闭环. 直播回放 >>> 以下是精彩视频内容整理: 作为一个研究者的身份,在这么多年AI的科研工作之中,有哪些有意思的事情? 说到人工智能,从十几年前我开始做人工智能的时候,我当时认为毕业可能就失业了,我们永远不会像做数据库.系统.架构的人那…

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求.基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈.但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute. 但王坚看到,当时淘宝的业务还在快速增长…