理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了4个时期: 第一个时期: 2006 年到 2008 年.2008 年左右,Hadoop 成为了 Apache 顶级项目,并正式发布了 1.0 版本,它的基础主要是基于谷歌的三驾马车,GFS.MapReduce.BigTable 去定义的. 第二个时期: 2009 年到 2013 年阶段.雅虎.阿里.Facebook 等企业对大数据的应用越来越多.2013 年底 Hadoop 正式发布 2…

Hadoop 的诞生改变了企业对数据的存储.处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变:随着云计算时代的到来, 存算分离的架构受到青睐,企业开开始对 Hadoop 的架构进行改造. 今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构方案,他们的利弊各有哪些,希望可以给正在存算分离架构改造的企业一些参考和启发. Hadoop 存算耦合架构回顾 2006 年 Hadoop 刚发布,这是一个 all-in-one 的套装,最早有三个核…

云原生的巨浪正在席卷全球的软件产业,包括开源和商业软件.Apache Kylin 正在为此而积极准备着:基于新的计算和存储引擎,即将发布的 Kylin 4.0 将实现真正的计算和存储分离,减小运维难度,降低资源成本. 越来越多的企业也正在从本地部署的数仓方案转向基于云的解决方案.由于无可取代的弹性扩展性.容灾性.低 TCO.业务敏捷性和几乎无限量的存储空间,基于云平台的数据仓库技术正在逐渐说服更多人:拥抱云原生才是数据仓库技术以及相关数据分析技术的未来. 面对从本地到上云的变革,企业需要考虑的是…

作者 冉昕,腾讯云服务网格TCM产品经理,现负责云原生流量接入网关与应用通信可观测性等产品特性策划与设计工作. 刘旭,腾讯云高级工程师,专注容器云原生领域,有多年大规模 Kubernetes 集群管理及微服务治理经验,现负责腾讯云服务网格 TCM 数据面产品架构设计和研发工作. 引言 应用的入口流量管理一直是开发运维关注的焦点之一,随业务部署的计算资源.网络环境.应用架构的发展变更,接入层流量管理方案的发展可大致分为传统架构.云原生容器化两个阶段.为满足应用交付的效率和诉求,各阶段都涌现了不同的…

2019 年 6 月 24 日至 26 日, 由 Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会 KubeCon + CloudNativeCon + Open Source Summit(上海 )即将在中国上海盛装启幕. 继 2018 年 KubeCon 首次成功登陆中国,本届 KubeCon 将吸引来自全世界数千名技术人员将会参加此次盛会,参与CNCF 全部项目和话题的深度探讨和案例分析,聆听 CNCF 项目的运维者和最终用户的分享.本…

作者 朱建平,TEG/云架构平台部/块与表格存储中心副总监.08年加入腾讯后,承担过对象存储.键值存储,先后负责过KV存储-TSSD.对象存储-TFS等多个存储平台. NoSQL 技术和行业背景 NoSQL 是对不同于传统关系型数据库的一个统称,提出 NoSQL 的初衷是针对某些场景简化关系型数据库的设计,更容易水平扩展存储和计算,更侧重于实现高并发.高可用和高伸缩性. NoSQL vs 关系型数据库 其实早几年大家看两者的区别是清晰的,关系型数据库就是用 SQL 语句操作,具有行列结构和预定义…

很多公司由于历史原因,都会有自研的RPC框架. 尤其是在2015-2017期间,Spring Cloud刚刚面世,Dubbo停止维护多年,很多公司在设计自己的RPC框架时,都会基于Spring Cloud做二次开发.并且会大量使用Spring Cloud Netflix相关的模块与代码. 因此,我们去梳理一下Spring Cloud的前世今生,以及未来云原生发展的趋势,可以给这些RPC框架的演进带来一些启发. 1.Spring Cloud的历史 Spring Cloud 自 2015 年 3 月…

理想汽车是中国新能源汽车制造商,设计.研发.制造和销售豪华智能电动汽车,于 2015 年 7 月创立,总部位于北京,已投产的自有生产基地位于江苏常州,通过产品创新及技术研发,为家庭用户提供安全及便捷的产品及服务. 在中国,理想汽车是成功实现增程式电动汽车商业化的先锋,首款及目前唯一一款商业化的增程式电动汽车车型理想 ONE 是一款六座中大型豪华电动 SUV(运动型多用途汽车), 配备了增程系统及先进的智能汽车解决方案,于 2019 年 11 月开始量产, 并于 2021 年 5 月 25 日推出…

背景 一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时.全面的数据洞察.长期服务全球快消巨头(宝洁.联合利华.玛氏等),获得行业广泛认可.公司与阿里.京东.字节合作共建多个项目,旗下知乎数据专栏"数据冰山"拥有超30万粉丝.一面所属艾盛集团(Ascential)在伦敦证券交易所上市,在 120 多个国家为客户提供本地化专业服务. 公司在 2016 年线下机房部署了 CDH 集群,到 2021 年已存储和处理 PB…

破土而出的生命力,源自理想主义者心底对技术的信念. 云原生技术正席卷全球,云原生基金会在去年KubeCon +CloudNativeCon NA的现场宣布: 其正在孵化的项目已达14个,入驻的厂家或产品已超过300家,并吸引了2.2万开发者参与项目代码贡献,其明星产品Kubenetes 的GitHub 上Authors 和 Issues 量已排行开源领域的第二名. 今年,KubeCon + CloudNativeCon 首次来到中国. 在2018 KubeCon + CloudNativeCon…

作者:Janakiram MSV 译者:殷龙飞 原文地址:https://thenewstack.io/how-to-map-cloud-native-workloads-to-kubernetes-controllers/ Kubernetes 不仅仅是一个容器管理工具.它是一个平台,旨在处理包装在任意数量的容器和组合中的各种工作负载.Kubernetes内置了多个控制器,可映射到云原生架构的各个层. DevOps工程师可以将Kubernetes控制器视为指示团队运行的各种工作负载的基础架构需…

Dragonfly 是一个由阿里巴巴开源的云原生镜像分发系统,主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题.随着企业数字化大潮的席卷,行业应用纷纷朝微服务架构演进,并通过云化平台优化业务管理.Dragonfly 源于阿里巴巴,从实际落地场景出发,前瞻性地解决了云原生镜像分发的__效率.流控与安全__三大难题. Dragonfly 目前承载了阿里全集团 90%以上的文件下载任务.日分发峰值达到 1 亿次,100%成功支撑双十一营销活动数据抵达数万台机器,github…

作者| 禅鸣.忠源.天元.进超.元毅 业界要闻 Helm 官方推荐用户迁移到 V3 版本 Helm 官方发布博客,指导用户从 v2 迁移到 v3,这标志着官方开始正式推进 helm 从 v2 转向 v3.我们也更加推荐终端用户使用 helm v3,之前我们曾在文章<初探云原生应用管理(二): 为什么你必须尽快转向 Helm v3>深入探讨过如何用 Helm 来快速部署 K8s 应用以及为什么要尽快转向 Helm V3. CNCF 公布 2020 年 KubeCon 时间表 CNCF 最近公布了…

作者 | 孙健波(天元)  阿里巴巴技术专家本文整理自 11 月 21 日社群分享,每月 2 场高质量分享,点击加入社群. 早在 2011 年,阿里巴巴内部便开始了应用容器化,当时最开始是基于 LXC 技术构建容器,然后逐渐切换到 Docker,自研了大规模编排调度系统.到了 2018 年,我们团队依托 K8s 体系开始推进"轻量级容器化",同时投入了工程力量跟开源社区一起解决了诸多规模与性能问题,从而逐步将过去"类虚拟机"的运维链路和阿里巴巴整体应用基础设施架构升…

业界要闻 Mesosphere 公司正式更名为 D2IQ, 关注云原生. Mesosophere 公司日前发布官方声明正式更名为:D2iQ(Day-Two-I-Q),称关注点转向 Kubernetes 与云原生领域, 并会继续将“Mesosphere”作为产品技术和品牌的一部分. Kubernetes 两个安全漏洞修复指南. 2.1  Kubernetes API server 曝出安全漏洞(CVE-2019-11247),该漏洞使得指定了命名空间权限的请求可以访问到集群级别权限的自定义资源(C…

作者 | 易立 阿里云资深技术专家 导读:从十余年前的各种分布式系统研发到现在的容器云,从支撑原有业务到孵化各个新业务,企业的发展离不开统一的.与时俱进的技术架构.本篇文章从企业分布式应用架构层面介绍了云原生计算架构带来的变化,希望能够帮助更多企业的 IT 转型,利用云计算技术推动其成为市场竞争中的敏捷力量. 进入 21 世纪以来,我们见证了企业分布式应用架构从 SOA(Service-oriented Architecture),到微服务架构,再到云原生应用架构的演化. 为了说明企业架构演化背…

从 SOA 到微服务,企业分布式应用架构在云原生时代如何重塑? 2019-10-08 10:26:28 阿里云云栖社区 阅读数 54   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/yunqiinsight/article/details/102368414 https://yq.aliyun.com/articles/720090?utm_content=g_1000078933 内…

作者 | 陈俊.徐迪.陈有坤.李鹏.敖小剑 业界要闻 1.Google Cloud CEO 表示将把 Istio 项目捐赠给基金会 Istio 项目找到了理想的发展方向: 捐赠给开源基金会. 2.Kotlin gRPC 宣布开源 Kotlin 现在是第二流行的基于 JVM 的编程语言,Kotlin gRPC 的开源能够让 gPRC 的服务服务于 Kotlin 平台. 上游进展 1.Use dynamic size watch-cache. API Server 在运行时能够动态调整 Watch…

背景 大数据发展至今,按照 Google 2003年发布的<The Google File System>第一篇论文算起,已走过17个年头.可惜的是 Google 当时并没有开源其技术,"仅仅"是发表了三篇技术论文.所以回头看,只能算是揭开了大数据时代的帷幕.随着 Hadoop 的诞生,大数据进入了高速发展的时代,大数据的红利及商业价值也不断被释放.现今大数据存储和处理需求越来越多样化,在后 Hadoop 时代,如何构建一个统一的数据湖存储,并在其上进行多种形式的数据分析,…

作者 | 刘军(陆龟)  Apache Dubbo PMC 概述 社区版本 Dubbo 从 2.7.5 版本开始,新引入了一种基于实例(应用)粒度的服务发现机制,这是我们为 Dubbo 适配云原生基础设施的一步重要探索.版本发布到现在已有近半年时间,经过这段时间的探索与总结,我们对这套机制的可行性与稳定性有了更全面.深入的认识:同时在 Dubbo 3.0 的规划也在全面进行中,如何让应用级服务发现成为未来下一代服务框架 Dubbo 3.0 的基础服务模型,解决云原生.规模化微服务集群扩容与可伸缩…

DataStax最近发布了K8ssandra--一个开源的.部署于Kubernetes上的Apache Cassandra全新发行版本.K8ssandra一站式集合了在Kubernetes上部署开源版Apache Cassandra所需的一切. Apache Cassandra在可伸缩且零宕机的数据库中处于领先地位.包括了Home Depot.Netflix以及Apple等跨国公司正在使用Apache Cassandra.Cassandra支持一系列数据库的应用场景--从金融服务交易到娱乐流媒体…

系列 Sentry-Go SDK 中文实践指南 一起来刷 Sentry For Go 官方文档之 Enriching Events Snuba:Sentry 新的搜索基础设施(基于 ClickHouse 之上) Sentry 10 K8S 云原生架构探索,Vue App 1 分钟快速接入 Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署 Sentry(v20.12.1) K8S 云原生架构探索,Sentry Java…

引言 Dapr 是微软主导的云原生开源项目,2019年10月首次发布,到今年2月正式发布 V1.0 版本.在不到一年半的时间内,github star 数达到了 1.2 万,超过同期的 kubernetes.istio.knative 等,发展势头迅猛,业界关注度非常高. Dapr 这个词是是 「Distributed Application runtime」的首字母缩写,非常精炼的解释了 dapr 是什么:dapr 是一个为应用提供分布式能力的运行时. 什么是 Runtime Runtime…

作者 蒋彪,腾讯云高级工程师,10+年专注于操作系统相关技术,Linux内核资深发烧友.目前负责腾讯云原生OS的研发,以及OS/虚拟化的性能优化工作. 导语 混部,通常指在离线混部(也有离在线混部之说),意指通过将在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为 CPU 消耗型低优先级任务)同时混合部署在同一个节点上,以期提升节点的资源利用率.其中的关键难点在于底层资源隔离技术,严重依赖于 OS 内核,而现有的原生 Linux kernel 提供的资源隔离能力在面对混部需求时,再次显得…

分布式应用程序很复杂,给开发人员调试和修复生产问题带来了一系列挑战.尽管微服务架构可帮助维持一支规模较小,可以自主工作并专注于独立业务团队,但由于其分布式性质,它带来了新的挑战.例如,在业务交易过程中出现问题的情况下,需要端到端跟踪请求,该请求可能跨越多个服务和基础架构. 解决问题时可能遇到的挑战有: 管理已知和未知故障 故障也是分布式的 传统监控系统不适用 这是可监测性和可观察性出现的地方.可监测性记录应用程序的总体运行状况,而可观察性则可以帮助您更深入地了解上下文数据.在.NET大会上,我和…

Dapr是一个由微软主导的云原生开源项目,国内云计算巨头阿里云也积极参与其中,2019年10月首次发布,到今年2月正式发布V1.0版本.在不到一年半的时间内,github star数达到了1.2万,超过同期的kubernetes.istio.knative等,发展势头迅猛,业界关注度非常高. 什么是云原生 云原生技术有利于各组织在公有云.私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用.云原生的代表技术包括容器.服务网格.微服务.不可变基础设施和声明式API. 这些技术能够构建容错性好…

前言 Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架,已于近期完成了 v0.6.0 版本的正式发布.腾讯云容器 TKE 团队一直致力于参与 Fluid 社区建设,在最新版本中贡献了以下两大特性:缓存引擎高可用运行时.新增数据缓存引擎实现 GooseFSRuntime . 什么是存算分离?云原生背景下为什么需要数据编排?Fluid 和 GooseFSRuntime 又是什么?别担心!针对这些问题,我们带你一一探索.本文将首先介绍 Fluid 技术…

摘要:遥感影像,作为地球自拍照,能够从更广阔的视角,为人们提供更多维度的辅助信息,来帮助人类感知自然资源.农林水利.交通灾害等多领域信息. 本文分享自华为云社区<AI+云原生,把卫星遥感虐的死去活来>,作者:tsjsdbd. AI牛啊,云原生牛啊,所以1+1>2? 遥感影像,作为地球自拍照,能够从更广阔的视角,为人们提供更多维度的辅助信息,来帮助人类感知自然资源.农林水利.交通灾害等多领域信息. AI技术,可以在很多领域超过人类,关键是它是自动的,省时又省力.可显著提升遥感影像解译的工作…

Pulsar云原生分布式消息和流平台 **本人博客网站 **IT小神 www.itxiaoshen.com Pulsar官方网站 Apache Pulsar是一个云原生的分布式消息和流媒体平台,最初创建于雅虎!现在是Apache软件基金会的顶级项目 官网首页列举一些关键特性和目前使用公司包括国内深度合作腾讯,目前最新版本为2.8.0,背后的开源流数据公司 StreamNative,2019年创立一家公司,作为云原生时代专注技术细分领域的佼佼者 什么是Pulsar Pulsar即可以支持queue…

作者|刘浩杨 来源|尔达 Erda 公众号 ​ 本文整理自刘浩杨在 GopherChina 2021 北京站主会场的演讲,微信添加:Erda202106,联系小助手即可获取讲师 PPT. 前言 当今时代,数字化转型概念在 ToB 领域非常火热,越来越多的企业需要数字化转型,因此越来越多的厂商涌入了 ToB 市场,端点就是其中一员. ​ 端点的核心业务是给企业提供从采购.交易.履约.仓储到零售全链路的数字化转型解决方案.围绕这个目的,我们建立了一整套面向云原生的企业数字化软件产品,其中: ​ Pa…