6月,汇集当今大数据界精英的Spark Summit 2017盛大召开,Spark作为当今最炙手可热的大数据技术框架,向全世界展示了最新的技术成果.生态体系及未来发展规划. 巨杉作为业内领先的分布式数据库厂商,也是Spark全球的14家发行商之一,受邀在本次大会做了题为"分布式数据库+Spark架构和应用"的分享.巨杉数据库联合创始人.CTO及总架构师也将给大家分享大会的见闻以及这一架构的发展和应用情况. Spark全面进化,扩大生态助力人工智能 随着Spark 2.2 版本的发布,S…

随着企业级服务,SaaS市场的飞速发展,国内市场上,伴随着“马云又一个反人类的社交梦-钉钉”的出现与强势推广,企业协同办公类的产品被不断的呈现在企业的视线中,一时间,似乎我们传统的工作方式好像已经成了LOW到不行的方式,严重阻碍了我们公司的进步与发展. 现在不断出现的工具,更多的是以另外一种工具的形态出现,让用户下载进行使用,这种工具可能比之前的办公工具更加优化,功能更加明晰,但是,依然无法满足现在公司发展快速的需求,尤其是移动互联网公司,那么移动互联网公司需要的到底是怎样的产品呢? 全阶段的需…

LAMMP架构的企业级应用 ========================================= LAMMP是什么 LAMMP的实现 LAMMP适用的生产环境 ========================================== 一.LAMMP是什么 LAMMP,是几个英文单词首字母的缩写. L是Linux的缩写,Linux操作系统,Linux以稳定.安全.且开源著称的操作系统,适用于做  服务器. A是Apache的缩写,Apache是一款提供Web服务器的开源软…

. 一.Hadoop Yarn组件介绍: 我们都知道yarn重构根本的思想,是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件.新的架构使用全局管理所有应用程序的计算资源分配. 主要包含三个组件ResourceManager .NodeManager和ApplicationMaster以及一个核心概念Container. 1.ResourceManager(RM)  就是所谓的资源管理器,每个集群一个,实现全局的资源管理和任务调度.它可以处理客户端提交计算…

新型I/O架构引领存储之变(四) 作者:廖恒 应对挑战--商务及技术考量 本文前面的部分分析了砖块模式与生俱来的总拥有成本(TCO)过高的问题.为了战胜这一挑战,超大规模数据中心的运营者须要从两个不同的角度来切入: ·        商务角度:植根于人类社会行为中的宏观层面的季节性及时间性数据中心负载变化问题,仅仅能通过找到若干种经济有效.能够互补的应用来提高平均的资源利用率,并避免高峰期性能需求的暴增.这种方法无法解决TCO问题,但在维持TCO相对稳定的条件下,竭力添加了数据中心运营商的营收及…

新型I/O架构引领存储之变(二) 作者:廖恒 众所周知,支持存储及网络I/O服务的接口协议有很多种.比方,以太网及Infiniband接口都支持採用iSCSI协议来实现存储业务,它们也因而成为了server应用中高带宽TCP/IP网络业务的缺省选择.iSCSI也已成为连接server节点与外部块存储设备的成熟选择. 因此.作为I/O扇出架构的候选,我们须要对这些传统的协议及接口进行研究. watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcG1j/font…

Nginx架构的企业级应用 ==================================================== 实现HA高可用集群 实现LB负载均衡集群 Nginx实现反向代理 Nginx实现动静分离 ================================================== 需求: 客户端访问静态的请求,由nginx反向代理给后端的Apache服务器: 客户端访问动态的请求,由nginx反向代理给后端的php-fpm(fastCGI)服务器,而且…

这几个月一直在修改架构,所以迟迟没有更新博客. 新的架构是一个基于简单esb的服务架构,主要构成是esb服务注册,wcf服务,MVC项目构成. 首先,我门来看一看解决方案, 1.Common 在Common文件夹中主要是基础设施层common.Infrastructure 以及ESB面向于web端的请求层 ESBLayout. 基础设施层主要包含了一些基本的帮助类,第三方dll,和常用的组件,比如缓存,ioc,日志,邮件,支付等. ESBLayout这个项目主要集成服务的一些调用,在此项目中添加…

2019-1-24 Spark 学习 --总体架构 新建 模板 小书匠 1548339392539.jpg 1548339357270.jpg 1548339372461.jpg 1548339345691.jpg 1548339423898.jpg 1548345616793.jpg 1548347241150.jpg --by 凡正(Iamfbz)…

服务器虚拟化开源技术主流架构之争 http://virtual.51cto.com/art/201812/589084.htm 大部分客户已经是KVM+OpenStack的架构了 我所见到的 工商云 和 中建的财务云 都是使用的KVM+OPENSTACK IaaS 已经一统天下 后面的 就看K8S了 这里不考虑ESXi和HyperV 的闭源市场 在现代IT系统的核心组件中开源技术已经成为不可或缺的力量,比如x86架构操作系统Linux.Unix操作系统BSD.MySQL数据库.Apache We…