参考:https://www.cnblogs.com/panchanggui/p/9394760.html 1,http://services.gradle.org/distributions/链接下载gradle-5.6.2-bin.zip 2,配置环境变量(安装文件夹的bin目录配置path中) 遇到环境变量的字符串长度超过指定的长度,详情看: 3,从github(H:\java_devs\spring-framework\spring-framework-master\spring-con…

在spark安装之前,应该已经安装了hadoop原生版或者cdh,因为spark基本要基于hdfs来进行计算. 1. 下载 spark:  http://mirrors.cnnic.cn/apache//spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.3.tgz scala:   http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz?_ga=1.171364775.609435662.14416…

在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容是以个人的操作经验为基础,有的人看完可能会说跟他做过的不一样.这个可能还是跟大家所使用的发行版hadoop不同造成的吧.我是下载的一个大快搜索的DKhadoop发行版,三个节点的标准版本,个人研究或者学习hadoop三节点完全够用.DKhadoop三节点的发行版我记得是现在应该也是免费开放下载的,之…

一.简介 1.Kubernetes 是什么 Kubernetes 是一个全新的基于容器技术的分布式架构解决方案,是 Google 开源的一个容器集群管理系统,Kubernetes 简称 K8S. Kubernetes 是一个一站式的完备的分布式系统开发和支撑平台,更是一个开放平台,对现有的编程语言.编程框架.中间件没有任何侵入性. Kubernetes 提供了完善的管理工具,这些工具涵盖了开发.部署测试.运维监控在内的各个环节. Kubernetes 具有完备的集群管理能力,包括多层次的安全防护…

写在前面的话: 在程序的世界混迹了5年+,认真过,蹉跎过,回首突然发现自己得到的东西却很少.于是想写点东西记录下学习.工作抑或生活的种种,人生不只是眼前的苟且还有诗和远方,任沧海桑田韶华不在,愿无岁月可回头,我以我手写我心!!!  最近准备从eclipse切换到idea,熟悉了一周的时间,不得不说确实是开发神器,话不多说idea系列正式开始. 本系列博文会不定时更新,如有错误,欢迎指正,感谢! 第一节:下载安装idea idea官网下载地址:http://www.jetbrains.com/id…

一.概述 1.kafka是什么 根据标题可以有个概念:kafka是storm的上游数据源之一,也是一对经典的组合,就像郭德纲和于谦 根据官网:http://kafka.apache.org/intro 的解释呢,是这样的: Apache Kafka® is a distributed streaming platform   ApacheKafka®是一个分布式流媒体平台 l Apache Kafka是一个开源消息系统,由Scala写成.是由Apache软件基金会开发的一个开源消息系统项目. l…

一.概念 Java是一种可以撰写跨平台应用程序的面向对象的程序设计语言,具体介绍可查阅百度JAVA百科,这里不再赘述. Java分为三个体系,分别为: Java SE(J2SE,Java2 Platform Standard Edition,“Java平台标准版”,包含了运行Java所需的基础环境和核心类库.): JavaEE(J2EE,Java 2 Platform, Enterprise Edition,“Java平台企业版”,构建在Java SE基础上,用于构建企业级应用.): Java…

数据库总的来说,分为两个方向:关系数据库和非关系数据库.我们常见的MySQL.Oracle.SQLSerever以及IBMDB2都是属于关系数据库,这里的关系值得是二维表的结构,但是由于随着web的应用的复杂度的增加,完全基于关系的数据库,已经不能满足实际需求.开始出现了一些非关系型数据库,所谓的非关系,就不是二维表的结构.比较常用的就是使用键值对的形式来保存数据-————即NoSQL. 今天给大家分享一下前端开发中比较流行的非关系数据库之一MongoDB. MongoDB是一个基于分布式文件存…

一.概述 今天起就正式进入了流式计算.这里先解释一下流式计算的概念 离线计算 离线计算:批量获取数据.批量传输数据.周期性批量计算数据.数据展示 代表技术:Sqoop批量导入数据.HDFS批量存储数据.MapReduce批量计算数据.Hive批量计算数据.***任务调度 ,hivesql .调度平台 .Hadoop集群运维 .数据清洗(脚本语言) .元数据管理 .数据稽查 .数据仓库模型架构 相关技术栈与应用 流式计算 流式计算:数据实时产生.数据实时传输.数据实时计算.实时展示 代表技术:Fl…

1.上传安装包 libevent-2.0.22-stable.tar.gz memcached-1.4.24.tar.gz 2.安装libevent 创建目录 mkdir -p /apps/install/libevent 解压 tar -zxvf libevent-2.0.22-stable.tar.gz -C /apps/install/libevent 安装 cd libevent-2.0.22-stable/ ./configure \ --prefix=/usr/local/libev…