Operation system: CentOS 7.3 Torque PBS: torque-6.1.1.1.tar hostname: rfmlab user name: cfd01 1. Installation $ tar -zxvf torque-6.1.1.1.tar $ yum install -y libxml2-devel openssl-devel gcc gcc-c++ boost-devel libtool $ cd torque-6.1.1.1 $ ./configur

不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege         前期博客 Cloudera Manager安装之Cloudera Manager 5.3

Hadoop1.2.1安装——单节点方式和单机伪分布方式 一.   需求部分 在Linux上安装Hadoop之前,需要先安装两个程序: 1)JDK 1.6(或更高版本).Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK.因此在安装Hadoop前,必须安装JDK 1.6或更高版本. 2)SSH(安全外壳协议),推荐安装OpenSSH.Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须 安装的,即使是安装伪分布式版本

[root@localhost conf]# docker search redisINDEX NAME DESCRIPTION STARS OFFICIAL AUTOMATEDdocker.io docker.io/redis Redis is an open source key-value store th... 6146 [OK] docker.io docker.io/bitnami/redis Bitnami Redis Docker Image 97 [OK]docker.io d

# tar -zxvf redis.tar.gz # cd redis 安装(使用 PREFIX 指定安装目录): # make PREFIX=/usr/local/redis install 安装完成后,可以看到/usr/local/redis 目录下有一个 bin 目录,bin 目录里就是 redis 的命令脚本: redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server 将 Redis 配置成服务: 按上

1.下载zookeeper 下载地址:https://archive.apache.org/dist/zookeeper/,这里我们使用3.4.6版本. [winner-0715@localhost software]$ wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 2.解压 zookeeper 安装包 [winner-0715@localhost software]$

转:http://blog.itpub.net/30089851/viewspace-2121221/ 微视频链接: Apache Kylin初识      1.版本(当前实验版本组合,版本一定要兼容,否则各种问题)Hadoop2.7.2+HBase1.1.5+Hive2.0.0kylin-1.5.2.1    (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz) 2.Hadoop环境编译以支持Snappy解压缩库重新编译hadoop-2.7.2-src的nati

准备 环境 系统:CentOS7.5 软件即依赖 libfatscommon FastDFS分离出的一些公用函数包 FastDFS fastdfs-nginx-module FastDFS和nginx的关联模块 nginx nginx1.15.7 编译环境 yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y 磁盘目

1.安装 gcc 编译环境 由于 Redis 使用 C 语言开发,所以官网下载的源码需要进行编译,编译依赖 gcc 环境,如果没有 gcc 环境,则需要安装. ​[root@CentOS ~]# yum -y install gcc 2.下载 redis 安装包 ​[root@CentOS local]# wget http://download.redis.io/releases/redis-4.0.8.tar.gz 3.解压安装包 ​[root@CentOS local]# .tar.gz

有很多可以借鉴的地方,故转载: 创建脚本mysql.sh,直接运行sh mysql.sh !/bin/bash if [ -d /software ] ;then cd /software else mkdir /software && cd /software fi is exist command ,if not,yum install is_exist() { which $1 if [ $? -ne 0 ] ;then yum -y install $1 fi } dolownad

方案: 安装方式:阿里云minikube,k8s官方minikube,kubeadm, docker Desktop中自带第k8s 安装环境:在linux虚拟机中安装k8s,在macos中安装k8s,在阿里云买服务器安装k8s 在macos中安装用docker Desktop安装k8s如下: 参考: https://blog.csdn.net/yinlongfei_love/article/details/86695917 https://github.com/loverto/k8s-for-d

参考 https://kubernetes.io/docs/tasks/tools/install-minikube/ https://github.com/linianhui/code/blob/master/k8s/minikube.md 由于网络原因,建议用第二种方式. 启动如下: minikube start --vm-driver=virtualbox --registry-mirror=https://registry.docker-cn.com --v=9 如果报了virtualb

.. 欢迎大家,加入我的微信公众号:大数据躺过的坑     免费给分享       同时,大家可以关注我的个人博客:  http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/  人生苦短,我愿分享.本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网. 目前研究领域:大数据.机器学习.深度学习.人工智能.数据挖掘.数据分析. 语言涉及:Java.

本次测试环境:操作系统 oracle linux 6.9   oracle ebs 12.1.1   192.168.20.210  erpapp1.hthorizon.com erpapp1 yum安装依赖的rpm包,关于用户和组会自动创建,以及修改系统核心参数及limit 准备yum安装相关依赖rpm包,参考Oracle E-Business Suite Installation and Upgrade Notes Release () (文档 ID 761566.1) wget http:

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce

Kylin的使用安装文档Kylin简介Kylin是什么Apache Kylin是一个开源的分布式分析引擎,最初由eBay开发贡献至开源社区.它提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发.简单来说,Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问.把高复杂度的聚合运算.多表连接等操作转换成对预计算结果的查询,这决定

Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装.单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示: 为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka. 一.安装Java 可以参考linux安装jdk,来进行安装 二.安装ZooKeeper 下载地址:https://www-us.apache.org/dist/zoo

Centos7 单节点安装 FastDFS + FastDHT服务 1.安装gcc(编译时需要) FastDFS是C语言开发,安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc yum install -y gcc gcc-c++ 2.安装libevent(运行时需求) 若安装了桌面图形界面,就不需要安装:FastDFS依赖libevent库: yum -y install libevent libevent-devel 3.安装libfas

1.Hadoop简介 Hadoop是一个由Apache基金会所开发的开源分布式系统基础框架,使用Java开发,是处理大规模数据的软件平台. Hadoop可以从单一节点扩展到上千节点.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. 本次安装的是单点问题 2.安装Java JDK 由于Hadoop使用Java编写,要运行它我们需要安装Java运行环境 jdk下载地址:         http://www.oracle.com/technetwork/

环境:centos7 1.什么是分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连. 通俗来讲: 传统文件系统管理的文件就存储在本机. 分布式文件系统管理的文件存储在很多机器,这些机器通过网络连接,要被统一管理.无论是上传或者访问文件,都需要通过管理中心来访问 2.什么是FastDFS FastDFS是由淘宝的余庆先生所开发的一个轻量级.高性能的开源分布式文件系统.用纯C语言开发,