前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 上传tar包并修改配置文件 解压tar包到指定目录 tar -zxvf hbase-2.0.6-bin.tar.hz -C /opt/ronnie 进入配置目录 vim hbase-env.sh 修改 hbase-env.sh文件 # 添加jdk路径 export JAVA_HOME=/u…

ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 集群规划: hostname NameNode DataNode JournalNode ResourceManager Zookeeper node01 √ √ √ node02 √ √ node03 √ √ √ √ node04 √ √ √ node05 √ √ √ 准备工作: 首先克隆5台ubuntu虚拟机 vim /etc/netplan/01-network-manager-all…

hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好hadoop集群 2. 在rzx1节点上配置执行环境的JAVA_HOME和是否利用自带Zookeeper 在hbase目录下:vim conf/hbase-env.sh export JAVA_HOME=/home/bigdata/software/jdk1.8.0_201 export HBASE_M…

MOOC_VM.vdl.zip 解压之后,得到一个vdl文件.打开virtual box,新建选择类型linuxubuntu 64位. 选择继续,分配2g.使用已有的虚拟硬盘文件,点击选择我们下载的文件.点击创建. 点击启动.已设置开机自动启动终端,也可以禁用. 左上角 活动(activities)tweaks工具.可以配置桌面显不显示家目录, startup application: terminal mark ls 可以看到我们预先放进系统的文件. 用户名和密码都是: mooc python…

前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 上传tar包并解压到指定目录: tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/ronnie 修改hive配置文件: 新建文件夹 mkdir /opt/ronnie/hive-3.1.2/warehouse hadoop fs -mkdir…

集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ √ flink04 √ √ √ 前置准备 克隆4台虚拟机 网络配置 vim /etc/netplan/01-network-manager-all.yaml 修改配置文件 集群网络配置如下: # flink01 network: version: 2 renderer: NetworkManage…

环境需求 jdk8 root@node01:~# java -version java version "1.8.0_202" Java(TM) SE Runtime Environment (build 1.8.0_202-b08) Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode) 配置jdk请参考: https://www.cnblogs.com/ronnieyuan/p/11461377.html p…

服务器准备 启动hadoop最小集群的典型配置是3台服务器, 一台作为Master, NameNode, 两台作为Slave, DataNode. 操作系统使用的Ubuntu18.04 Server, 安装过程就省略了, 使用的是LVM文件系统, XFS文件格式, 为了避免浪费空间, 除了划分1G给/boot以外, 其他都划为/ 服务器规划 192.168.1.148 vm148 -- 作为master, NameNode, ResourceManager192.168.1.149 vm149…

基于 Ubuntu18.04 使用 kubeadm 部署Kubernetes 1.17.3 高可用集群 环境 所有节点初始化 # cat <<EOF>> /etc/hosts 192.168.1.210 k8s-m1 192.168.1.211 k8s-node1 192.168.1.212 k8s-node2 EOF # vm1 hostnamectl set-hostname k8s-m1 # vm2 hostnamectl set-hostname k8s-node1 # v…

部署Bookinfo示例程序详细过程和步骤(基于Kubernetes集群+Istio v1.0) 部署Bookinfo示例程序   在下载的Istio安装包的samples目录中包含了示例应用程序.   Bookinfo应用   部署一个样例应用,它由四个单独的微服务构成,用来演示多种 Istio 特性.这个应用模仿在线书店的一个分类,显示一本书的信息.页面上会显示一本书的描述,书籍的细节(ISBN.页数等),以及关于这本书的一些评论. Bookinfo 应用分为四个单独的微服务: produc…

一.   MySQL InnoDB Cluster 介绍MySQL的高可用架构无论是社区还是官方,一直在技术上进行探索,这么多年提出了多种解决方案,比如MMM, MHA, NDB Cluster, Galera Cluster, InnoDB Cluster, 腾讯的PhxSQL, MySQL Fabric., aliSQL.MySQL官方在2017年4月推出了一套完整的.高可用的Mysql解决方案 - MySQL InnoDB Cluster, 即一组MySQL服务器可以配置为一个MySQL集…

os安装 目前对tensorflow和cuda支持最好的是ubuntu的18.04 ,16.04这种lts,推荐使用18.04版本.非lts的版本一般不推荐. Windows倒是也能用来装深度GPU环境,但是Windows上的问题实在太多了,而且很多都是跟环境相关的,不具备普遍性,解决了也没有意义.所以真心不推荐Windows环境. 这里需要注意的是,ubuntu有桌面版本和服务器版本的区别,自己用的话,肯定是要桌面版本的,但是如果只是放在角落里做运算机又或者是桌面版本安装失败的时候,可以考虑服…

基于springsession构建一个session共享的模块. 这里,基于redis的集群(Redis-5.0.3版本),为了解决整个物联网平台的各个子系统之间共享session需求,且方便各个子系统使用,将这个模块设计为一个pom组件,直接在pom.xml文件里面配置为dependency. 今天的主题,就是redis 5.0.3环境的构建. 和我之前介绍过的redis 3.2.8 (https://www.cnblogs.com/shihuc/p/7882004.html)有些类似,只是r…

基于Ubuntu18.04一站式部署 Python3.6.8的安装 1. 安装依赖 ~$ sudo apt install openssl* zlib* 2. 安装python3.6.8(个人建议从官网下载后上传到服务器) 点击下载python3.6.8官网源码 或根据下面的命令安装 ~$ sudo wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz 3. 解压.tgz文件 并 进入Python-3.6.8文件夹 ~$ su…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 0 hadoop搭建在搭建hive之前,要保证hadoop搭建完成,hadoop教程可以参考这篇文章 ubuntu18.04下hadoop搭建https://blog.csdn.ne…

1. 安装hadoop 详细请参见本人的另外一片博文<Hadoop 2.7.3 分布式集群安装> 2. 下载hive 2.3.4 解压文件到/opt/software -bin.tar.gz -C /opt/software/ 3. 配置hive环境变量: sudo vim /etc/profile 在文件末尾添加: #hive export HIVE_HOME=/opt/apache-hive--bin export HIVE_CONF_HOME=$HIVE_HOME/conf export…

实验目的: 体验kubeadm部署k8s服务,全流程体验! 实验环境: ubuntu18.04 联网在线部署 kubeadm 01.系统检查 节点主机名唯一,建议写入/etc/hosts 禁止swap分区 关闭防火墙 root@ubuntu:~# hostnamectl set-hostname k8s-master tail /etc/hosts 192.168.3.101 k8s-master root@ubuntu:~# ufw status Status: inactive # swap…

一.安装node.js 说明:安装node.js的原因:Hexo框架是基于node.js. 1.推荐使用nvm安装速度快,也可自行百度其它方法. wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.33.6/install.sh | bash 注意:回车后等待安装完成,不要提前退出. 感谢:yaxx 2.安装node.js后就可以通过npm包管理器安装Hexo框架了,由于npm的服务器在国外速度较慢,可以使用cnpm(淘宝)…

转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后,换掉memCache 集群. 一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/news/49 (ps:跳票了好久,今…

一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/news/49 (ps:跳票了好久,今年貌似加快速度了),目前的最新版本是redis3 beta2(2.9.51). 作者的目标:Redis Cluster will support up to ~1000 nodes. 赞... 目前redis支持的cluster特性(已亲测): 1):节点自动发…

原文:http://www.cnblogs.com/PurpleDream/p/4510279.html 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群 前言:       由于公司项目需要,最近开始学习一下分布式存储相关知识,确定使用FastDFS这个开源工具.利用周末的时间在虚拟机上搭建了分布式存储系统,在搭建过程中,发现网上的资料说的并不是很全,有些细节需要单独搜索或者自己判断,所以现在想写这篇博客尽量记录一下自己在过程中遇到的问题,以及是如何解决的,方便自己也…

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作.尽管有很多文档教会大家怎么一步一步去完成这样的工作,但是百密也有一疏.现成的工具不是没有,但是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还可以,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群需要对Linux有一定的使用经验.对于完全没有接触Linux的人来说,肯定是望而生…

多线程 boost编译与运行的坑 背景:因为要使用boost里的多线程库,所以遇到了下面的坑. 系统版本:ubuntu18.04 一,安装boost 1,去boost官网下载 boost_1_XX_0.tar.gz 2,解压 tar -zxvf boost_1_65_0.tar.gz 3,进去解压后的文件夹 cd boost_1_XX_0  4,编译 bootstrap.sh  5,安装 ./b2 注意:安装完成后,会有信息打印到控制台,最重要的就是: 头文件所在的路径(我的例子:/home/y…

在win10下安装Ubuntu18.04,双系统共存.Ubuntu 18.04 使用的是Gnome桌面. 查看系统的启动模式: Win+R打开运行,输入msinfo32,回车查看系统信息.在BIOS模式中如果显示“传统”,表示系统启动方式为Legacy BIOS:如果为UEFI,则显示UEFI. 一.准备工作 1.制作支持UEFI启动的Ubuntu USB启动盘 可以使用Ubuntu官网推荐的开源软件Rufus(Rufus官网),或者其它的软件如软碟通(UltraISO).这里我使用的软碟通制作…

目录 一.准备(一)环境(二)镜像(三)优盘 (四)启动项管理软件EasyBCD(五)启动优盘制作软件(六)分区二.安装 (一)优盘启动(二)安装windows10(三)安装ubuntu18.04(四)安装ubuntu后,因为nvidia显卡导致的多个问题 1． 登录界面,输入用户名和密码后,回车,卡死 2． 登录界面之后,经常黑屏 3． 经过上面的操作,可以正常开机了,但是由于开机未加载nvidia显卡,导致开机之后页面卡顿十分严重,仿佛有一种ppt中上浮的切换效果 4．安装了驱动之后,竟然开…

在ubuntu18.04上安装EOS 在ubuntu18.04上安装EOS的目的: 把交易所的eos转到eos主网,防止交易所跑路或者交易所被黑客攻击 在不联网的安全环境下,用eos官方的命令行工具,创建自己的公钥和私钥 用eos官方的命令行工具,创建钱包,执行转账,购买RAM等 本笔记包括二部分 一, 在虚拟机vbox上安装ubuntu18.04 二, 在ubuntu18.04上编译eos源代码,再安装eos 第一部分:在虚拟机vbox上安装ubuntu18.04 1,根据自己机器的cpu是3…

数据迁移_老集群RAC迁移数据恢复到新集群RAC 作者:Eric 微信:loveoracle11g 1.把老集群RAC备份的数据远程拷贝到新集群RAC [root@old-rac-node1 ~]# cd /backup/rman/orcl [root@old-rac-node1 orcl]# ls -l *1119* [root@old-rac-node1 orcl]# scp *1119* root@192.168.10.10:/backup/rman/orcl 密码:oracle [roo…

HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase利用hadoop hdfs作为其文件存储系统,利用hadoop MapReduce来处理HBase中的海量数据,利用zookeeper作为协同服务. HBase安装(hadoop1作为主节点,hadoop2和hadoop3作为从节点) 前提:先在hadoop1.hadoop2.hadoop3上面搭建…

索引: 1.Ubuntu 18.04 安装搜狗输入法 2.在 Ubuntu 18.04 中将第三方软件添加至 favorite 菜单栏 3.在 VMware workstation 中为虚拟机安装 VMware Tools 4.Ubuntu 18.04 环境下安装 Matlab2018b 5.Ubuntu 安装不同版本的 gcc/g++ 编译器 6.Ubuntu18.04环境下安装 ffmpeg 1.Ubuntu 18.04 安装搜狗输入法 貌似每次重新安装系统后解决输入法都是一个老大难问题,这…

PC:ubuntu18.04.i5.七彩虹GTX1060显卡.固态硬盘.机械硬盘 作者:庄泽彬(欢迎转载,请注明作者) 说明:记录在ubuntu18.04环境下搭建深度学习的环境,之前安装了cuda9.1,与cudnn7.0.5版本的,但是无论怎么安装tensorflow-gpu都是失败,后来找到原因了,目前的tensorflow暂不支持cuda9.1,因此更换成cuda9.0,cudnn7.0.7安装成功,而且在英伟达官网下载各个安装包的时候出现在下载到99.9%时候总是下载失败,在某个时间段…