作业任务:安装Hive,有条件的同学可考虑用mysql作为元数据库安装(有一定难度,可以获得老师极度赞赏),安装完成后做简单SQL操作测试.将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机: 总共三台虚拟机,使用CentOS.一台是NameNode,另两台为DataNode,由于搭载虚拟机的内存不是很足,所以不打算再新增一台虚拟机来另外安装mysql,所以选择其中一台datanode虚拟机来安装mysql,由于很早时候已经安装布署了hadoop,所以不再累述hadoop如何安装使用:

1. 安装需安装mysql客户端和服务器端. Centos下,可用命令:yum install mysql安装mysql客户端:使用命令:yum install mysql-server安装mysql服务器端. 在windows下,可下载.msi安装包.可以从mysql的官网这里:http://www.mysql.com/downloads/下载.现在弄得比较麻烦,还得登陆后才能下载.如果没有账号,需要注册一个.登陆后,可下载.安装过程不表,注意安装时的各种选项,选择最适合自己的.安装完成后,可

最近有安装了一次hadoop集群,NameNode启动失败,查看日志,找到以下原因: 遇到的异常1: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-javoft/dfs/name is in an inconsistent state: storage di rectory does not exist or is not accessible.at org.apa

NameNode中几个关键的数据结构 FSImage Namenode 会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在 editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后 (sec,由fs.checkpoint.period参数定义),namenode会重新将内存中对整个HDFS的目录树和文件元数据刷到 fs

namenode启动参数:-Xmx153600m -Xms153600m -Xmn4096m -verbose:gc -Xloggc:$LOG_DIR/namenode.gc.log -XX:ErrorFile=$LOG_DIR/hs_err_pid.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccu

  在HDFS1中NameNode启动顺序是这样的: 1. 读取Fsimage文件 2. 读取edit logs文件,逐行执行里面的操作 3. 写checkpoint,生成新的Fsimage(老的Fsimage + editlogs) 4. 进入safe mode,等待datanodes的block reports,直到达到最小的replication数的block百分比才退出 在安全模式期间,client是不能修改namespace信息,也不允许复制blocks,client基本上是被bloc

MySql安装(rpm)和启动配置 安装环境: OS:Oracle Linux 5.9 安装步骤: 1.解压MySql安装包 [root@bakdbserver mysql]# tar -xf MySQL-5.5.24-1.rhel5.x86_64.tar [root@bakdbserver mysql]# ll 总计 373920 -rw-r--r-- 1 root root  191242240 2012-05-28 MySQL-5.5.24-1.rhel5.x86_64.tar -rw-r

移动到hadoop文件目录下 NameNode启动命令:sbin/hadoop-daemon.sh start namenode DataNode启动命令:sbin/hadoop-daemon.sh start datanode 过程描述: NameNode启动后,会进入30秒的等待时间,此时处于安全模式,所谓的安全模式就是只能执行相关读取操作,比如查看text,下载get等,不能执行创建,删除or追加内容操作, 此时NameNode做两件事,第一件,接受DataNode的心跳和块状态报告,心跳

1.格式化空间(第一次启动的操作): 命令:bin/hadoop -format //用于格式化HDFS,如果不是首次格式化,需要删除下面配置的tmp目录后再进行core-site.xml的配置: //配置了hadoop的temp <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/data/tmp</value> </property> * 格式化后就生成f

MySQL 1053错误 服务无法正常启动的解决方法 1.右键我的电脑,管理,进入服务 2.右键单击Mysql8 属性,选择登陆  选择此账号  登陆管理员账号

集群格式化hdfs后,在主节点运行启动hdfs后,发现namenode启动了,而datanode没有启动,在其他节点上jps后没有datanode进程!原因: 当我们使用hdfs namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,而datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID,刚好有进行了一次格式化,在namen

1.jps发现namenode启动失败 每次开机都要重新格式化一下namenode才可以 其实问题出现自tmp文件上,因为每次开机就会被清空,所以现在我们配置一个tmp文件目录. 如果之前没有配置过,默认是在 /tmp 根目录下的tmp文件下,我的tmp没啥重要文件所以在配置之前,把里面的文件清空了: sudo rm -rf /tmp/* 说明:用户名为: hadoop 首先创建一个tmp目录,我是在/home/hadoop中创建了一个hadoop_tmp目录 sudo mkdir /home/

MySQL主从复制几个重要的启动选项 (1)  log-slave-updates log-slave-updates这个参数用来配置从服务器的更新是否写入二进制日志,这个选项默认是不打开的,但是,如果这个从服务器B是服务器A的从服务器,同时还作为服务器C的主服务器,那么就需要开发这个选项,这样它的从服务器C才能获得它的二进制日志进行同步操作 (2)  master-connect-retry master-connect-retry这个参数是用来设置在和主服务器连接丢失的时候,重试的时间间隔,

今天mysql服务器突然异常关机,查看云平台发现该vm处于为开机状态切状态是无法启动,经过协调, 服务器启动了.但是进行service mysql start 启动时.提示错误: Starting MySQL. ERROR! The server quit without updating PID file (/usr/local/mysql/var/VICSQL.pid). 从表现上看是pid文件找不到,经过在此文件夹寻找这个pid确实不存在,通过根目录find -name VICSQL.pi

NameNode启动过程详细剖析 NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后(sec,由fs.checkpoint.period参数定义),namenode会重新将内存中对整个HDFS的

问题一: 因为装的是新系统,所以遇到mysql启动报错:无法启动此程序,因为计算机丢失MSVCP120.dll 后来参考这篇文章https://blog.csdn.net/huacode/article/details/79557871,完美的得到了解决,原来是电脑上缺乏Visual C++ Redistributable Packages for Visual Studio 2013,去微软官网下载一个即可 问题二: 查询报错: You must reset your password usi

本篇内容关注NameNode启动之前,active状态和standby状态的一些后台服务及准备工作,即源码里的CommonServices.主要包括磁盘空间检查. 可用资源检查.安全模式等.依然分为三部分:源码调用分析.伪代码核心梳理.调用关系图解. 第一部分,源码调用分析. 接着上篇RpcServer启动之后开始梳理,进入到了initialize()方法中. protected void initialize(Configuration conf) throws IOException { /

上篇内容分析了http server的启动代码,这篇文章继续从initialize()方法中按执行顺序进行分析.内容还是分为三大块: 一.源码调用关系分析 二.伪代码执行流程 三.代码图解 一.源码调用关系分析 上一篇内容是NameNode启动http server的分析,是根据锁定NameNode的main()入口,发现了该入口仅有两行核心代码,先进入到了第一行核心代码 createNameNode()中,发现默认情况是new了一个NameNode对象.在NameNode的构造方法中,有一些很

jps发现namenode启动失败 每次开机都要重新格式化一下namenode才可以 其实问题出现自tmp文件上,因为每次开机就会被清空,所以现在我们配置一个tmp文件目录. 如果之前没有配置过,默认是在 /tmp 根目录下的tmp文件下,我的tmp没啥重要文件所以在配置之前,把里面的文件清空了 首先创建一个tmp目录,我是在/home/hadoop中创建了一个hadoop_tmp目录 sudo mkdir /home/hadoop/hadoop_tmp 然后去hadoop安装目录下的etc/h

对namenode启动时的相关操作及相关类有一个大体了解,后续深入研究时,再对本文进行补充 >实现类 HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh,查看start-dfs.sh可以看出,namenode是通过bin/hdfs命令来启动 $ vi start-dfs.sh # namenodes NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -namenodes) echo "Starting namenodes o

曾经一直都没注意的问题.这次就记录下来吧.假设有相同问题的也当做一个提示 WIN SERVER8更改MYSQL的datadir后,数据库启动不起来,详细原因有二. 首先.先来看一下怎样更改 datadir 文件夹,由于我安装的时候直接默认在C盘,所以这里以C盘做介绍.这里打开 C:\ProgramData\MySQL\MySQL Server 5.6 找到 my.ini文件,假设你看不到这个文件夹,那么有可能这个文件夹被隐藏了,更改下显示属性显示出来就能够了. 更改数据文件夹,假设以d:/dat