一、Hadoop的安装

①Hadoop运行的前提是本机已经安装了JDK,配置JAVA_HOME变量
②在Hadoop中启动多种不同类型的进程
        例如NN,DN,RM,NM,这些进程需要进行通信!
        在通信时,常用主机名进行通信!
        
        在192.168.6.100机器上的DN进程,希望访问192.168.6.104机器的NN进程!
        需要在集群的每台机器上,配置集群中所有机器的host映射!
        配置:
            Linux:   /etc/hosts
            Windows:  C:\Windows\System32\drivers\etc\hosts
            
        不配报错:  
                 DNS映射异常,HOST映射异常
                
③注意权限
        hadoop框架在运行需要产生很多数据(日志),数据的保存目录,必须让当前启动hadoop进程的用户拥有写权限!
        
④关闭防火墙,设置开机不自启动
        service iptables stop
        chkconfig iptables off
        
二、使用普通用户操作
①创建普通用户atguigu
        useradd atguigu
        
②为atgugiu用户设置密码
        passwd atguigu
③赋予atguigu用户root权限
        vim /etc/sudoers
        
④将/opt目录下创建的soft目录和module目录的所属主修改为atguigu
        chown -R atguigu:atguigu /opt/soft /opt/module
        
三、hadoop的目录介绍

bin:  使用Hdfs和运算MR时,常用的目录!
            常用hadoop命令!
sbin:  管理员启动和停止集群使用的命令!

etc:  hadoop配置文件所在的目录

四、使用HDFS
        完成大数据的存储!
        HDFS(hadoop distributed filesystem)
        
        HDFS的运行模式:
                取决于参数:  fs.defaultFS=file:///(默认)
                 fs.defaultFS在core-default.xml中!
                    ①本地模式(在本机上使用HDFS,使用的就是本机的文件系统)
                            fs.defaultFS=file:///
                    ②分布式模式
                            要使用的文件系统是一个分布式的文件系统!
                            一个分布式的文件系统,必须由NN,DN等若干进程共同运行完成文件系统的读写操作!
                            fs.defaultFS=hdfs://
                            
                    启动NN:  hadoop-daemon.sh start namenode
                    停止NN:  hadoop-daemon.sh stop namenode
                    启动DN:  hadoop-daemon.sh start datanode
                    停止DN:  hadoop-daemon.sh stop datanode
                    
        使用:  hadoop fs  命令  文件路径

五、运行MapReduce
        完成大数据的计算!
        ①按照MR的规范编写一个程序
        ②将程序打包为jar
        ③运行jar中的程序
                
                两种运行模式:
                        取决于参数:  mapreduce.framework.name=local(默认)
                    ①本地模式(在本机上运行MR)   mapreduce.framework.name=local
                            在本机运行MR!在本机使用多线程的方式,运行多个Task!
                    ②在YARN上运行  mapreduce.framework.name=yarn
                            将MR提交给YARN,由YARN将Job中的多个task分配到多台机器中,启动container运行task!
                            
                            需要启动YARN,YARN由RM和NM进程组成!
        
        
六、hadoop的配置文件
        hadoop安装后,hadoop的性能和表现取决于用户的配置!
        
        4个默认的配置文件:
                位置:  HADOOP_HOME/share/xxxx.jar/xxx-default.xml
                core-default.xml: 设置hadoop最核心的参数!
                hdfs-default.xml   保存的是hdfs相关的参数!
                
                mapred-default.xml: MR程序在运行时,需要使用的参数!
                yarn-default.xml: yarn在启动时,需要的参数!
        
        4个用户可以自定义的配置文件: xxx-site.xml
                core-site.xml: 用户自定义的设置hadoop最核心的参数!
                hdfs-site.xml   用户自定义的保存的是hdfs相关的参数!
                
                mapred-site.xml: 用户自定义的MR程序在运行时,需要使用的参数!
                yarn-site.xml: 用户自定义的yarn在启动时,需要的参数!
        
        用户自定义的配置文件,可以覆盖默认配置文件中同名的参数的值!
        
        Hadoop在启动时,先加载4个默认的配置文件,再加载用户自定义的配置文件,如果用户自定义的配置文件
        中有和4个默认配置文件中门的参数,可以覆盖之前已经加载的值!

七、在使用hadoop命令时
        可以自定义配置文件的目录:  hadoop --config 配置文件的目录
        如果没有配置,默认读取  HADOOP_HOME/etc/hadoop 中对应的配置文件!
        
        hadoop-daemon.sh start namenode脚本在执行时,只会去默认的目录中读取配置文件!

Hadoop的安装配置(一)的更多相关文章

  1. Hadoop单机安装配置过程:

    1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAV ...

  2. Hadoop简单安装配置

    Hadoop开始设计以Linux平台为运行目标,所以这里推荐在Linux发行版比如Ubuntu进行安装,目前已经有Hadoop for Windows出来,大家自行搜下文章. Hadoop运行模式分为 ...

  3. Hadoop详细安装配置过程

    步骤一:基础环境搭建 1.下载并安装ubuntukylin-15.10-desktop-amd64.iso 2.安装ssh sudo apt-get install openssh-server op ...

  4. Hadoop HA- zookeeper安装配置

    安装集群 1.1 虚拟机: 3台安装好JDK的centos Linux虚拟机 1.2 安装包: 把下载好的zookeeper安装包,官网:http://mirror.bit.edu.cn/apache ...

  5. 【大数据】Hadoop单机安装配置

    1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中 2.创建软链接,方便hadoop升级  ln -s /home/hadoop/Soft/hadoop-2.7 ...

  6. hadoop搭建杂记:Linux下hadoop的安装配置

    VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作, ...

  7. hadoop的安装配置

    资源下载路径:https://archive.cloudera.com/cdh5/cdh/5/:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0 ...

  8. Docker Hadoop LAMP安装配置教程

    以下教程来自九章算法. 1.How to install Dockerhttps://bupt.quip.com/YehSAR4qnGqB 2.How to set up hadoop environ ...

  9. Hadoop 单机安装配置

随机推荐

  1. Hbuilderx换行问题(属性合并一行展示)

    1. 标签折行,非吾所愿(格式化代码快捷键:Ctrl + K)  2. 打开工具-设置 3. 点击左侧插件配置,点击右边下侧jsbeautify 4. 将原本的折行长度由120改为1200(长度可根据 ...

  2. Harbor2.2.4在CentOS7.9安装、部署

    CentOS7.9基础环境配置 https://www.cnblogs.com/uncleyong/p/15471002.html 直接从网盘获取配置好的环境 修改:vim /etc/hosts 12 ...

  3. 微信小程序蓝牙开发

    微信小程序蓝牙控制方案: 蓝牙模块如何快速改名并绑定用户手机?这样即使多台蓝牙设备在同一个地方使用也可以互不干扰,燧星科技给出解决方案. 长按控制板5秒进入待绑定下状态,点击"添加蓝牙设备& ...

  4. [编译器]dev c++单步调试

    一.dev c++调试崩溃的解决方案 1.点击"工具 -> 编译选项". 2.选择"编译器"选项卡,勾选"编译时加入以下命令",输入& ...

  5. 【C# Parallel】ParallelLoopState

    总结 总之,要编写一个健壮的并行循环,必须在并行循环体中检测 ParallelLoopState 对象的 IsExceptional, IsStopped 和 LowestBreakIteration ...

  6. 【C#单元测试】 开篇

    官方:https://docs.microsoft.com/zh-cn/visualstudio/test/install-third-party-unit-test-frameworks?view= ...

  7. Linux中查看进程与日志

    转至:https://www.cnblogs.com/dengxiaoning/p/13336778.html Linux尽管使用频繁,仍然每次都还是需要到处去找相关的命令,如进程,日志之类的,既然这 ...

  8. shell脚本编程练习

    转至:http://www.178linux.com/88406 1.写一个脚本,使用ping命令探测172.16.250.1-172.16.250.254之间的所有主机的在线状态 在线的主机使用绿色 ...

  9. linux 平台实现 web 服务器的自动化发布 (纯shell 版本,存在ssh 不能自动退出问题,待解决)

    转至:https://www.cnblogs.com/vmsky/p/13824172.html 背景说明 1.集团OA系统上线,web App 部署在6台服务器中,因项目初期,每次更新都需要进行大量 ...

  10. Write Combining Buffer

    现代CPU使用了很多技术来降低对内存存取数据的延时,因为CPU执行的速度实在是太快了,在从内存存取数据的约120ns中,可以执行数百条指令. 其中多级的缓存架构就是为了减少这种延时,来提高CPU的利用 ...