目录 HDFS-多目录配置 NameNode多目录配置 1.修改hdfs-site.xml 2.格式化NameNode DataNode多目录配置(重要) 1.修改hdfs-site.xml 2.测试两个DataNode数据不一致 单节点内磁盘间数据均衡(Hadoop3.x 新特性) 1 生成均衡计划 2 执行均衡计划 3 查看当前均衡任务的执行情况 4 取消均衡任务 HDFS-多目录配置 NameNode多目录配置 NameNode的本地目录可以配置多个,且每个目录存放内容相同,增加了可靠性…

开发项目中会遇到Tomcat内存溢出(java.lang.OutOfMemoryError: PermGen space)的问题,通过查找资料找到是通过设置Tomcat 启动堆空间大小.年轻代大小.每个线程大小参数进行调优的,具体如下: 一.在Tomcat 启动脚本(catalina.sh/catalina.bat)首行添加如下配置即可解决此问题 JAVA_OPTS="-Xms2048m -Xmx2048m -Xmn1024m -Xss1024K -XX:PermSize=128m -XX:Ma…

一.ASH和AWR的故事 1.1 关于ASH 我们都知道,用户在ORACLE数据库中执行操作时,必然要创建相应的连接和会话,其中,所有当前的会话信息都保存在动态性能视图V$SESSION中,通过该视图,DBA可以查看用户实际执行的操作,或者当前的等待事件等.通常这部分信息是调优过程中的关键信息,不过,一旦连接断开.会话信息就会被同时从V$SESSION及其它相关视图中清除,也就是说,用户执行完操作走人,而你(DBA),如果不能在当前逮到他,过了这点,就不知道它曾经做过什么了. 10g 版本中,O…

目录 2 HDFS-集群压测 2.1 测试HDFS写性能 测试1 限制网络 1 向HDFS集群写10个128M的文件 测试结果分析 测试2 不限制网络 1 向HDFS集群写10个128M的文件 2 测试结果分析 2.2 测试HDFS读性能 2 HDFS-集群压测 在企业中非常关心每天从 Java 后台拉取过来的数据,需要多久能上传到集群?消费者关心多久能从 HDFS 上拉取需要的数据? 为了搞清楚 HDFS 的读写性能,生产环境上非常需要对集群进行压测. HDFS的读写性能主要受网络和磁盘影响比…

目录 1 HFDS核心参数 1.1 NameNode 内存生产配置 问题描述 hadoop-env.sh中配置 1.2 NameNode 心跳并发配置 修改hdfs-site.xml配置 1.3 开启回收站配置 回收站机制 开启回收站功能参数说明 启动回收站-修改core-site.xml 查看回收站 恢复回收站数据 1 HFDS核心参数 搭建HFDS集群时必须要参考的参数 1.1 NameNode 内存生产配置 问题描述 1) NameNode 内存计算 每个文件块大概占用 150byte,一…

目录 HDFS-集群扩容及缩容 添加白名单 配置白名单的步骤 二次配置白名单 增加新服务器 需求 环境准备 服役新节点具体步骤 问题1 服务器间数据均衡 问题2 105是怎么关联到集群的 服务器间数据均衡 应用场景 服务器间数据均衡配置 开启数据均衡命 停止数据均衡命令 黑名单退役旧节点 黑名单配置步骤 HDFS-集群扩容及缩容 添加白名单 白名单:在白名单的主机IP地址可以访问集群,对集群进行数据的存储.不在白名单的主机可以访问集群,但是不会在主机上存储数据 企业中:配置白名单,可以尽量防止黑…

说到PHP代码调试,对于有经验的PHPer,通过echo.print_r.var_dump函数,或PHP开发工具zend studio.editplus可解决大部分问题,但是对于PHP入门学习的童鞋来说有一定的难度,而且仅仅通过上述这些PHP调试手段,也很难准确发现PHP性能方面的问题,Xdebug是一个非常有用的PHP调试工具. Xdebug作为PHP调试工具,提供了丰富的调试函数,也可将Xdebug安装配置为zend studio.editplus调试PHP的第三方插件,通过开启自动跟踪(a…

安装配置DNS服务器 装一个bind,首先搜一下. yum list |grep bind bind.x86_64   我们安装这个 安装 yum install bind.x86_64 -y 看一下他的配置文件 vim /etc/named.conf { listen-on port 53 { 127.0.0.1; };  监听端口是 53 定义监听53端口的ip是 127.0.0.1 回环IP listen-on-v6 port 53 { ::1; };  IP V6的 directory…

MySQL 主从(MySQL Replication),主要用于 MySQL 的时时备份或者读写分离.在配置之前先做一下准备工作,配置两台 mysql 服务器,如果你的机器不能同时跑两台 Linux虚拟机,那可以考虑在同一个机器上跑两个 mysql 服务. MySQL 主从原理非常简单,总结一下: 每个从仅可以设置一个主. 主在执行 sql 之后,记录二进制 log 文件(bin-log). 从连接主,并从主获取 binlog,存于本地 relay-log,并从上次记住的位置起执行 sql,一旦…

只有一台DNS服务器是不保险的,现在给他配置个从服务器. 在另外一台虚拟机上安装配置DNS服务器.先查看虚拟机ip为:192.168.1.111 ifconfig 给从安装bind和dig命令 yum install -y bind yum install -y bind-utils 打开主配置文件 vim /etc/named.conf listen-on port { 127.0.0.1; }; listen-on-v6 port { ::; }; 改为 // listen-on port…