hadoop namenode -format 或者 hdfs namenode -format 2.执行hadoop sbin 目录下的 start-dfs.sh start-yarn.sh3.查看yarn是否开启master: jps slave1 slave2:…

在最近的数据库跨机房迁移中,由于硬件的限制,需要滚动式地将数据库一台台迁移到新机房,先在新机房搭建一个新环境,将数据迁移过去,再将旧机房的机器下架搬到新机房,重新配置后用于下一轮的升级,重新配置过程中,有以下几个问题: 1:由于机房和IP已经发生变化,因此需要按照命名规则修改服务器名称. 2:原数据库上的数据如登录账号/作业/链接服务器等等需要删除 3:部分服务器因磁盘变动,仅保留系统盘,部分SQL Server文件(如果系统数据库文件)已经丢失 对于问题1和问题2,可以进行手动删除或者写个脚本…

systemd是什么?名字很奇怪,不认识. 扒一扒wiki,你就会知道我是谁了? 在下有眼不识泰山,原来你就是盘古老爷爷用的开天辟地大斧头啊. 贫穷不可怕,可怕的是贫穷限制了你的想象---------------佚名. systemd是Linux电脑操作系统之下的一套中央化系统及设置管理程序(init),包括有守护进程.程序库跟应用软件, 由Lennart Poettering带头开发.其开发目标是提供更优秀的框架以表示系统服务间的依赖关系,并依此实现系统初始化 时服务的并行启动,同时达到降低S…

S5PV210初始化系统时钟 S5PV210时钟体系S5PV210中包含3大类时钟domain,分别是主系统时钟domain (简称MSYS,下面将使用简称来进行相关讲解).显示相关的时钟domain (DSYS).外围设备的时钟domain (PSYS).1) MSYS:用来给cortex a8处理器,dram控制器,3D,IRAM,IROM,中断控制器等提供时钟:2) DSYS:用来给显示相关的部件提供时钟,包括FIMC, FIMD, JPEG, and multimedia IPs:3)…

一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题. RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.Linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf. 而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用.理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP.于是参考一些文章作了调整: # for hadoop…

wikipedia 浅析 Linux 初始化 init 系统 systemd 中文手册 fedoraproject - systemd 1. Systemd 简介 Systemd 是 Linux 系统的初始化系统. 提高启动速度 通过并行启动和减少启动进程,且采用了 socket / D-Bus activation 激活等技术,实现了较快的启动速度. 管理进程的生命周期 init 初始化系统的一个重要职责就是跟踪和管理服务进程的生命周期.不仅要启动服务,同时也能够停止服务. Systemd 采…

简介 本文介绍ansible的roles,通过roles来实现系统的初始化,其相当于将ansible的playbook拆分.本文通过Jenkins,传参,调用playbook来初始化系统. Github地址 ansible的roles将功能.变量等抽象为一个个子模块,并在主配置文件中按顺序调用模块,形成一个功能集合,这样做的好处是可以复用各个模块,组合为新的playbook,项目代码地址https://github.com/WilliamGuozi/ansible-init,欢迎使用交流,也可以…

1.概述 在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂.那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三方开源的调度系统,来尽量减轻和降低我们日常工作的复杂度,也是极好的.今天,笔者给大家比较几种常见的调度系统,供大家去选择. 2.内容 2.1 Oozie Oozie目前是托管在Apache基金会的,开源.在之前的…

1.关闭防火墙 /etc/init.d/iptables stop chkconfig iptables off 2.关闭selinux cat /etc/selinux/config #查看状态 sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config setenforce #关闭selinux getenforce #查看selinux状态 3.添加用户 useradd oldboy id oldboy echo…

journalctl 中文手册 archlinux - journal systemd-journald 用于检索 systemd 的日志,是 systemd 自带的日志系统. 1. systemd-journald 概述 systemd-journald 是 syslog 的补充,收集来自内核.启动过程早期阶段.标 准输出.系统日志.守护进程启动和运行期间错误的信息.syslog 的信息也可以由 systemd-journald 转发到 rsyslog 中进一步处理. 默认情况下,system…