前提是安装ansible 配置源 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo yum install -y ansible 1. ssh首次链接出现yes/no提示 需要执行一遍ssh,破除 需要输入yes的问题 修改文件: /etc/ssh/ssh_config 在文件中添加如下信息:StrictHostKeyChecking no 2. 添加 hadoop用户 首先 test用户,…

操作hadoop的经验积累 Hadoop namenode –format 在执行格式化-format命令时,要避免namenode的namdespaceid与datanode的namespaceid的不一致.这是因为每格式化一次就会产生name,data,temp等临时文件记录信息,多次格式化会产生很多的name,data,temo,这样容易导致id的不同,使hadoop不能正常运行.每次执行格式化—format命令时,就需要将datanode和namenode上原来的data,temp文件删…

出现的原因是有人对某一条数据进行了修改,oracle会通过这个事务记住这条数据,若修改的人没有进行提交或进行回滚记录,oracle是不允许对这条数据在此进行修改的,在这种情况下你要进行修改数据,则会被阻止,提示"记录被另外一个用户锁定". 现在就需要对其锁进行删除,以便达到修改数据的目的. 1.查看数据库锁,诊断锁的来源及其类型: select object_id,session_id,locked_mode from v$locked_object; 2.找到数据库的serial#,…

操作Hadoop集群 所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录.这应该是所有机器上相同的目录. 一般来说,建议HDFS和YARN作为单独的用户运行.在大多数安装中,HDFS进程作为"hdfs"执行.YARN通常使用"纱线"帐户. Hadoop启动 要启动Hadoop集群,您需要启动HDFS和YARN集群. 首次升级HDFS时,必须格式化.将新的分布式文件系统格式化为hdfs: [hdfs] $ $ HADOOP_HOME /…

在C#中操作域用户,在项目中写的帮助类: using System; using System.Collections.Generic; using System.DirectoryServices; using System.Linq; using System.Runtime.InteropServices; using System.Security.Principal; using System.Text; using System.Threading.Tasks; namespace…

一.环境: 服务器一台,已安装centos7.5系统,做ansible服务器: 客户机三台:hadoop-master(192.168.1.18).hadoop-slave1(192.168.1.19).hadoop-slave2(192.168.1.20) 二.ansible软件安装: [root@centos75 ~]# yum install ansible 三.ansible配置过程: 1.服务器与客户机之间的免密配置: (1)生成密钥: ssh-keygen -t rsa (2)传递密…

1:安装 由于是windows环境(linux其实也一样),只要有pip或者setup_install安装起来都是很方便的 >pip install hdfs 2:Client——创建集群连接 > from hdfs import * > client = Client("http://s100:50070") 其他参数说明: classhdfs.client.Client(url, root=None, proxy=None, timeout=None, sessi…

目录 添加用户 删除用户 修改用户 切换用户 配置用户密码 查看配置文件 cat /etc/pwsswd 添加用户 可选项 -c comment 指定一段注释性描述. -d 目录 指定用户主目录,如果此目录不存在,则同时使用-m选项,可以创建主目录. -m 自动在 /home 目录下创建用户目录 -g 用户组 指定用户所属的用户组. -G 给用户分配组名 # 语法: useradd userName useradd -m admin 删除用户 此命令删除用户admin在系统文件中(主要是/etc…

Hadoop用户配置免密登陆, 参考其他免密配置方法自己总结的更简洁的步骤. 要实现A免密登陆B,需要把A生成的公钥放到B的对应目录下, 要实现ABC之间免密登陆,把3者的公钥汇总到一个文件中, 然后分发到3个用户的对应目录下,即可实现互相免密. 目标: 实现zdh-7,zdh-9,zdh-11上面的hdfs用户之间免密登陆 方法: 1.实现hdfs@zdh-7本地免密登陆 在zdh-7的hdfs用户下执行: 生成密钥和公钥 ssh-keygen -t dsa -P '' -f ~/.ssh/i…

http://inuyasha1027.blog.51cto.com/4003695/1132896/ 主机ip:192.168.163.100(hostname: node0) ssh无密码登陆的远程机ip:192.168.163.101(hostname: node1) 首先要修改主机 和ssh连接到的远程机 的配置文件: vi  /etc/ssh/sshd_config (要确保这些字符前无注释符号"#") RSAAuthentication  yes PubkeyAuthent…

Mysql数据库链接代码 function dbConnect($hostname,$username,$pass,$db_name,$pconnect =0) { $func=empty($pconnect) ? 'mysql_connect':'mysql_pconnect'; if(!$connect){ $connect=@$func($hostname,$username,$pass) or die("<font size='2'>Mysql_Error : ".…

在项目中,我们往往需要记录数据库操作的时间,根据操作时间的不同,分别记录不同等级的日志. 首先我们可以写一个类实现MethodInterceptor接口: import org.aopalliance.intercept.MethodInterceptor; import org.aopalliance.intercept.MethodInvocation; import org.apache.commons.logging.Log; import org.apache.commons.logg…

用户列表 Smack主要使用Roster进行列表管理的 connection.getRoster(); /** * 返回所有组信息 <RosterGroup> * * @return List(RosterGroup) */ public static List<RosterGroup> getGroups(Roster roster) { List<RosterGroup> groupsList = new ArrayList<RosterGroup>()…

原因:PL/SQL里面执行语句执行了很久都没有结果,于是中断执行,于是就直接在上面改字段,在点打钩(记入改变)的时候提示,记录被另一个用户锁住. 解决方法: 第一步:(只是用于查看哪些表被锁住,真正有用的是第二.第三步) select b.owner,b.object_name,l.session_id,l.locked_modefrom v$locked_object l, dba_objects bwhere b.object_id=l.object_id 显示如下: OWNER    OB…

ansible批量加用户 1.生成密码 pip install passlib python -c "from passlib.hash import sha512_crypt; print sha512_crypt.encrypt('123456')" 2.文件一 hosts.yaml all: vars: ansible_connection: ssh ansible_user: zhangs ansible_ssh_pass: zhangs@123456 ansible_sudo…

1. 启动hadoop服务. 2. hadoop默认将数据存储带/tmp目录下,如下图: 由于/tmp是linux的临时目录,linux会不定时的对该目录进行清除,因此hadoop可能就会出现意外情况.下面对这个配置进行修改.修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下 3. 修改完毕后,重启hadoop服务(stop-dfs.sh.start-dfs.sh),然后重新格式…

设置ansible使用普通用户jsxge远程连接执行playbook 1. ansible控制端创建普通用户jsxgecd /homeuseradd jsxgechown -R jsxge.wheel jsxgeecho "123456" | passwd --stdin jsxge 2. ansible控制端创建jsxge用户keycd /homemkdir -p jsxge/.ssh/chmod 700 jsxge/.sshssh-keygen -t rsa -b 2048生成id…

我们在项目中经常会对数据做一些操作,比如增加一个字段,修改一个存储过程,删除表等等操作,很有必要记录这些操作,以便以后出了问题,方便找到元凶.接下来介绍一个DDL触发器在实际环境中的使用,这个DDL触发器主要功能是:把数据库结构变化的操作事件,操作类型,登陆名,操作人电脑名称,架构名称,对象名称,目标对象,事件内容,插入到日志表中. 首先在数据库创建一张日志表,存储操作记录 CREATE TABLE [dbo].[AuditDDLEvents]( [Lsn] [int] IDENTITY(1,1…

1.首先新建用户,adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后,一路 y 确定. 2.添加用户组 在创建hadoop用户的同时也创建了hadoop用户组,下面我们把hadoop用户加入到hadoop用户组下面 sudo usermod -a -G hadoop hadoop 前面一个hadoop是组名,后面一个hadoop是用户名.完成后查询 cat /etc/group 3.赋予root权限 先切换到root的用户 sudo nano /…

通过流的方式操作hadoop的API 功能: 可以直接用来操作hadoop的文件系统 可以用在mapreduce的outputformat中设置RecordWrite 参考: 概念理解 http://blog.csdn.net/qq_30366667/article/details/73293452 实例  http://blog.csdn.net/wt346326775/article/details/53446185 文件的读取 使用hdfs提供的客户端开发库来调用DistributedFi…

oracle数据中删除数据时提示“记录被另一个用户锁住” 解决方法: 1.查看数据库锁,诊断锁的来源及类型: select object_id,session_id,locked_mode from v$locked_object; 或者用以下命令: select b.owner,b.object_name,l.session_id,l.locked_mode from v$locked_object l, dba_objects b where b.object_id=l.object_id…

git常用操作 配置用户信息.拉取项目.提交代码.分支操作.版本回退... /********git 配置用户信息************/ git config --global user.name "qing_321" git config --global user.email "qing_321@163.com" /**************拉取项目*******************/ git clone https://gitee.com/qing_…

MySQL行(记录)的操作(二) -- 多表查询 数据的准备 #建表 create table department( id int, name varchar(20) ); create table employee( id int primary key auto_increment, name varchar(20), sex enum('male','female') not null default 'male', age int, dep_id int ); #插入数据 insert…

MySQL的行(记录)的操作(一) 1. 增(insert) insert into 表名 value((字段1,字段2...); # 只能增加一行记录 insert into 表名 values(字段1,字段2...); insert into 表名(id,name) values(字段1,字段2),(xx1,xx2); id,name,age 插入查询结果 语法: INSERT INTO 表名(字段1,字段2,字段3-字段n) SELECT (字段1,字段2,字段3-字段n) FROM 表2…

今天学习了下怎么用.Net操作本地用户和组,因为目前网上还没看到一篇比较完整的文章,所以整理了下也分享出来,最后附带参考文档,方便深究的童鞋继续学习.==========  原创作品    作者:Yokeqi    出处:博客园  ========== 这里两个思路,一个是利用WindowsApi进行操作,另一个则是用.net封装好的DirectoryEntry类. 这里只为快速实现,不求技术高深,所以采用DirectoryEntry是最好的,也容易理解和上手.最后附带相关的文章链接,方面要深究…

1.首先新建用户,adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后,一路 y 确定. 2.添加用户组 在创建hadoop用户的同时也创建了hadoop用户组,下面我们把hadoop用户加入到hadoop用户组下面 sudo usermod -a -G hadoop hadoop 前面一个hadoop是组名,后面一个hadoop是用户名.完成后查询 cat /etc/group 3.赋予root权限 先切换到root的用户 sudo nano /…

应用场景 在查询oracle表时,提示表记录被另一个用户锁住了 有可能是在使用了pl/sql工具后修改某个表记录时,加锁,或者发生故障异常退出,下次登录进去修改不了 查询锁 --查看数据库的锁的来源.类型等 select t.object_id, t.session_id, t.locked_mode from v$locked_object ; 查询锁与session连接 --查询 锁与session连接 用户名.serial#.时间select s.username, s.sid, s.se…

<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>菜鸟教程(runoob.com)</title> <link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/3.3.7/css/bootstrap.min.css"…

原因 当一个用户对数据进行修改时,若没有进行提交或者回滚,Oracle不允许其他用户修改该条数据,在这种情况下修改,就会出现:"记录被另外一个用户锁定"错误. 解决 查询用户.数据库锁.以及类型等 select object_id,session_id,locked_mode from v$locked_object; 或者 select t2.owner,t2.object_name,t1.session_id,t1.locked_mode from v$locked_object…

一 介绍 MySQL数据操作: DML ======================================================== 在MySQL管理软件中,可以通过SQL语句中的DML语言来实现数据的操作,包括 使用INSERT实现数据的插入 UPDATE实现数据的更新 使用DELETE实现数据的删除 使用SELECT查询数据以及. ======================================================== 本节内容包括: 插入数据 更…