原文链接:http://bbs.chinaunix.net/archiver/tid-508290.html 主要步骤如下: 1.为运行shell脚本的本地用户生成密钥对2.将其中的公钥分发到sftp欲登录的远程服务器上3.编写并以上面的本地用户运行shell脚本 一.生成密钥对 在shell脚本中使用sftp时必须用到密钥对(公钥和私钥).可使用下列方式生成(SSH 2.X版本),这里本地用户记为:local_user: $ ssh-keygen -dsa 屏幕提示: Generating p

HDFS的shell(命令行客户端)操作实例 3.2 常用命令参数介绍 -help 功能:输出这个命令参数手册 -ls                  功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果 -mkdir              功能:在hdfs上创建目录 示例:hadoop fs  -mkdir  -p 

//实现详细记录登陆过系统的用户,IP地址,shell命令及详细操作的时间 将下面代码加入/etc/profile //history USER_IP = who -u am i 2> /dev/null | awk '{print $NF}'| sed -e 's/[()] //g' HISTDIR = /usr/share/.history if [ -z $USER_IP ] then USER_IP = hostname fi if [ ! -d $HISTDIR ] then mkdi

hadoop学习及实践笔记—— HDFS shell命令行常见操作 附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [ge

mysql -uroot study -proot << EOF > insert into top_n_movie(movie,sumprice)values('hello kitty',100);> EOF 一定要换行 shell 实现mysql写入操作 shell语句查询mysql数据库的常用方法

shell编程系列25--shell操作数据库实战之备份MySQL数据,并通过FTP将其传输到远端主机 备份mysql中的库或者表 mysqldump 常用参数详解: -u 用户名 -p 密码 -h 服务器ip地址 -d 等价于--no-data 只导出表结构 -t 等价于--no-create-info 只导出数据,不导出建表语句 -A 等价于--all-databases -B 等价于--databases 导出一个或多个数据库 需求:将school中的score表备份,并且将备份数据通过f

shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mysql中 jerry -- male mike -- female tracy -- male kobe -- male allen -- female curry -- male tom -- female # 创建表结构和student一样结构的student1表 MariaDB [school]

shell编程系列23--shell操作数据库实战之mysql命令参数详解 mysql命令参数详解 -u 用户名 -p 用户密码 -h 服务器ip地址 -D 连接的数据库 -N 不输出列信息 -B 使用tab键代替默认交互分隔符 -e 执行sql语句 其他选项 -E 垂直输出 -H 以HTML格式输出 -X 以XML格式输出 .写一个脚本,该脚本可以接收一个参数,参数为需要执行的SQL语句 .查询MYSQL任意表的数据,并将查询到的结果保存到HTML文件中 .查询MYSQL任意表的数据,并将查询

shell编程系列22--shell操作数据库实战之shell脚本与MySQL数据库交互(增删改查) Shell脚本与MySQL数据库交互(增删改查) # 环境准备:安装mariadb 数据库 [root@localhost shell]# yum install mariadb mariadb-server mariadb-libs -y [root@localhost shell]# systemctl start mariadb [root@localhost shell]# netsta

1.前言 在Windows系统下操作远程服务器的方式很多,比如XShell+XFTP组合,亦或是PuTTY+WinSCP组合,但在Mac系统下登陆远程服务器,并没有这些工具供我们使用.相比较而言,在Mac下更多的是依赖终端输入SSH命令登陆远程服务器. 使用SSH命令行的好处就是可以近距离接触底层,用的越多,用的越溜,对SSH的原理就越了解.相反,使用现成的SSH工具(PuTTY.XShell),我们其实并不会有涉及使用ssh命令的机会,对大多数人而言,怕是只知道最基本的ssh root@ip.

执行程序时发生了什么当你双击桌面上的终端程序图标时,就会打开一个载入shell的程序. 你键入的命令不会直接在内核执行,而是先和 shell 进行交互.Command (eg. `ls -l')↓Terminal Program (eg. `gnome-terminal')↓Shell (eg Bash)↓Kernel (eg. linux 2.6.24)更多关于进程如何运行的信息: 当你通过 python 执行程序时候,你可以选择直接从内核执行或者通过 shell. 如果你选择直接执行,你就没

本文主要针对文件操作的事务管理,即写文件和删除文件并且能保证事务的一致性,可与数据库联合使用,比如需要在服务器存文件,相应的记录存放在数据库,那么数据库的记录和服务器的文件数一定是要一一对应的,该部分代码可以保证大多数情况下的文件部分的事务要求(特殊情况下面会说),和数据库保持一致的话需要自行添加数据库部分,比较简单. 基本原理就是,添加文件时先在目录里添加一个临时的文件,如果失败或者数据库插入部分失败直接回滚,即删除该文件,如果成功则提交事务,即将该文件重命名为你需要的正式文件名字(重命名基本

一.输入解析类 1.1 echo解析tab和换行 问题描述:echo默认是原样输出字符串,并不解析\t和\n等反斜杠字符,如下图所示.我们希望echo能解析\t和\n等字符. 处理办法:可以使用-e指示echo识别反斜杠. 1.2 cat将变量写入文件 问题描述:我们经常需要将变量写到配置文件,比如将java相关的几个变量写到~/.profile,追加多行cat是最方便的但cat默认会在插入时解析变量,如下图所示.我们希望就是原样写入而不自动解析变量. 处理办法:可通过给EOF加上单引号来指示c

本文为实现对linux服务器文件的操作.windows服务器不支持. 引入jar包:jsch-0.1.42.jar package com.csvreader.sftp; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.util.List; import java.util.Properties; import java.util.Vector; i

前言 在Linux中,文本处理操作是最常见的,应用非常广泛,如果能熟练掌握,可以大大提高开发效率. awk/sed/grep是文本操作领域的“三剑客”,学会了这3个命令就可以应对绝大多数文本处理场景.这里,不对这三个命令进行过多的冗余描述,只是记录最常见的几种用法,起个抛砖引玉的作用.详细的文档还请参考官方文档. 特长: grep 更适合单纯的查找和匹配文本 sed  更适合编辑匹配到的文本,如文本替换 awk 更适合格式化文本,对文本进行比较复杂格式处理 三个命令有些功能是重合的,可以灵活选用

字符串操作   变量赋值: 说明:变量值可以用单引号.双引号.或者不加任何引号来赋值给变量 变量名="变量值" 变量名='变量值' 变量名=变量值 例如:str="hello world" 注意:=左右不能有空格,否则会报错command not found 区别: 1.单引号的不能使用变量,$会被认为是个普通字符:字符串间可以有空格 2.双引号可以使用变量:字符串间可以有空格 3.不加任何引号的只能赋值连续的字符串,中间不能有空格,否则会报命令错误   字符串连接

SHELL字符串操作 bash Shell提供了多种字符串处理的命令: awk命令 expr命令 字符串长度 ${#..} expr length awk的length(s) 实例: string="hello world" ${#string} expr length "$string" 注意:双引號是必须的.由于字符串有空格 匹配子串 格式:expr match $string $substring 作用:在string的开头匹配substring,返回匹配到的

附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc

http://blog.csdn.net/shuanghujushi/article/details/51298672 在bash shell的使用过程中,经常会遇到一些字符串string的操作,下面是个人的一些使用总结. 一.字符串的定义 用双引号,单引号,或者直接在接在=后,都可以定义一个字符串,如下,定义了三个字符串 str1="this is a string" str2='this is a string' str3=this_is 但双引号和单引号,在bash中还是有区别的

SFTP释义-----引自百度百科 sftp是Secure File Transfer Protocol的缩写,安全文件传送协议.可以为传输文件提供一种安全的网络的加密方法.sftp 与 ftp 有着几乎一样的语法和功能.SFTP 为 SSH的其中一部分,是一种传输档案至 Blogger 伺服器的安全方式.其实在SSH软件包中,已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统,SFTP本身没有单独的守护进程,它必须使用sshd守护进

数组查询 数组查询 MongoDB 中有子文档的概念,一个文档中能方便的嵌入子文档,这与关系性数据库有着明显的不同.在查询时,语法有一些注意点. 样例代码,假如我们的一个集合(tests)中存在标签键,有例如以下模式: tags: [ObjectId] 查询含有某个标签 ID 的文档 db.tests.find({tags: tagId}); 我如今有一组标签 tagIds.即是数组,须要查询含有该数组中任一元素的文档,此时须要用到 $in 操作符 db.tests.find({tags: {$