前段时间工作中需要将经过我司平台某些信息核验数据提取后上传到客户的FTP服务器上,以便于他们进行相关的信息比对核验。由于包含这些信息的主机只有4台,采取的策略是将生成的4个文件汇集到一个主机上,然后在这台主机上将文件上传的目标ftp服务器。

1,建立主机A到其他三台主机之间的信任关系,以便于远程拷贝文件

#生成主机A的本地认证秘钥,可以选择生成rsa或者dsa类型的秘钥,这里选取rsa
[root@A ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa >/dev/null 2>&1
#将本机的秘钥拷贝的其他三台主机的authorized_keys文件中,由于只有三台主机,一个一个执行就行,如果主机数量多,可以使用expect脚本批量执行
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.B"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.C"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.D"
#出现让输入B、C、D的root密码时,输入密码后回车,出现如下提示时表示建立本机到目标主机的信任关系成功
Now try logging into the machine, with "ssh '-p 22 root@192.168.1.B'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting.

2,建立上传文件到目标FTP服务器的脚本

  客户的要求是每天凌晨上传前一天的数据,我们生成的数据文件都是以当天日期_主机名_Result.csv类型的。

#以下展示脚本的内容
[root@A getfile] cat upload_csv.sh
#!/bin/bash
#此脚本用于每天定时将生成的数据文件上传到客户FTP服务器 #指定上传文件所在的主目录
SRCDIR=/tmp/test_jr/getfile/files/
#指定所需上传对端FTP服务器的目录
DESDIR=/JRAQ_FILE/ #指定对端FTP服务器的用户名和密码
USER=finftp
PASSWD="ABC@123"
#指定目标FTP服务器的IP
IP=3.3.3.3
#指定目标FTP服务器端口,一般都是默认
PORT= #指定所要上传文件的日期
targetDay=`date -d "-1 days" +"%Y%m%d"` #获取所要上传的文件
cd $SRCDIR
for host in 192.168..B 192.168..C 192.168..D
do
scp root@$host:$SRCDIR/$targetDay_*_Result.csv ./
done
#判定文件是否获取正确
[ $? -eq ] || echo "Copy romote files failed, pls check." >>$SRCDIR/upload_file.log #上传文件到FTP服务器
ftp -ivn <<EOF
open $IP $PORT
user $USER $PASSWD
binary
cd $DESDIR
lcd $SRCDIR
put ${targetDay}_*_Result.csv
quit
EOF #判定文件是否上传成功
[ $? -eq ] && echo "Upload $targetDay's files to romote FTP server successful." >>$SRCDIR/upload_file.log || echo "Upload files failed, pls check." >>$SRCDIR/upload_file.log

3,有可能用到的转码

  由于csv文件是可以用Excel打开的,但是Excel打开utf-8编码的文件时,所有中文名称会显示乱码,此时就需要用到转码,比如将utf-8格式转换成gbk编码的,Excel就可以完美打开了。

[root@A ~]iconv -futf8 -tgbk -c -o file2.csv file1.csv
#file1是待转码的文件
#file2是转码后文件名
#-f --from-code 即从那种格式转化
#-t --to-code 转化为那种格式
#-o --output 输出的文件名
#-c 忽略输出的非法字符 加这个参数是防止文件中有某些非法字符串,如果不加此参数iconv遇到非法字符串后会自动终止转码,即使后面还有正常的未转码的字符。

shell脚本实现ftp上传下载文件的更多相关文章

  1. Shell脚本调用ftp上传文件

    Shell脚本调用ftp上传文件 1.脚本如下 ftp -n<<! open x.x.x.x ###x.x.x.x为ftp地址 user username password ###user ...

  2. FTP上传下载文件(函数简易版)

    FTP上传下载文件(函数简易版) # 服务端 import socket import json import hashlib import struct import os user_dic = { ...

  3. java客户端调用ftp上传下载文件

    1:java客户端上传,下载文件. package com.li.utils; import java.io.File; import java.io.FileInputStream; import ...

  4. shell ftp上传下载文件

    1. ftp自动登录批量下载文件. #####从ftp服务器上的/home/data 到 本地/home/databackup#### #!/bin/bash ftp -n<<! open ...

  5. FTP上传下载文件(面向对象版)

    # 服务端 import socketserver import os import json import hashlib import struct class MySocketServer(so ...

  6. python实现支持目录FTP上传下载文件的方法

    #!/usr/bin/env python # -*- coding: utf-8 -*- import ftplib import os import sys class FTPSync(objec ...

  7. 如何通过SecureCRT FTP上传下载文件

    通过SecureCRT  FTP方式从一台机器下载文件到另一台机器上: [root@TEST144239 ~]# ftp 10.30.1.25 Connected to 10.30.1.25 (10. ...

  8. ftp上传下载文件

    客户端client: import os import json import socket import struct sk = socket.socket() sk.connect(('127.0 ...

  9. shell通过ftp实现上传/下载文件

    直接代码,shell文件名为testFtptool.sh: #!/bin/bash ########################################################## ...

随机推荐

  1. 在Node.js环境下使用Express创建Web项目实例

    序:如果你还不知道Node.js是什么,那么你可以先看看这篇:Node.js 究竟是什么?或者任何关于它的介绍. 一.安装Node.js 1.进入Node.js官网下载并安装 2.启动cmd输入命令查 ...

  2. windows下如何安装pip

    在安装pip前,请确认win系统中已经安装好了python,和easy_install工具 Python完成后 配置环境变量 在环境变量中添加Python目录 (1) 右键点击"计算机&qu ...

  3. Java缓冲流写出数据实例

    public class BufferedWriterDemo throws IOException { public static void main(String[] args) throws I ...

  4. nginx之安装

    1.简介 Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.由俄罗斯的程序设计师Igor Sysoev所开发,供俄 ...

  5. CodeForces - 35D

    题目:https://vjudge.net/contest/326867#problem/A 题意:有一个农场,自己有m斤粮食,有n天,每天动物吃的量不同,那个动物的食量的是由他是从那天开始进这个农场 ...

  6. pandas 之dataFrame 数据显示不完全的解决方案

    对于这种省略部分,可以使用set_option进行设置,就可以看到了. # 显示所有行(参数设置为None代表显示所有行,也可以自行设置数字) pd.set_option('display.max_c ...

  7. JPEG 存储分割后的图象会产生锯齿

    分割后的图象如果保存为 JPG 格式,物体边界会产生锯齿状的很暗的像素. 如下图所示. 这会给后续处理带了噪声, 因此,保存分割后的图象最好用无损压缩格式,如 bmp, png 等.

  8. css样式表的理解

    全拼Cascading Style Sheete 美化html网页 1分为 内联样式表 和html联合显示 内嵌样式表 在单独区域内嵌,必须在head 外部样式表 需建一个css文件,保存并附加 2选 ...

  9. Java 类装载器工作机制

    类装载器就是寻找类的字节码文件并构造出类在JVM内部表示的对象组件.在java中,类装在器把一个类装入JVM中,要经过以下几个步骤: 1.装载:查找和导入Class文件 2链接:执行校验,准备和解析步 ...

  10. Attribute 'num_units' in Tensorflow BasicLSTMCell blocks

    在之前使用Tensorflow来做音乐识别时,LSTM给出了非常让人惊喜的学习能力.当时在进行Tuning的时候,有一个参数叫做num_units,字面看来是LTSM单元的个数,但最近当我试图阅读Te ...