shell脚本从redis导出数据

2024-10-04

shell导出和导入redis

1.导出redis #!/bin/bash REDIS_HOST=localhost REDIS_PORT=6379 REDIS_DB=1 KEYNAME=redis:hash:* KEYFILE=key.txt echo "KEYS $KEYNAME" | redis-cli -h $REDIS_HOST -p $REDIS_PORT -n $REDIS_DB > $KEYFILE OUTFILE=valuelist.txt TEMPFILE=$OUTFILE.tmp echo

shell脚本获取mysql插入数据自增长id的值

shell脚本获取mysql插入数据自增长id的值在shell脚本中我们可以通过last_insert_id()获取id值,但是,需要注意的是,该函数必须在执行插入操作的sql语句之后,立即调用,否则获取的值就为0,LAST_INSERT_ID 是与table无关的,如果向表a插入数据后,在向表b插入数据,LAST_INSERT_ID会改变.当然还有其他方法: 1. select max(id) from tablename: 2. select @@IDENTITY; 3. SHOW TAB

使用shell从DB2数据库导出数据

使用shell脚本根据输入的用户名,数据库名,密码从DB2数据库导出数据 (1)a.sh脚本如下 #!/usr/bin/bash read -p "please input your DBNAME: " DBNAME read -p "please input your username: " username read -p "please input your password: " password db2 connect to $DBNA

shell脚本清空redis库缓存

前提: 现在做的一个业务系统,用了redis做缓存. 系统做了缓存,通常在系统正常使用的过程中,可以节省很多系统资源,特别是数据库资源. 但是,在开发.测试或者系统遇到问题的时候,也有很麻烦的事情. 通常的表现是,明明数据已经改了,在plsql develop 里面是正常的,为什么系统里面是没变化,接口也没有变. 然后,顺着线路找去,在日志里面看到,原来是走了缓存,数据没有更新. 或者是,重跑数据的时候,怎么系统里面都没有值,找了一圈,发现走了缓存. 还有个终极的BUG,在客户现象,因为要共有一

shell脚本循环处理文件数据

有一个日志文件为: # cat data.log 需要提取出里面的数据,写shell脚本实现这个功能: #!/bin/bash OLD=$IFS IFS=$'\n' for entry in $(cat /home/users/data.log) do echo "Values in $entry is" IFS=' ' for value in $entry: do echo " $value" done done IFS=OLD 其中IFS变一个环境变量,作为l

使用python脚本从数据库导出数据到excel

python从数据库导出数据到excel 最近需要从数据库里导出一些数据到excel,刚开始我是使用下面的命令 select * from xxx where xxx into outfile 'xxx.xls' 结果报错 ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement 除了这个错误,可能还会报access

使用shell脚本定时采集日志数据到hdfs分布式文件系统

1.首先对linux操作系统的crontab命令进行熟悉和了解: .crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务. .Linux下的任务调度分为两类,系统任务调度和用户任务调度. a.系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘.日志清理等.在/etc

shell脚本部署redis以及redis主从复制和redis-cluster集群

# 关于脚本: # 使用root用户执行此脚本,提前关闭selinux: # 执行脚本之前,hostsIP内的IP修改成自己的机器IP: # hostsIp内的IP数量如果有增加或者减少,for循环的变量也需要增减: # sshCopy内的root密码改成自己的root密码: # installRedis内配置了redis的密码,自行修改 # 关于环境: # 此脚本部署的是redis-6.0.5版本 # 脚本中的命令需要用到net-tools软件,如果没有网络,将ifconfig注释,打开ip

shell脚本--CGI获取请求数据(GET / POST)

Case 1: 获取地址栏传递的参数(即通过GET方式) CGI的环境变量中有个QUERY_STRING,可以获取地址栏传递的参数,该参数可以是手动加上的,也可以是通过表单的get方式提交的,比如下面的例子: #!/bin/bash #index.cgi echo "Content-Type:text/html;charset=utf-8" echo cat << AAA <html> <head> <title>hello world&

Shell脚本_备份/etc数据

vim backup_etc.sh chmod 755 backup_etc.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 #!/bin/bash # 备份/etc文件 # Author:James 2016-10-14 # 同步亚洲时间 ntpdate asia.pool.ntp.org &>/dev/null # 以年月日格

linux shell脚本连接oracle查询数据插入文件和日志文件中

#!/bin/sh sqlplus "用户名/密码@数据库"<<EOF 或者只有一个库的 :sqlplus "用户名/密码"<<EOF sqlplus "用户名/密码"<<EOF 显示连接详情,查询语句 ,查询结果: sqlplus -S "用户名/密码" <<EOF 只显示sql语句查询结果: sqlplus "用户名/密码"<<EO

Hadoop(四）shell脚本定时采集日志数据到hdfs

#!/bin/bash #set java envexport JAVA_HOME=/wocloud/java/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH #set hadoop envexport HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4ex

python脚本往redis加数据

#-*-coding:utf-8-*-from rediscluster import StrictRedisClusterimport pymysqlimport timeimport cProfileimport timeit def get_redis_connection(): rc = StrictRedisCluster(startup_nodes=[{'host':'10.101.32.97', 'port':1633}, {'host': '10.101.32.95', 'por

redis 指定db库导入导出数据

最近根据之前的项目重新改编一个新的项目,发现上一个项目的搭建者,把一些区域权限和划分放在redis上存储,因此不得不照搬过来,所以搜索一下相关如何做的发现一个比较简单的做法,记录一下操作过程,方便以后作为参考我的电脑是Mac系统不需要那么复杂安装操作 # 安装redis-dump sudo ge

shell脚本小案例

1.获取远程ftp数据到本地目录 #!/bin/bash ftp -n<<! open 135.0.24.19 user exchange exchange binary cd /idep/data/0/90/201704/11/0851/9011/90110010 #远程目录 lcd /home/oracle/DataChangeTest/target/ftpdata #本地目录 prompt mget BOSSNM_0_3020_5001* close bye ! 2..shell脚本

1.初识Shell脚本语言

PS:在做Linux下STM8固件升级项目中,需要让CPU通过I2C总线给STM8传输数据,刚开始一个一个的敲,很浪费时间,用shell脚本大大提高了数据传输效率,它是用户与内核进行交互操作的一种接口. 1.vi编辑器的使用 vi编辑器有两种模式,命令模式和输入模式.输入命令:vim test.sh,回车,即可进入命令模式,此时不能进行编辑,需要输入i进入输入模式.输入完之后按wq保存退出,按q不保存退出.(vim是vi的增强版) 2.给文件权限方法1:chmod +x ./test.sh

用linux的shell脚本把目录下面的所有文件的文件内容中的小写字母改成大写字母

最近工作中,产品组的同事给出的数据里面都是小写字母 ,但是引擎组的同事要求他们拿到的从数据里面解析出的结构体里面存储的要都是大写结构,这让我们数据预处理组很尴尬啊,,所以在写了个这么样的脚本,在解析数据之前,先使用shell脚本处理一遍数据...

[原创]MYSQL周期备份shell脚本

这个脚本是实现阿里云mysql数据库全量周期备份的shell脚本,实现备份数据按一周星期几分开存放.一下是脚本内容: #!/bin/bash echo `date`echo "backup begin!!!" DATE1=`date +%Y%m%d%H%M%S`DATE2=`date +%w`BACKUPDIR="/data/backup/backupdir/"BACKUPPATH="/data/backup"BACKUPNAME="/

用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql

1:创建shell脚本 touch sqoop_options.sh chmod 777 sqoop_options.sh 编辑文件特地将执行map的个数设置为变量测试可以java代码传参数同时也验证sqoop的 options 属性支持这种写法 #!/bin/bash /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/sqoop --options-file /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/sqoop-impor

Shell脚本统计店中店导出数据

有一个数据文件 yue.csv 是这样的 #head yue.csv 日期,商家名称,要求在线数,当天在线数,要求在线时长,在线时长达标数, ……"2017-12-31","唐河馆","10","3","09:00-17:00","1",……"2017-12-15","唐河馆","10","3"

利用shell脚本将Oracle服务器中数据定时增量刷新到ftp服务器中

现有需求:将oracle数据库中的数据准实时同步至某ftp服务器中,以便前端应用能定时从ftp服务器目录中取增量数据方法:将加工脚本写为存储过程,然后利用shell脚本执行该存储过程并将增量数据导出为txt文件并传送到ftp服务器,利用crontab定时每5分钟执行一次shell脚本,从而实现oracle库中数据持续增量刷新到ftp服务器其中crontab以及ftp和存储过程的编写并没有难度,shell脚本的功能稍稍复杂,现在将脚本记录下以备后查

shell脚本从redis导出数据

热门专题