#!/bin/bash File="redeemcode.csv" #File=$ database="d_redeem_info" echo "check redeemcode state begin..." while read line do if [ -z "$line" ];then echo "is null" else #rlt=`mysql -D $database -h127. -uroo…

在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法.为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率. 方法1:while循环中执行效率最高,最常用的方法.  function while_read_LINE_bottm(){     While read LINE     dod         echo $LINE     done  < $FILENAME }           注释:我习惯…

#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=,, echo $dt $outpath $brokerlist ## 查询hive表,输出文件到指定路径 hive -e "select name,age from test" > ${outpath} ## 判断文件大小,如果大于0,则加载文件,写入kafka…

原文:MySQL中游标使用以及读取文本数据 前言 之前一直没有接触数据库的学习,只是本科时候修了一本数据库基本知识的课.当时只对C++感兴趣,天真的认为其它的课都没有用,数据库也是半懂不懂,胡乱就考试过了.现在学习大数据分析,接触了数据挖掘,才感觉到数据库是不可跨越的坎.直到现在才感觉到<操作系统>.<编译原理>.<计算机组成原理>等等课程的重要性.在浩瀚的知识面前,个人是非常渺小的.掌握了一种思想之后,任何事情都不困难,困难的是你是否真的静下心看一看帮助文档.认真的G…

1. 修改mysql配置文件 修改bind-address=0.0.0.0(允许通过远程网络连接) 2. 修改redis配置文件 修改bind-address=0.0.0.0(允许通过远程网络连接),设置密码qwe123 3. 下载访问包pymysql和redis 4. 设置端口转发mysql和redis 5. 导入包pymysql连接mysql import pymysql mysql_connect_dict={ 'host':'127.0.0.1', 'port':3333, 'user'…

题外话:前几天,终于以原价一半的价格,将我那台15版mbp在bbs上卖了出去.之所以用了“终于”这个词儿,是我一直迟迟没有下定决心卖掉它,可眼瞅着再不卖掉,又要掉价,况且我的新电脑,也终于下来了. 话说这个mbp,我还真没用多少,原因是刚买完没多久,公司电脑就下来了,加上当年各种软件都缺少mac版,用起来各种不顺手,后来也就搁置了.不过,最近发现,时隔几年,现在各种软件已经出了mac版,加之原生的linux系统,用起来还是挺爽的. 拿到新mbp,第一件事就是搭环境,话说最新版的macOS10.1…

先干两件大事!先干两件大事!先干两件大事! 1.关闭selinux [root@mycentos ~]# vi /etc/selinux/config SELINUX=disabled 2.关闭防火墙和关闭开机启动 [root@mycentos ~]# systemctl stop firewalld.service[root@mycentos ~]# systemctl disable firewalld.service 开启防火墙: systemctl start firewalld.ser…

Nginx结合Lua脚本,直接绕过Tomcat应用服务器,连接MySQL/Redis直接获取数据,再结合Lua中Template组件,直接写入动态数据,渲染成页面,响应前端,一次请求响应过程结束.最终达到下图的一个效果. OpenResty组件 OpenResty的自带组件库默认已经集成了相当实用的组件,http://openresty.org/cn/components.html,如下所示: LuaCjsonLibrary LuaRestyMemcachedLibrary LuaRestyMy…

一.准备工具 visual stuido(本示例使用visual studio 2010) MySql.Data.dll mysql_installer_community_V5.6.21.1_setup.1415604646.msi(网上搜索去下载或者向我索要,联系方式在http://xunwn.com/1010100) 二.新建DBUtility通用访问MySQL类库 1.在解决方案中新建一个DBUtility类库,作为访问MySQL的通用sql语句存放地点…

mysql+redis+memcached 数据库 数据库设计 a. 单表 b. FK(单表:一张表存储时,如果有重复出现的字段为了防止硬盘的浪费,所以做一个FK:去掉FK变成单表(这样子访问速度快了)) c. M2M(多对多关系) 到底是什么关系? 单选的下拉框/radio FK:多选下拉框/checkbox M2M 举个小例子: 问题:员工信息表员工当前薪资:保留员工的所有的调薪记录. 思路一:两张表 员工表: id name salary 调薪: id price time 员工ID 思路…