sqler 从开源很快就获取了1k的star,使用起来很方便,而且也很灵活,支持的数据库也比较多. 支持的功能 无需依赖,可独立使用: 支持多种数据可类型,包括:SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb 等: 内置 RESTful 服务器: 内置 RESP Redis 协议,可以使用任何 redis 客户端连接到 SQLer: 内置 Javascript 解释器,可轻松转换结果: 内置验证器: 自动使用预备语句: 使用(HCL)配置语言

sqler sql 转rest api 的源码还是比较简单的,没有比较复杂的设计,大部分都是基于开源 模块实现的. 说明: 当前的版本为2.0,代码使用go mod 进行包管理,如果本地运行注意golang 版本,我使用docker 运行, 参考 https://github.com/rongfengliang/sqler-docker-compose/blob/master/Dockerfile 依赖的开源包 配置解析的(比如bind,exec,validates,include...) 使用

sqler 2.0 提供了一个新的指令aggregate,注意这个和sql 的聚合函数不是一个概念,这个只是为了 方便api数据的拼接 参考格式   databases {    exec = "SHOW DATABASES" ​    transformer = <<JS        // there is a global variable called `$result`,        // `$result` holds the result of the sq

sqler 内嵌了一个js 引擎的实现(基于goja,当我们配置了exec的配置之后 调用宏(redis 接口)或者rest api 的时候会有一个全局变量$result ,保存了执行的结果,我们可以 通过js 操作数据对象,比如进行数据改写,进行一些额外的数据控制. 同时默认的demo 配置的databases 宏就包含了js 调用的demo 环境准备 docker-compose 运行 docker-compose 文件   version: "3" services:  sqle

macro 说明 macro 是sqler 的核心,当前的处理流程为授权处理,数据校验,依赖执行(include),聚合处理,数据转换 处理,sql 执行以及sql 参数绑定 授权处理 这个是通过golang 的js 包处理的,通过将golang 的http 请求暴露为js 的fetch 方法,放在js 引擎执行,通过 http 状态吗确认是否是执行的权限,对于授权的处理,由宏的配置指定,建议通过http hreader处理 参考格式:      authorizer = <<JS      

sqler 的迭代还是很快的,已经2.0 了,2.0 有好多新功能的添加,同时也有好多不兼容的修改 说明: 测试使用docker-compose,同时我已经push 了docker 镜像 dalongrong/sqler 发布说明 添加 aggregate 移除 authorizers hooks 添加 authorizer script 移除 rules 添加 validators as array of scripts 添加 Go text/template 添加 include 添加 bi

早期版本(2.0 之前)使用rules 进行数据校验处理,2.0 之后进行了修改使用 validators,这样更加明确 参考格式   addpost {    // if any rule returns false,    // SQLer will return 422 code, with invalid rules.    //    // $input is a global variable holds all request inputs,    // including the

sqler 对于sql Sanitization 的处理,我们可以使用bind 指令 说明: 这个是2.0 的功能,注意版本的使用 参考格式   addpost {    // $input is a global variable holds all request inputs,    // including the http headers too (prefixed with `http_`)    // all http header keys are normalized to b

我们可以使用内置的authorizer 以及js 脚本,方便的进行api 接口的授权处理 说明: 这个是2.0 的功能,注意版本的使用 参考格式 addpost {    authorizer = <<JS       (function(){            // $input is a global variable holds all request inputs,            // including the http headers too (prefixed wit

sqler 在社区的响应还是很不错的,已经添加了好多数据库的连接,就在早上项目的包管理还没有写明确, 下午就已经有go mod 构建的支持了,同时也调整下docker 镜像的构建,直接使用git clone + go mod 备注: go mod 是新的包管理方案,需要新版本的golang,使用容器就不存在这个问题了,同时对于国内 还有一个墙的问题,同时我push了1.7tag 的镜像,就是使用go mod 构建的. dockerfile   FROM golang:alpine as buil

sqler 支持redis 协议,我们可以用过redis client 连接sqler,他会将宏住转换为redis command 实现上看源码我们发现是基于一个开源的redis 协议的golang 实现,同时sqler 内置了一些方便 的command : list. info. echo.select.ping. 目前关于redis 的使用文档基本没有,但是我们通过阅读源码可以看出,就是解析参数,第一个为 command, 第二个为数据(json 序列化之后的,下边会有使用的说明 环境准备

rest 服务说明 rest 协议主要是将配置文件中的宏暴露为rest 接口,使用了labstack/echo web 框架,同时基于context 模型 进行宏管理对象的共享,同时进行了一些中间件的注册 cors RemoveTrailingSlash gzip Recover rest 启动 中间件注册    e.Pre(middleware.RemoveTrailingSlash())  e.Use(middleware.CORS())  e.Use(middleware.GzipWith

resp 协议主要是方便使用redis 客户端进行连接,resp 主要是依赖 tidwall/redcon golang redis 协议包 resp 服务说明 server_resp.go 文件,干的事情比较简单,就是redis command 的支持,包含了几个内置的 ping select help quit echo, 以及宏相关的list 以及宏调用的command 代码 server_resp.go 注册redis 协议服务   func initRESPServer() error

最新sqler 又发布了一个版本,同时官方文档也更新,对于数据库的连接有了详细的说明 Dockerfile 为了方便以及减少大小,使用多阶段构建,同时都通过环境变量运行 FROM alpine:latest as build ENV VERSION=v1.6 WORKDIR /app RUN apk update && apk add wget unzip RUN wget https://github.com/alash3al/sqler/releases/download/${VERS

atitit.跨语言实现备份mysql数据库 为sql文件特性 api 兼容性java c#.net php js 1. 两个方法:: bat vs mysqldump(推荐)  vs   lang  api1 2. lang  api基本的原理就是1 3. Mode  only struts and data2 3.1. Php code2 4. Java code3 5. mysqldump --help 参数7 6. 参考13 1. 两个方法:: bat vs mysqldump(推荐) 

不多说,直接上干货! Spark SQL支持的API SQL DataFrame(推荐方式,也能执行SQL) Dataset(还在发展) SQL SQL 支持basic SQL syntax/HiveQL 程序中使用SQL会返回DataFrame command-line和JDBC/ODBC中均可以使用

一.创建DataFrame和Dataset 1.1 创建DataFrame Spark中所有功能的入口点是SparkSession,可以使用SparkSession.builder()创建.创建后应用程序就可以从现有RDD,Hive表或Spark数据源创建DataFrame.示例如下: val spark = SparkSession.builder().appName("Spark-SQL").master("local[2]").getOrCreate() va

一.创建DataFrame和Dataset 1.1 创建DataFrame Spark 中所有功能的入口点是 SparkSession,可以使用 SparkSession.builder() 创建.创建后应用程序就可以从现有 RDD,Hive 表或 Spark 数据源创建 DataFrame.示例如下: val spark = SparkSession.builder().appName("Spark-SQL").master("local[2]").getOrCr

Catalog API简介 Spark中的DataSet和Dataframe API支持结构化分析.结构化分析的一个重要的方面是管理元数据.这些元数据可能是一些临时元数据(比如临时表).SQLContext上注册的UDF以及持久化的元数据(比如Hivemeta store或者HCatalog). Spark的早期版本是没有标准的API来访问这些元数据的.用户通常使用查询语句(比如show tables)来查询这些元数据.这些查询通常需要操作原始的字符串,而且不同元数据类型的操作也是不一样的. 这

HiveContext/SQLContext val hiveContext=new HiveContext(new SparkContext(new SparkConf().setAppName("HiveApp").setMaster("spark://master:7077")))  ---定义一个hiveContext变量 val sqlContext=new SQLContext(new SparkContext(new SparkConf().setAp