1. 引言 2. 配置数据库链接 3. 引入数据库驱动 4. 手动初始化数据库 5. 改写SQL 6. 其他 7. 参考 1. 引言 DataGear默认使用Derby数据库作为系统的元数据库,至于待分析的业务库则支持MySQL.SQL Server等. Derby数据库足以支持系统的数据集.图表.看板等对象的管理,且不需要安装数据库服务,但由于目前DataGear不支持单点登录集成,因此项目上为了便于用户认证信息的统一管理,以及DataGear数据库的备份等,将Derby变更为SQL Serv…
在初步完成Kubernetes集群架构的建立后,通过搭建一些监控组件,我们已经能够实现 图形化的监控每个node,pod的状态信息和资源情况 通过scale进行replicateSet的扩展和伸缩 通过kubectl logs 或dashboard去查看每个Pod的运行日志 但是,在分布式架构中节点的规模往往是很庞大的,一个典型的生产环境可能有几十上百个minion节点,在这种情况下就需要建立一套集中的日志监控和管理系统,在本人前期的思考中,也想通过volumn外挂到存储的方式实现weblogi…
引言 第一次在使用Flutter是在Ubuntu机器上,但是因为Android Studio还有Sdk配置问题,flutter doctor总是在这一步报错...最近又在win10上配了一下环境(真香),算是迈出了第一步. 这篇文章主要解决首次进行开发时经常会遇到的一些问题(默认已配好环境). Running Gradle task 'assembleDebug'... 原因 因为Gradle的Maven仓库在国外, 可以使用阿里云的镜像地址. 解决方法 修改项目目录/android/build…
Hive 填坑指南 目录 Hive 填坑指南 数据表备份 数据表备份 方法1:create table 表名_new as select * from 原表 create table 表名_new as select * from 原表 -- 只是复制原数据,其实就是把查询的结果建一个表 -- 备份表的分区字段会变成普通列,且无法复制表字段的comment备注信息.比较重要的是表的储存大小会变得很大,可能是源分区表的十几倍. hive建表create table xxx as select 备份…
不可否认的是 SQL 是一个伟大的发明,它让增删改查的操作更加地便捷化,而且 SQL 的学习成本相对其他编程语言来说较低,被逼到会写 SQL 的运营和产品我都见过不少... 大数据行业跟 SQL 更是有不解之缘,可谓"万物皆可 SQL 化",从Hive/SparkSQL等最原始的最普及的 SQL 查询引擎,到 Impala/Presto/ClickHouse/Kylin/Phoenix 等等 OLAP 引擎,再到流式的 Structured Streaming/Flink SQL/Ka…
公司是做电商的,近期开发了一款小程序,准备线上线下同步销售玩具.这里就涉及到微信支付的功能,网上有很多教程,官方也有文档和Demo,因此微信支付还是比较容易实现的. 由于我们公司是和其他公司合作运营的,这就涉及到收入分配问题.比较传统的分配模式是月结.周结.日结这种,这些都无法实时到账.后来发现微信支付平台里,有个分账功能,正好解决这个问题.今天重点聊的这个功能,目前网络上资源很少,就写了一篇教程,希望能够帮助到其他开发员. 1.哪里开通? 这个功能在微信支付平台-产品中心-支付扩展工具.但是当…
相信大家都很喜欢 hexo skapp 的主题,由于作者采用结巴分词,加上需要依赖各种各样的环境 所以可能大家踩过很多坑,也许每个人踩得坑不一样,这里使用 Docker 容器 centos 来部署, 这样大家的环境基本上保持一致,遇到坑的匹配率也会提,不用docker也行,直接从1开始阅读. 主要是对 node 不怎么熟悉,分享一个填坑的有效手段:多看官方文档,努力啃啃就能解决 0. 可选步骤:启用容器 $ docker run --name blog -itd -p : centos /bin…
本文为霍格沃兹测试学院学员学习笔记. Python 装饰器简介 装饰器(Decorator)是 Python 非常实用的一个语法糖功能.装饰器本质是一种返回值也是函数的函数,可以称之为“函数的函数”.其目的是在不对现有函数进行修改的情况下,实现额外的功能. 在 Python 中,装饰器属于纯粹的“语法糖”,不使用也没关系,但是使用的话能够大大简化代码,使代码更加简洁易读. 最近在霍格沃兹测试学院的<Python 测试开发实战进阶>课程中学习了 App 自动化测试框架的异常处理,存在一定重复代码…
最近闲来无事,就估摸着自己写个“服务注册中心”来玩,当然因为是个人写的,所以一般都是简洁版本. 代码地址在:https://gitee.com/zhxs_code/my-service-register.git 由于在处理与网络数据时,为了性能,想到用AIO来实验,结果发现AIO整个思路与之前的BIO,NIO都不一样.导致出现一些深坑,在此记录一下. (一)  AIO写的server端与client端,只能通信一次. 上代码: server端部分: public class RegisterSe…
前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建.这篇文章记录了整个搭建过程中的具体步骤.遇到的问题和对应的解决方案. 环境准备 基于笔者的软件版本洁癖,所有选用的组件都会使用当前(2020-10-30)最高的版本. 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要…