转自:http://www.cnblogs.com/dxf813/p/7845398.html 基于zipline的分钟回测改写,其中数据源为自定义,使用bcolz的ctable,该数据格式与pandas的DataFrame很好兼容,并且bcolz文件压缩率很好.以下主要记录此次改写回测整个过程中涉及类和方法,没有附带代码. 一,自定义分钟回测数据源BcolzBacktestMinData类 def zk_get_min_data 取获得多只股票某个时间点前的N个指定字段的值 def zk_ge

在上一篇的内容中,主要介绍了spring boot项目的多数据源改造的涉及的基本配置及改动.在spring项目中,常用Mybatis做ORM操作数据库,并且分页操作是避免不了的. 因此,这一篇主要介绍多数据源改造过程中Myabatis Pagehelper分页插件的改造. PageHelper 支持多数据源.多异构数据源,比如mysql ,druid连接池,oracle等,详情可移步官方文档:https://github.com/pagehelper/Mybatis-PageHelper/blo

今天做一个需求,业务项目需要访问另一个项目的数据库. 常用两种方案: 1.另一个项目提供一个RestFul API,供调用方通过feign或其它httpClient等方式来访问. 2.项目中通过配置多数据源访问另一个项目库,当然必须有访问权限. 经过对比分析,决定采用第二种方案,原因:一方面,有访问另一个数据源的权限.另一方面,减少一层中间API服务可用性的依赖. 于是开始动手: 第一步,增加新数据源的配置类 @Configuration@MapperScan(basePackages = {"

最近在项目开发中,需要为一个使用 MySQL 数据库的 SpringBoot 项目,新添加一个 PLSQL 数据库数据源,那么就需要进行 SpringBoot 的多数据源开发.代码很简单,下面是实现的过程. 环境准备 实验环境: JDK 1.8 SpringBoot 2.4.1 Maven 3.6.3 MySQL 5.7 因为我本地只有 MySQL 数据库,为了方便演示,我会在启动一个本地 MySQL,在 MySQL 创建两个数据库,每个库中均有一个表,以此进行演示. 数据准备 本地 MySQL

JEECG 3.7.2版本发布 -  微云快速开发平台 JEECG是一款基于代码生成器的J2EE快速开发平台,开源界"小普元"超越传统商业企业级开发平台.引领新的开发模式(Online Coding模式(自定义表单)->代码生成器模式->手工MERGE智能开发), 可以帮助解决Java项目60%的重复工作,让开发更多关注业务逻辑.既能快速提高开发效率,帮助公司节省人力成本,同时又不失灵活性.她可以用于所有的Web应用程序,如:MIS,CRM,OA,ERP,CMS,网站后台,

动态代理和Threadlocal 一个代理类返回指定的接口,将方法调用指定的调用处理程序的代理类的实例.返回的是一个代理类,由指定的类装载器的定义和实现指定接口指定代理实例调用处理程序最近用到一个工具类,里面用到两个动态代理,以前一个动态代理还是用过,上两个,看来就必要好好研究一把了,这是一个连接数据源的工具类,用到动态代理,主要是为了为了更好的实现service和dao的解耦,同时也避免了一些冗余的代码,这个工具类的作用主要是在service层中一些方法可能用到事务,一些方法可能不用到事务,但

现在Redis越来越火,为了适应技术的发展,开始学习一下Redis,在学习Redis之前先学习一下Nosql. 第一部分:入门概述 1.1 互联网时代背景下大机遇,为什么用nosql 1.1.1 单机Mysql的美好年代(好几年前) 当时的业务很相对简单,就是JSP--->Action---->Service---->DAO----->数据库,数据库也就是一个实例而已,无论是Mysql还是Oracle.把这五层缩减为三层的话便是:应用层------>DAO层------>

NoSQL入门和概述目录导航: NoSQL入门概述 3V+3高 当下的NoSQL经典应用 NoSQL数据模型简介 NoSQL数据库的四大分类 在分布式数据库中CAP原理CAP+BASE NoSQL 入门概述 互联网时代背景下的大机遇,为什么用NoSQL 单机MySQL的美好年代 在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付.在那个时候,更多的都是静态网页,动态交互类型的网站不多. 上述架构下,我们来看看数据存储的瓶颈是什么? 数据量的总大小,一个机器放不下时 数据的索引(

一.为什么要使用Nosql 今天我们可以通过第三方平台(如:google,facebook)可以很容易的访问和抓取数据.用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加.我们如果要对这些用户数据进行挖掘,那么Sql数据库已经不适合这些应用了,NoSql数据库的发展却能很好的处理这些大的数据. 二.什么是NoSql NoSql(NoSql = Not Only SQL),不仅仅是sql 泛指非关系型数据库.随着互联网web2.0网站的兴起,传统的关系数据库在应付web

入门概述: 1.为什么要用到NoSQL a)  单机MySQL的美好年代,在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付.在那个时候,更多的都是静态网页,动态交互类型的网站不多. 上述架构下,我们来看看数据存储的瓶颈是什么? 1.数据量的总大小 一个机器放不下时 2.数据的索引(B+ Tree)一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受  如果满足了上述1 or 3个,进化...... b)  Memcached(缓存)+MySQL+垂直拆分,后来,随着

详见: https://blog.csdn.net/a909301740/article/details/80149552 https://baike.so.com/doc/5569749-5784951.html 1 为什么用 NoSQL? 1.1 单机 MySQL 的美好时代 在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付. 在那个时候,更多的都是静态网页,动态交互类型的网站不多. 上述架构下,我们来看看数据存储的瓶颈是什么? DAL : Data Access Lay

Redis NoSql入门和概述 入门概述 互联网时代背景下大机遇,为什么用nosql 1.单机MySQL的美好年代 在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付,在那个时候,更多的都是静态网页,动态交互类型的网站不多 上述架构下,我们来看看数据存储的瓶颈是什么? 数据量的总大小 一个机器放不下时 数据的索引(B+ Tree)一个机器的内存放不下时 访问量(读写混合)一个实例不能承受 2.Memcached(缓存)+MySQL+垂直拆分 后来,随着访问量的上升,几乎大部分

在Spring Cloud微服务体系中,由于限流熔断组件Hystrix开源版本不在维护,因此国内不少有类似需求的公司已经将眼光转向阿里开源的Sentinel框架.而以下要介绍的正是作者最近两个月的真实项目实践过程,这中间被不少网络Demo示例级别水文误导过,为了以正视听特将实践过程加以总结,希望能够帮到有类似需要的朋友!(PS:此文有点长,看下概念部分后可以点击关注+收藏,以备需要) 一.Sentinel概述 在基于Spring Cloud构建的微服务体系中,服务之间的调用链路会随着系统的演进变

Sentinel概述 在基于Spring Cloud构建的微服务体系中,服务之间的调用链路会随着系统的演进变得越来越长,这无疑会增加了整个系统的不可靠因素.在并发流量比较高的情况下,由于网络调用之间存在一定的超时时间,链路中的某个服务出现宕机都会大大增加整个调用链路的响应时间,而瞬间的流量洪峰则会导致这条链路上所有服务的可用线程资源被打满,从而造成整体服务的不可用,这也就是我们常说的"雪崩效应". 而在微服务系统设计的过程中,为了应对这样的糟糕情况,最常用的手段就是进行"流量

本文适合于刚接触redis的,文章内容比较基础,大佬请绕道. 一.NoSQL入门和概述 Ⅰ-入门概述 1.为什么用NoSQL 1)单机MySQL的美好年代 在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付. 在那个时候,更多的都是静态网页,动态交互类型的网站不多. DAL dal是数据访问层的英文缩写,即为数据访问层(Data Access Layer) 上述架构下,我们来看看数据存储的瓶颈是什么? 数据量的总大小一个机器放不下时 数据的索引(B+ Tree)一个机器的内存放

接上篇 单点登录(SSO)解决方案之 CAS 入门案例 服务端数据源设置: 开发中,我们登录的user信息都是存在数据库中的,下面说一下如何让用户名密码从我们的数据库表中做验证. 案例中我最终把cas的tomcat放在了192.168.44.31这一台虚拟机上,我的mysql数据库也在这个服务器上,里面有一个test数据库,其中有一张tb_user表: 两个用户,密码都是md5加密的123456. 下面我们修改配置数据源的配置: 1,修改cas服务端中web-inf下deployerConfig

##1.想批量生成一堆物资信息卡,效果如下图所示,fastreport可以一下全部生成,并且发现不用单独写东西, ##2.发现FastReport官方给出的Demo.exe很友好,基本可以满足要求,想尝试修改tree树,直接加载自定义的报表,通过ILSpy查看Demo源码,发现tree的数据源是Demos\Reports\reports.xml,修改reports.xml,基本满足要求,不用再动手开发 <?xml version="1.0" encoding="utf-

转载于:http://developer.51cto.com/art/200908/142392.htm C#读取Excel文件可以通过直接读取和OleDb连接,把excel文件作为数据源来读取:     C#读取Excel文件方法二:通过OleDb连接,把excel文件作为数据源来读取(这里是fill进dataset,也可以返回OleDbDataReader来逐行读,数据较快) 注:这种方法容易把混合型的字段作为null值读取进来,解决办法是改造连接字符串 strConn = "Provide

转:http://blog.csdn.net/ae6623/article/details/8851801 本篇将讲解cas-server端的认证方式 1.最简单的认证,用户名和密码一致就登录成功 2.配置oracle的jdbc数据源,通过spring动态查询数据库 3.配置oracle和mysql的数据源,通过spring动态查询数据库,一个满足就立即登录成功 4.配置oracle和mysql的数据源,以及添加一个java类,三者认证,有一个满足就立即登录成功. 5.穿插自定义的MD5加密类对

系统经sharding改造之后,原来单一的数据库会演变成多个数据库,如何确保多数据源同时操作的原子性和一致性是不得不考虑的一个问题.总体上看,目前对于一个分布式系统的事务处理有三种方式:分布式事务.基于Best Efforts 1PC模式的事务以及事务补偿机制.我们下面对这三种处理方式一一进行分析.本文原文链接:http://blog.csdn.net/bluishglc/article/details/7793172 转载请注明出处! 分布式事务 这是最为人们所熟知的多数据源事务处理机制.本文

前言 在工作中遇到这样一个问题:开发过程中将数据库的账号.密码等信息配置在了一个单独的properties配置文件中(使用明文).但运维人员要求在配置文件中的密码一律不得出现明文. 环境 Spring 4.2.6.RELEASE MyBatis 3.4.1 Druid 1.0.14 改造思路 一般spring容器启动时,通过PropertyPlaceholderConfigurer类读取jdbc.properties文件里的数据库配置信息.通过这个原理,我们把加密后的数据库配置信息放到jdbc.