在 Akka Persistence 中,数据都缓存在服务内存(状态),后端存储的都是一些持久化的事件日志,没法使用类似 SQL 一样的 DSL 来进行分页查询。利用 Akka Streams 和 Actor 我们可以通过编码的方式来实现分页查询的效果,而且这个分页查询还是分步式并行的……
  
  EventSourcedBehavior
  
  Akka Persistence的EventSourcedBehavior里实现了CQRS模型,通过commandHandler与eventHandler解耦了命令处理与事件处理。commandHandler处理传入的命令并返回一个事件,并可选择将这个事件持久化;若事件需要持久化,则事件将被传给eventHandler处理,eventHandler处理完事件后将返回一个“新的”状态(也可以不更新,直接返回原状态)。
  
  def apply[Command, Event, State](
  
  persistenceId: PersistenceId,
  
  emptyState: State,
  
  commandHandler: (State, Command) => Effect[Event, State],
  
  eventHandler: (State, Event) => State): EventSourcedBehavior[Command, Event, State]
  
  建模
  
  以我们习惯的数据库表建模来说,我们会有以下一张表:
  
  create table t_config
  
  (
  
  data_id varchar(64),
  
  namespace varchar(64) not null,
  
  config_type varchar(32) not null,
  
  content text not null,
  
  constraint t_config_pk primary key (namespace, data_id)
  
  );
  
  create index t_config_idx_data_id on t_config (data_id);
  
  ConfigManager actor 可以看作 t_config 表,它的 entityId 就是 namespace, State 里保存了所有记录的主键值(ConfigManagerState),这就相当于 t_config 表的 t_config_idx_data_id 索引。
  
  而 ConfigEntity actor 可看作 t_config 表里存储的记录,每个 actor 实例就是一行记录。它的 entityId 由 namespace + data_id 组成,这就相当于 t_config 表的 t_config_pk 复合主键。 这里我们定义两个 EventSourcedBehavior:
  
  ConfigManager:拥有所有配置ID列表,并作为 State 保存在 EventSourcedBehavior
  
  ConfigEntity: 拥有每个配置数据,并作为 State 保存在 EventSourcedBehavior
  
  实现
  
  这里先贴出 ConfigManager 和 ConfigEntity 的部分代码,接下来再详解怎样实现分页查询。
  
  ConfigManager
  
  object ConfigManager {
  
  sealed trait Command extends CborSerializable
  
  sealed trait Event extends CborSerializable
  
  sealed trait Response extends CborSerializable
  
  final case class Query(dataId: Option[String], configType: Option[String], page: Int, size: Int) extends Command
  
  final case class ReplyCommand(in: AnyRef, replyTo: ActorRef[Response]) extends Command
  
  private final case class InternalResponse(replyTo: ActorRef[Response], response: Response) extends Command
  
  case class ConfigResponse(status: Int, message: String = "", data: Option[AnyRef] = None) extends Response
  
  final case class ConfigManagerState(dataIds: Vector[String] = Vector()) extends CborSerializable
  
  val TypeKey: EntityTypeKey[Command] = EntityTypeKey("ConfigManager")
  
  }
  
  import ConfigManager._
  
  class ConfigManager private (namespace: String, context: ActorContext[Command]) {
  
  private implicit val system =www.shentuylzc.cn context.system
  
  private implicit val timeout: Timeout = 5.seconds
  
  import context.executionContext
  
  private val configEntity = ConfigEntity.init(context.system)
  
  def eventSourcedBehavior(www.tengyao3zc.cn): EventSourcedBehavior[Command, Event, ConfigManagerState] =
  
  EventSourcedBehavior(
  
  PersistenceId.of(TypeKey.name, namespace),
  
  ConfigManagerState(), {
  
  case (state, ReplyCommand(in, replyTo)) =>
  
  replyCommandHandler(state, replyTo, in)
  
  case (_, InternalResponse(replyTo,www.xinyueylzc.cn response)) =>
  
  Effect.reply(replyTo)(response)
  
  eventHandler)
  
  private def processPageQuery(
  
  state: ConfigManagerState,
  
  replyTo: ActorRef[Response],
  
  in: Query): Effect[Event, ConfigManagerState] = {
  
  val offset = if (in.page > 0) (in.page - 1) * in.size else 0
  
  val responseF = if (offset < state.dataIds.size) {
  
  Source(state.dataIds)
  
  .filter(dataId => in.dataId.forall(www.huizhonggjpt.cn=> v.contains(dataId)))
  
  .mapAsync(20) { dataId =>
  
  configEntity.ask[Option[ConfigState]](replyTo =>
  
  ShardingEnvelope(dataId, ConfigEntity.Query(in.configType, replyTo)))
  
  .collect { case Some(value) => value }
  
  .drop(offset)
  
  .take(in.size)
  
  .runWith(Sink.seq)
  
  .map(items => ConfigResponse(IntStatus.OK, data www.lafei6d.cn = Some(items)))
  
  } else {
  
  Future.successful(ConfigResponse(IntStatus.NOT_FOUND))
  
  context.pipeToSelf(responseF) {
  
  case Success(value) => InternalResponse(replyTo, value)
  
  case Failure(e) => InternalResponse(replyTo, ConfigResponse(IntStatus.INTERNAL_ERROR, e.getLocalizedMessage))
  
  ConfigEntity
  
  object ConfigEntity {
  
  case class ConfigState(namespace: String, dataId: String, configType: String, content: String)
  
  sealed trait Command extends CborSerializable
  
  sealed trait Event extends CborSerializable
  
  final case class Query(configType: Option[String], replyTo: ActorRef[Option[ConfigState]]) extends Command
  
  final case class ConfigEntityState(config: Option[ConfigState] = None) extends CborSerializable
  
  val TypeKey: EntityTypeKey[Command] = EntityTypeKey("ConfigEntity"
  
  import ConfigEntity._
  
  class ConfigEntity private (namespace: String, dataId: String, context: ActorContext[Command]) {
  
  def eventSourcedBehavior(): EventSourcedBehavior[Command, Event, ConfigEntityState] =
  
  EventSourcedBehavior(PersistenceId.of(TypeKey.name, dataId), ConfigEntityState(), commandHandler, eventHandler)
  
  def commandHandler(state: ConfigEntityState, command: Command): Effect[Event, ConfigEntityState] = command match {
  
  case Query(configType, replyTo) www.jiuyueguojizc.cn=>
  
  state.config match {
  
  case None =>
  
  Effect.reply(replyTo)(None)
  
  case Some(config) =>
  
  val resp = if (configType.forall(v => config.configType.contains(v))) Some(config) else None
  
  Effect.reply(replyTo)(resp)
  
  ConfigManager#processPageQuery 函数实现了大部分的分页查询逻辑(有部分逻辑需要由 ConfigEntity 处理)。
  
  val offset = if (in.page > 0) (in.page - 1) * in.size else 0
  
  val responseF = if (offset <www.baihuaylezc.cn state.dataIds.size) {
  
  // process paging
  
  } else {
  
  Future.successful(ConfigResponse(IntStatus.OK, data = Some(Nil)))
 
  这里首先获取实际的分页数据偏移量 offset ,再于 ConfigManager 状态里保存的 dataIds 的大小进行判断,若 offset < state.dataIds.size 则我们进行分页逻辑,否则直接返回一个空列表给前端。
  
  Source(state.dataIds)
  
  .filter(dataId => in.dataId.forall(v => v.contains(dataId)))
  
  .mapAsync(20) { dataId =>
  
  configEntity.ask[Option[ConfigState]](replyTo =>
  
  ShardingEnvelope(s"$namespace@$dataId", ConfigEntity.Query(in.configType, replyTo)))
  
  }
  
  .collect { case Some(value) www.jujinyule.com=> value }
  
  .drop(offset)
  
  .take(in.size)
  
  .runWith(Sink.seq)
  
  .map(items => ConfigResponse(IntStatus.OK, www.letianhuanchao.cn data = Some(items)))
  
  这个 Akka Streams 流即是分页处理的主要实现,若是SQL的话,它类似:
  
  select * from t_config where data_id like '%"in.dataId"%' offset "offset" limit "in.size"
  
  .mapAsync 在流执行流程中起了20个并发的异步操作,将委托每个匹配的 ConfigEntity (由s"$namespace@$dataId"生成entityId)执行 config_type 字段的查询。这样,完整的SQL语句类似:
  
  select * from t_config where data_id like '%"in.dataId"%' and change_type = "in.changeType" offset "offset" limit "in.size"
  
  ConfigEntity 对 change_type 部分的查询逻辑实现如下:
  
  case Query(configType, replyTo) =>
  
  state.config match {
  
  case None =>
  
  Effect.reply(replyTo)(None)
  
  case Some(config) www.huizhongdl.cn=>
  
  val resp = if (configType.forall(v => config.configType.contains(v))) Some(config) else None
  
  Effect.reply(replyTo)(resp)
  
  }
  
  若in.configType为空,既不需要判断 change_type 这个字段,直接返回 Some(config) 即可,而这时的SQL语句类似:
  
  select * from t_config where data_id like '%"in.dataId"%' and true offset "offset" limit "in.size"
  
  Tip这里有个小技巧,对于 Option[T] 字段的判断,直接使用了 .forall 方法,它等价于:
  
  option match {
  
  case Some(x) => p(x)
  
  case None => true

怎样在 Akka Persistence 中实现分页查询的更多相关文章

  1. mongo中的分页查询

    /** * @param $uid * @param $app_id * @param $start_time * @param $end_time * @param $start_page * @p ...

  2. ssh框架中的分页查询

    ssh中的分页查询是比较常用的,接下来我用代码来介绍如何实现一个分页查询 首先建立一个Model用来储存查询分页的信息 package com.haiziwang.qrlogin.utils; imp ...

  3. java使用插件pagehelper在mybatis中实现分页查询

    摘要: com.github.pagehelper.PageHelper是一款好用的开源免费的Mybatis第三方物理分页插件 PageHelper是国内牛人的一个开源项目,有兴趣的可以去看源码,都有 ...

  4. JDBC在Java Web中的应用——分页查询

    分页查询 通过JDBC实现分页查询的方法有很多种,而且不同的数据库机制也提供了不同的分页方式,在这里介绍两种非常典型的分页方法. 通过ResultSet的光标实现分页 通过ResultSet的光标实现 ...

  5. Akka系列(八):Akka persistence设计理念之CQRS

    前言........ 这一篇文章主要是讲解Akka persistence的核心设计理念,也是CQRS(Command Query Responsibility Segregation)架构设计的典型 ...

  6. mysql分页查询详解

    我们做的后端项目一般都会有admin管理端,当管理端将要展示数据的时候,就需要用到分页.所以分页的考查在面试中也相当多.在mysql中进行分页查询时,一般会使用limit查询,而且通常查询中都会使用o ...

  7. 用MySQL实现分页查询

    MySQL中实现分页查询语句: //定义分页需要的变量 int pageNow=2;//当前页 int pageSize=3;//指定每页显示3条记录 int pageCount=1;//该值是计算出 ...

  8. [.NET] SQL数据分页查询

    [.NET] SQL数据分页查询 程序下载 范例下载:点此下载 原始码下载:点此下载 NuGet封装:点此下载 数据查询 开发系统时,使用C#执行SQL查询指令,就可以从SQL数据库里查询所需数据. ...

  9. Oracle分页查询语句的写法(转)

    Oracle分页查询语句的写法(转)   分页查询是我们在使用数据库系统时经常要使用到的,下文对Oracle数据库系统中的分页查询语句作了详细的介绍,供您参考. Oracle分页查询语句使我们最常用的 ...

随机推荐

  1. 《新标准C++程序设计》4.1(C++学习笔记12)

    运算符重载的概念和原理 一.运算符重载的需求 C++预定义的“+.-. * ./.%. ^ .&.~.!.|. = .<< >>.!= ”等运算符,只能用于基本数据类型 ...

  2. C#获取图片的某个区域

            /// <summary>        /// http://www.cnblogs.com/KissKnife/archive/2007/10/13/923352.ht ...

  3. 【Python】【Django】登录用户-链接Mysql

  4. 使用FragmentStatePagerAdapter时发现的内存泄露问题

    这篇文章想说的并非是由于使用 FragmentStatePagerAdapter 而导致的内存泄漏,内存泄漏的真正原因和 FragmentStaePagerAdapter 并无直接关联,但是使用 Fr ...

  5. 51nod 1435:位数阶乘

    1435 位数阶乘 题目来源: CodeForces 基准时间限制:1 秒 空间限制:131072 KB 分值: 40 难度:4级算法题  收藏  关注 X是一个n位数的正整数 (x=a0a1...a ...

  6. 阿里巴巴技术总监全解中台架构19页ppt

    //初创时,快速上线 单体架构至少撑了3年 //分布式,中间件基座 //平台化,内部是简单服务,对于业务侧就是快速上线 //平台化之后由于多平台协作问题,再次出现问题: 效率仍然不能匹配业务发展之需要 ...

  7. Tomcat Access Log 的格式

    名称 含义 %a Remote IP address %A Local IP address %b Bytes sent, excluding HTTP headers, or ‘-‘ if zero ...

  8. mysql第三篇:表操作

    第三篇:表操作 一.什么是表 表相当于文件,表中的一条记录就相当于文件的一行内容,不同的是,表中的一条记录有对应的标题,称为表的字段 二.创建表 语法 CREATE TABLE 表名( 字段名1 类型 ...

  9. PAT Advanced 1030 Travel Plan (30) [Dijkstra算法 + DFS,最短路径,边权]

    题目 A traveler's map gives the distances between cities along the highways, together with the cost of ...

  10. JavaBean和json数据之间的转换(二)含有date类型的JavaBean

    1.前言 上次讲了简单的JavaBean和json格式之间的转换,代码很简单,但是实际过程中,往往用到的JavaBean都是比较复杂的,其他的字段还好,如果JavaBean中包含了date类型的字段, ...