Scala学习之路 (十)Scala的Actor
一、Scala中的并发编程
1、Java中的并发编程
①Java中的并发编程基本上满足了事件之间相互独立,但是事件能够同时发生的场景的需要。
②Java中的并发编程是基于共享数据和加锁的一种机制,即会有一个共享的数据,然后有若干个线程去访问这个共享的数据(主要是对这个共享的数据进行修改),同时Java利用加锁的机制(即synchronized)来确保同一时间只有一个线程对我们的共享数据进行访问,进而保证共享数据的一致性。
③Java中的并发编程存在资源争夺和死锁等多种问题,因此程序越大问题越麻烦。
2、Scala中的并发编程
①Scala中的并发编程思想与Java中的并发编程思想完全不一样,Scala中的Actor是一种不共享数据,依赖于消息传递的一种并发编程模式, 避免了死锁、资源争夺等情况。在具体实现的过程中,Scala中的Actor会不断的循环自己的邮箱,并通过receive偏函数进行消息的模式匹配并进行相应的处理。
②如果Actor A和 Actor B要相互沟通的话,首先A要给B传递一个消息,B会有一个收件箱,然后B会不断的循环自己的收件箱, 若看见A发过来的消息,B就会解析A的消息并执行,处理完之后就有可能将处理的结果通过邮件的方式发送给A。
二、Scala中的Actor
1、什么是Actor
一个actor是一个容器,它包含 状态, 行为,信箱,子Actor 和 监管策略,所有这些包含在一个ActorReference(Actor引用)里。一个actor需要与外界隔离才能从actor模型中获益,所以actor是以actor引用的形式展现给外界的。
2、ActorSystem的层次结构
如果一个Actor中的业务逻辑非常复杂,为了降低代码的复杂度,可以将其拆分成多个子任务(在一个actor的内部可以创建一个或多个actor,actor的创建者也是该actor的监控者)
一个ActorSystem应该被正确规划,例如哪一个Actor负责监控,监控什么等等:
- 负责分发的actor管理接受任务的actor
拥有重要数据的actor,找出所有可能丢失数据的子actor,并且处理他们的错误。
3、ActorPath
ActorPath是通过字符串描述Actor的层级关系,并唯一标识一个Actor的方法。
ActorPath包含协议,位置 和 Actor层级关系
//本地path
"akka://my-sys/user/service-a/worker1" //远程path akka.tcp://(ActorSystem的名称)@(远程地址的IP):(远程地址的端口)/user/(Actor的名称)
"akka.tcp://my-sys@host.example.com:5678/user/service-b" //akka集群
"cluster://my-cluster/service-c"
远程地址不清楚是多少的话,可以在远程的服务启动的时候查看
4、获取Actor Reference
获取Actor引用的方式有两种:创建 和 查找。
要创建Actor,可以调用ActorSystem.actorOf(..),它创建的actor在guardian actor之下,接着可以调用ActorContext的actorOf(…) 在刚才创建的Actor内生成一个actor树。这些方法会返回新创建的actor的引用,每一个actor都可以通过访问ActorContext来获得自己(self),子Actor(children,child)和父actor(parent)。
要查找Actor Reference,可以调用ActorSystem或ActorContext的actorSelection(“path”),在查找ActorRef时,可以使用相对路径或绝对路径,如果是相对路径,可以用 .. 来表示parent actor。
actorOf / actorSelection / actorFor的区别
actorOf 创建一个新的actor,创建的actor为调用该方法所属的context的直接子actor。
actorSelection 查找现有actor,并不会创建新的actor。
actorFor 查找现有actor,不创建新的actor,已过时。
5、Actor和ActorSystem
Actor:
就是用来做消息传递的
用来接收和发送消息的,一个actor就相当于是一个老师或者是学生。
如果我们想要多个老师,或者学生,就需要创建多个actor实例。
ActorSystem:
用来创建和管理actor,并且还需要监控Actor。ActorSystem是单例的(object)
在同一个进程里面,只需要一个ActorSystem就可以了
三、Actor的示例
1、示例说明
2、代码实现
MyResourceManager.scala(服务端)
package com.rpc import akka.actor._
import com.typesafe.config.{Config, ConfigFactory} import scala.collection.mutable class MyResourceManager(var resourceManagerHostName:String, var resourceManagerPort:Int) extends Actor {
/**
* 定义一个Map,接受MyNodeManager的注册信息,key是主机名,
* value是NodeManagerInfo对象,里面存储主机名、CPU和内存信息
* */
var registerMap = new mutable.HashMap[String,NodeManagerInfo]()
/**
* 定义一个Set,接受MyNodeManager的注册信息,key是主机名,
* value是NodeManagerInfo对象,里面存储主机名、CPU和内存信息
* 实际上和上面的Map里面存档内容一样,容易变历,可以不用写,主要是模仿后面Spark里面的内容
* 方便到时理解Spark源码
* */
var registerSet = new mutable.HashSet[NodeManagerInfo]() override def preStart(): Unit = {
import scala.concurrent.duration._
import context.dispatcher
context.system.scheduler.schedule( millis, millis, self,CheckTimeOut)
} //对MyNodeManager传过来的信息进行匹配
override def receive: Receive = {
//匹配到NodeManager的注册信息进行对应处理
case NodeManagerRegisterMsg(nodeManagerID,cpu,memory) => {
//将注册信息实例化为一个NodeManagerInfo对象
val registerMsg = new NodeManagerInfo(nodeManagerID,cpu,memory)
//将注册信息存储到registerMap和registerSet里面,key是主机名,value是NodeManagerInfo对象
registerMap.put(nodeManagerID,registerMsg)
registerSet += registerMsg
//注册成功之后,反馈个MyNodeManager一个成功的信息
sender() ! new RegisterFeedbackMsg("注册成功!" + resourceManagerHostName+":"+resourceManagerPort)
}
//匹配到心跳信息做相应处理
case HeartBeat(nodeManagerID) => {
//获取当前时间
val time:Long = System.currentTimeMillis()
//根据nodeManagerID获取NodeManagerInfo对象
val info = registerMap(nodeManagerID)
info.lastHeartBeatTime = time
//更新registerMap和registerSet里面nodeManagerID对应的NodeManagerInfo对象信息(最后一次心跳时间)
registerMap(nodeManagerID) = info
registerSet += info
}
//检测超时,对超时的数据从集合中删除
case CheckTimeOut => {
var time = System.currentTimeMillis()
registerSet
.filter( nm => time - nm.lastHeartBeatTime > )
.foreach(deadnm => {
registerSet -= deadnm
registerMap.remove(deadnm.nodeManagerID)
})
println("当前注册成功的节点数:" + registerMap.size)
}
}
} object MyResourceManager {
def main(args: Array[String]): Unit = {
/**
* 传参:
* ResourceManager的主机地址、端口号
* */
val RM_HOSTNAME = args()
val RM_PORT = args().toInt val str:String =
"""
|akka.actor.provider = "akka.remote.RemoteActorRefProvider"
|akka.remote.netty.tcp.hostname =localhost
|akka.remote.netty.tcp.port=
""".stripMargin
val conf: Config = ConfigFactory.parseString(str)
val actorSystem = ActorSystem(Conf.RMAS,conf)
actorSystem.actorOf(Props(new MyResourceManager(RM_HOSTNAME,RM_PORT)),Conf.RMA)
}
}
MyNodeManager.scala(客户端)
package com.rpc import java.util.UUID import akka.actor._
import com.typesafe.config.{Config, ConfigFactory} class MyNodeManager(resourceManagerHostName:String,resourceManagerPort:Int,cpu:Int,memory:Int) extends Actor{
//MyNodeManager的UUID
var nodeManagerID:String = _
var rmref:ActorSelection = _
override def preStart(): Unit = {
//获取MyResourceManager的Actor的引用
rmref = context.actorSelection(s"akka.tcp://${Conf.RMAS}@${resourceManagerHostName}:${resourceManagerPort}/user/${Conf.RMA}")
//生成随机的UUID
nodeManagerID = UUID.randomUUID().toString
/**
* 向MyResourceManager发送注册信息
* */
rmref ! NodeManagerRegisterMsg(nodeManagerID,cpu,memory) }
//进行信息匹配
override def receive: Receive = {
//匹配到注册成功之后MyResourceManager反馈回的信息,进行相应处理
case RegisterFeedbackMsg(feedbackMsg) => {
/**
* initialDelay: FiniteDuration, 多久以后开始执行
* interval: FiniteDuration, 每隔多长时间执行一次
* receiver: ActorRef, 给谁发送这个消息
* message: Any 发送的消息是啥
*/
//定时任务需要导入的工具包
import scala.concurrent.duration._
import context.dispatcher
//定时向自己发送信息
context.system.scheduler.schedule( millis, millis, self, SendMessage)
}
//匹配到SendMessage信息之后做相应处理
case SendMessage => {
//向MyResourceManager发送心跳信息
rmref ! HeartBeat(nodeManagerID)
println(Thread.currentThread().getId + ":" + System.currentTimeMillis())
}
}
} object MyNodeManager {
def main(args: Array[String]): Unit = {
/**
* 传参:
* NodeManager的主机地址、端口号、CPU、内存
* ResourceManager的主机地址、端口号
* */
val NM_HOSTNAME = args()
val NM_PORT = args()
val NM_CPU:Int = args().toInt
val NM_MEMORY:Int = args().toInt val RM_HOSTNAME = args()
val RM_PORT = args().toInt val str:String =
s"""
|akka.actor.provider = "akka.remote.RemoteActorRefProvider"
|akka.remote.netty.tcp.hostname = ${NM_HOSTNAME}
|akka.remote.netty.tcp.port = ${NM_PORT}
""".stripMargin
val conf: Config = ConfigFactory.parseString(str)
val actorSystem = ActorSystem(Conf.NMAS,conf)
actorSystem.actorOf(Props(new MyNodeManager(RM_HOSTNAME,RM_PORT,NM_CPU,NM_MEMORY)),Conf.NMA)
}
}
Conf.scala(配置文件)
package com.rpc //避免硬编码
object Conf {
//ResourceManagerActorSystem
val RMAS = "MyRMActorSystem"
//ResourceManagerActor
val RMA = "MyRMActor"
//NodeManagerActorSystem
val NMAS = "MyNMActorSystem"
//NodeManagerActor
val NMA = "MyNMactor"
}
Message.scala
package com.rpc
//NodeManager注册信息
case class NodeManagerRegisterMsg(val nodeManagerID:String, var cpu:Int, var memory:Int)
//ResourceManager接收到注册信息成功之后的返回信息
case class RegisterFeedbackMsg(val feedbackMsg: String)
//NodeManager的心跳信息
case class HeartBeat(val nodeManagerID:String)
//NodeManager注册信息
class NodeManagerInfo(val nodeManagerID:String, var cpu:Int, var memory:Int){
//定义一个属性,存储上一次的心跳时间
var lastHeartBeatTime:Long = _
} case object SendMessage
case object CheckTimeOut
3、运行
(1)运行MyResourceManager
运行结果
发现报错数组越界,原因是在启动时需要传入2个参数
重新启动,启动成功
2、运行MyNodeManager
报相同的错误,不过此处需要传入6个参数
重新启动,启动成功
3、观察MyResourceManager
发现有一个节点连接成功
4、再启动一个MyNodeManager观察情况
先修改MyNodeManager配置里面的端口
再启动
启动成功之后观察MyResourceManager,此时有2个节点连接成功
5、关闭一个节点,观察情况
集合中连接超时的成功删除
Scala学习之路 (十)Scala的Actor的更多相关文章
- Scala学习之路----基础入门
一.Scala解释器的使用 REPL:Read(取值)-> Evaluation(求值)-> Print(打印)-> Loop(循环) scala解释器也被称为REPL,会快速编译s ...
- Scala学习之路 (四)Scala的数组、映射、元组、集合
一.数组 1.定长数组和变长数组 import scala.collection.mutable.ArrayBuffer object TestScala { def main(args: Array ...
- Scala 学习之路(九)—— 继承和特质
一.继承 1.1 Scala中的继承结构 Scala中继承关系如下图: Any是整个继承关系的根节点: AnyRef包含Scala Classes和Java Classes,等价于Java中的java ...
- Scala 学习之路(八)—— 类和对象
一.初识类和对象 Scala的类与Java的类具有非常多的相似性,示例如下: // 1. 在scala中,类不需要用public声明,所有的类都具有公共的可见性 class Person { // 2 ...
- Scala 学习之路(四)—— 数组Array
一.定长数组 在Scala中,如果你需要一个长度不变的数组,可以使用Array.但需要注意以下两点: 在Scala中使用(index)而不是[index]来访问数组中的元素,因为访问元素,对于Scal ...
- Scala 学习之路(二)—— 基本数据类型和运算符
一.数据类型 1.1 类型支持 Scala 拥有下表所示的数据类型,其中Byte.Short.Int.Long和Char类型统称为整数类型,整数类型加上Float和Double统称为数值类型.Scal ...
- Scala 学习之路(一)—— Scala简介及开发环境配置
一.Scala简介 1.1 概念 Scala全称为Scalable Language,即“可伸缩的语言”,之所以这样命名,是因为它的设计目标是希望伴随着用户的需求一起成长.Scala是一门综合了面向对 ...
- scala学习——(1)scala基础(下)
(七)定长数组 val array_name = new Array[T](length) val array_name = Array("","") 通过() ...
- scala学习——(1)scala基础(上)
scala> val x = 1 x: Int = 1 一.值与变量 值(val):赋值后不可变 val值名称:类型 = XXX 变量(var):赋值后可以改变 var变量名称:类型 = XX ...
随机推荐
- .NET世界的包管理器——Nuget
NugetServer 使用指南 为什么要使用Nuget 在我们的项目, 存在着一些公共Dll, 这些Dll被大量的项目所引用.同时这些公共dll也同时在进行版本升级, 由于缺乏版本管理,这些Dll会 ...
- JS DOM操作(一) 对页面的操作
DOM ——文档对象模型(Document Object Model)是表示和处理一个HTML或XML文档的常用方法. 在网页上,组织页面(或文档)的对象被组织在一个树形结构中,用来表示文档中对象的标 ...
- C# serialPort的DataReceived事件无法触发 ,用的霍尼韦尔的扫码枪并且装了相应的USB转串口驱动。
昨天想试试霍尼韦尔的扫码枪,扫码枪有两种模式,键盘模式和串口模式, 1.键盘模式直接插上就行了,就像一个键盘一样不需要任何驱动,扫出来的数据直接落到PC的输入焦点上.就像一个键盘一样,只能输入字符. ...
- (一)java并发知识图谱
- 【Java基础】7、Java同步机制之Monitor监视器与syncrhoized实现原理
一:Monitor Monitor是一个同步工具,相当于操作系统中的互斥量(mutex),即值为1的信号量. 它内置与每一个Object对象中,相当于一个许可证.拿到许可证即可以进行操作,没有拿到则需 ...
- java设计模式-----24、访问者模式
概念: Visitor模式也叫访问者模式,是行为模式之一,它分离对象的数据和行为,使用Visitor模式,可以不修改已有类的情况下,增加新的操作. 访问者模式的应用示例 比如有一个公园,有一到多个不同 ...
- mysql count(*) vs count(1)
perfer count(*) 官方文档: _InnoDB handles SELECT COUNT(*) and SELECT COUNT(1) operations in the same way ...
- openstack-on-centos7之各组件服务
认证服务keystone(安装和配置) 在配置 OpenStack 身份认证服务前,必须创建一个数据库和管理员令牌 [用数据库连接客户端以root用户连接到数据库服务] # mysql -u root ...
- django-templates过滤器
常用内置过滤器: 过滤器会更改量或便签参数的值: title过滤器: {{ django|title }} 在下列context中 {'django': 'the web framework for ...
- NUnit单元测试示例
单元测试的用法 1.下载NUnit软件 安装后打开界面如图: 2.新建测试项目 添加类库项目并在NuGet管理包中添加NUnit 这里添加NuGet的NUnit包要注意保持版本和之前下载的NUnit软 ...