大数据入门第二十一天——scala入门（一）并发编程Actor

注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。

Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃

一、概述

　　1.什么是actor

　　Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。 Spark中使用的分布式多线程框架，是Akka。Akka也实现了类似Scala Actor的模型，其核心概念同样也是Actor

　　2.scala与传统Java多线程编程

　　

　　

　　对于Java，我们都知道它的多线程实现需要对共享资源（变量、对象等）使用synchronized 关键字进行代码块同步、对象锁互斥等等。而且，常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源，对这些资源进行共享来实现多线程编程的话，控制好资源竞争与防止对象状态被意外修改是非常重要的，而对象状态的不变性也是较难以保证的。

　　而在Scala中，我们可以通过复制不可变状态的资源（即对象，Scala中一切都是对象，连函数、方法也是）的一个副本，再基于Actor的消息发送、接收机制进行并行编程。

　　3.actor方法执行顺序

　　　　1.首先调用start()方法启动Actor

　　　　2.调用start()方法后其act()方法会被执行

　　　　3.向Actor发送消息

　　4.发送消息的方法

　　　　

!	发送异步消息，没有返回值。
!?	发送同步消息，等待返回值。
!!	发送异步消息，返回值是 Future[Any]。

二、Actor实战

　　1.快速入门示例

　　　　Scala提供了Actor trait来让我们更方便地进行actor多线程编程，就Actor trait就类似于Java中的Thread和Runnable一样，
　　是基础的多线程基类和接口。我们只要重写Actor trait的act方法，即可实现自己的线程执行体，与Java中重写run方法类似。
　　　　此外，使用start()方法启动actor；使用!符号，向actor发送消息；actor内部使用receive和模式匹配接收消息

package com.jiangbei
// 注意这里是2.10版本的Actor所在的包，后续新版本已经废弃，转为Akka
import scala.actors.Actor

object ActorTest {
  def main(args: Array[String]): Unit = {
    println("线程 启动！")
    MyActor1.start()
    MyActor2.start()
  }
}

object MyActor1 extends Actor {
  override def act(): Unit = {
    for (i <- 11 to 19) {
      println("actor01---" + i)
      Thread.sleep(500)
    }
  }
}

object MyActor2 extends Actor {
  override def act(): Unit = {
    for (i <- 21 to 29) {
      println("actor02---" + i)
      Thread.sleep(500)
    }
  }
}

　　说明：上面分别调用了两个单例对象的start()方法，他们的act()方法会被执行，相同与在java中开启了两个线程，线程的run()方法会被执行

　　注意：这两个Actor是并行执行的，act()方法中的for循环执行完成后actor程序就退出了

　　2.可以不断地接收消息

package com.jiangbei

import scala.actors.Actor

object ActorTest {
  def main(args: Array[String]): Unit = {
    println("线程 启动！")
    val actor1 = new MyActor1
    actor1.start()
    // 以下为异步消息，不等待返回
    actor1 ! "start"
    actor1 ! "stop"
    println("消息发送完毕！")
  }
}

class MyActor1 extends Actor {
  override def act(): Unit = {
    while (true) { //以下就是偏函数
      receive {
        case "start" => {
          println("启动中...")
          Thread.sleep(500)
          println("启动完成！")
        }
        case "stop" => {
          println("停止中...")
          Thread.sleep(500)
          println("停止完成！")
        }
      }
    }
  }
}

　　结果：

线程 启动！
消息发送完毕！
启动中...
启动完成！
停止中...
停止完成！

　　3.react方式会复用线程，比receive更高效

package com.jiangbei

import scala.actors.Actor

object ActorTest {
  def main(args: Array[String]): Unit = {
    println("线程 启动！")
    val actor1 = new MyActor1
    actor1.start()
    // 以下为异步消息，不等待返回
    actor1 ! "start"
    actor1 ! "stop"
    println("消息发送完毕！")
  }
}

class MyActor1 extends Actor {
  override def act(): Unit = {
    loop {
      react {
        case "start" => {
          println("starting ...")
          Thread.sleep(1000)
          println("started")
        }
        case "stop" => {
          println("stopping ...")
          Thread.sleep(1000)
          println("stopped ...")
        }
      }
    }
  }
}

　　4.结合case class发送消息

package cn.itcast.actor
import scala.actors.Actor

class AppleActor extends Actor {

  def act(): Unit = {
    while (true) {
      receive {
        case "start" => println("starting ...")
        case SyncMsg(id, msg) => {
          println(id + ",sync " + msg)
          Thread.sleep(5000)
          sender ! ReplyMsg(3,"finished")
        }
        case AsyncMsg(id, msg) => {
          println(id + ",async " + msg)
          Thread.sleep(5000)
        }
      }
    }
  }
}

object AppleActor {
  def main(args: Array[String]) {
    val a = new AppleActor
    a.start()
    //异步消息
    a ! AsyncMsg(1, "hello actor")
    println("异步消息发送完成")
    //同步消息
    //val content = a.!?(1000, SyncMsg(2, "hello actor"))
    //println(content)
    val reply = a !! SyncMsg(2, "hello actor")
    println(reply.isSet)
    //println("123")
    val c = reply.apply()
    println(reply.isSet)
    println(c)
  }
}
case class SyncMsg(id : Int, msg: String)
case class AsyncMsg(id : Int, msg: String)
case class ReplyMsg(id : Int, msg: String)

　　5.练习：actor版wordCount

package cn.itcast.actor

import java.io.File

import scala.actors.{Actor, Future}
import scala.collection.mutable
import scala.io.Source

/**
  * Created by ZX on 2016/4/4.
  */
class Task extends Actor {

  override def act(): Unit = {
    loop {
      react {
        case SubmitTask(fileName) => {
          val contents = Source.fromFile(new File(fileName)).mkString
          val arr = contents.split("\r\n")
          val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)
          //val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.foldLeft(0)(_ + _._2))
          sender ! ResultTask(result)
        }
        case StopTask => {
          exit()
        }
      }
    }
  }
}

object WorkCount {
  def main(args: Array[String]) {
    val files = Array("c://words.txt", "c://words.log")

    val replaySet = new mutable.HashSet[Future[Any]]
    val resultList = new mutable.ListBuffer[ResultTask]

    for(f <- files) {
      val t = new Task
      val replay = t.start() !! SubmitTask(f)
      replaySet += replay
    }

    while(replaySet.size > 0){
      val toCumpute = replaySet.filter(_.isSet)
      for(r <- toCumpute){
        val result = r.apply()
        resultList += result.asInstanceOf[ResultTask]
        replaySet.remove(r)
      }
      Thread.sleep(100)
    }
    val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))
    println(finalResult)
  }
}

case class SubmitTask(fileName: String)
case object StopTask
case class ResultTask(result: Map[String, Int])