geotrellis使用（五）使用scala操作Accumulo

要想搞明白Geotrellis的数据处理情况，首先要弄清楚数据的存放，Geotrellis将数据存放在Accumulo中。

Accumulo是一个分布式的Key Value型NOSQL数据库，官网为（https://accumulo.apache.org/），在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo。

Accumulo以表来分区存放数据，结构为Key Value，其中Key又包含RowID和Column，Column又包含Family、Qualifier、Visibility。

闲话莫谈，首先介绍一下如何在accumulo shell中操作Accumulo。

1、进入accumulo shell控制台

accumulo shell -u [username]

username就是具有操作accumulo的用户

2、查看所有表

tables

    3、创建表

createtable mytable

4、删除表

deletetable mytable

5、扫描表，查看数据

scan

6、插入数据 插入数据的时候要在当前表的工作域中

insert row1 colf colq value1

只要rowID family qualifier有一个不重复即可，如果重复会覆盖掉原来的value。

7、切换表

table mytable

　

    下面介绍一下如何使用Scala语言操作Accumulo，也比较简单，先贴出全部代码

 object Main {

   val token = new PasswordToken("pass")
   val user = "root"
   val instanceName = "hdp-accumulo-instance"
   val zooServers = "zooserver"
   val table = "table"

   def main(args: Array[String]) {
 //    write
     read
   }

   def read = {
     val conn = getConn
     val auths = Authorizations.EMPTY// new Authorizations("Valid")
     val scanner = conn.createScanner(table, auths)

     val range = new org.apache.accumulo.core.data.Range("row1", "row2") // start row --- end row  即row ID
     scanner.setRange(range)
 //    scanner.fetchColumnFamily()
     //    println(scanner.iterator().next().getKey)
     val iter = scanner.iterator()
     while (iter.hasNext){
       var item = iter.next()
       //Accumulo中数据存放在table中，分为Key Value，其中Key又包含RowID和Column，Column包含Family Qualifier Visibility
       println(s"key  row:${item.getKey.getRow} fam:${item.getKey.getColumnFamily} qua:${item.getKey.getColumnQualifier} value:${item.getValue}")
     }
 //    for(entry <- scanner) {
 //      println(entry.getKey + " is " + entry.getValue)
 //    }
   }

   def write {
     val mutation = createMutation
     val writer = getWriter
     writer.addMutation(mutation)
 //    writer.flush()
     writer.close
   }

   def createMutation = {
     val rowID = new Text("row2")
     val colFam = new Text("myColFam")
     val colQual = new Text("myColQual")
     //  val colVis = new ColumnVisibility("public")  //不需要加入可见性
     var timstamp = System.currentTimeMillis
     val value = new Value("myValue".getBytes)
     val mutation = new Mutation(rowID)
     mutation.put(colFam, colQual, timstamp, value)
     mutation
   }

   def getConn = {
     val inst = new ZooKeeperInstance(instanceName, zooServers)
     val conn = inst.getConnector("root", token)
     conn
   }

   def getWriter() = {
     val conn = getConn
     val config = new BatchWriterConfig
     config.setMaxMemory(10000000L)
     val writer: BatchWriter = conn.createBatchWriter(table, config)
     writer
   }
 }

以上代码主要实现了Accumulo的读写操作，其中zooServers是安装的zookeeper的主节点地址。instanceName是accumulo的实例名称。read的Range实现了范围内查找，但是此处的范围需要输入的是RowID的起始值，由于Accumulo是自动排序的，所以此处输入范围会将该范围内的数据全部返回。其他代码均通俗易懂（自认为，哈哈），所以不在这里赘述。

本文简单介绍了Accumulo的操作，仅是为了方便理解Geotrellis的工作原理以及阅读Geotrellis的源代码做准备，若是有人恰好需要将数据存放到集群中，不妨可以试一下存入到Accumulo中。

参考链接

一、geotrellis使用初探
二、geotrellis使用（二）geotrellis-chatta-demo以及geotrellis框架数据读取方式初探
三、geotrellis使用（三）geotrellis数据处理过程分析四、geotrellis使用（四）geotrellis数据处理部分细节

五、geotrellis使用（五）使用scala操作Accumulo