CDH6.2.0安装并使用基于HBase的Geomesa

1. 查看CDH 安装的hadoop 和 hbase 对应的版本

具体可以参考以下博客：

https://www.cxyzjd.com/article/spark_Streaming/108762904

直接给出答案

hadoop 版本 3.0.0
hbase 版本 2.1.0

2. 在 github 找到其hbase版本对应的geomesa的版本

github 地址:

https://github.com/locationtech/geomesa/releases

这里我使用 3.1.1 的版本进行安装

进入安装了 hbase 的服务器（假设hbase已安装完毕），执行以下命令：

# 如果没有这个目录，自行创建

cd /opt/software

# 拉取安装包

wget "https://github.com/locationtech/geomesa/releases/download/geomesa_2.11-3.1.1/geomesa-hbase_2.11-3.1.1-bin.tar.gz"

# 解压缩， 如果没有这个目录，自行创建

tar -xvf geomesa-hbase_2.11-3.1.1-bin.tar.gz  -C /opt/module

3. 将解压缩目录同步到各个hbase大数据节点

cd /opt/module

# xsync 脚本 之前的博客里有，自行copy，或者scp -r也可以

xsync geomesa-hbase_2.11-3.1.1

4. 配置相关环境变量，修改/etc/profile，增加以下内容

export GEOMESA_HBASE_HOME=/opt/module/geomesa-hbase_2.11-3.1.1

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase

export PATH="${PATH}:${GEOMESA_HBASE_HOME}/bin"

记得最后source /etc/profile 一下

5. 安装 GeoMesa HBase分布式运行时JAR（重要一步）

cp $GEOMESA_HBASE_HOME/dist/hbase/geomesa-hbase-distributed-runtime-hbase2_2.11-3.1.1.jar  ${HBASE_HOME}/lib

每台hbase节点都要操作

PS: 官网上的方法我没有跑通，最后推测原因是我用了最新版的tutorial，与运行时的jar版本不匹配导致，但最后没有再验证，这里仅记录我跑通的方案

6. 注册协处理器

修改hbase配置文件hbase-site.xml

位置

/opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml

在configuration标签中添加：

<property>

    <name>hbase.coprocessor.user.region.classes</name>

    <value>org.locationtech.geomesa.hbase.coprocessor.GeoMesaCoprocessor</value>

</property>

每台hbase节点都要操作，或者xsync分发该配置文件到每个节点

PS: 官网上的方法我没有跑通，最后推测原因是我用了最新版的tutorial，与运行时的jar版本不匹配导致，但最后没有再验证，这里仅记录我跑通的方案

7. 验证

command line 验证

geomesa-hbase

----

GeoMesa tools version: 3.1.1

Commit ID: d24fbb48458fa609dcea5b2f95d987674d19eefa

Branch: d24fbb48458fa609dcea5b2f95d987674d19eefa

Build date: 2021-04-26T12:21:01+0000

$GEOMESA_HBASE_HOME/bin/geomesa-hbase ingest -c example-csv -s example-csv \

  -C example-csv $GEOMESA_HBASE_HOME/examples/ingest/csv/example.csv

#执行ok

# hbase shell 后 list 可以看到表已创建

 TABLE

example-csv

example-csv_example_2dcsv_attr_name_geom_lastseen_v8

example-csv_example_2dcsv_id_v4

example-csv_example_2dcsv_z2_geom_v5

example-csv_example_2dcsv_z3_geom_lastseen_v6

代码验证
1. 拉取官方的tutorial代码
  
  地址：git clone https://github.com/geomesa/geomesa-tutorials.git
  
  这里有两个小坑
  
  【1】首先要切换到和自己运行时JAR对应的版本上去（没找到3.1.1，切到tag 3.1.0上）
  
  git checkout geomesa-tutorials-3.1.0
  
  【2】pom里指定的hadoop版本和hbase版本不对，需要改成我们对应的版本
  
  【3】为了加快拉取依赖，注释掉不需要的module
2. 构建项目
```
mvn clean install -pl geomesa-tutorials-hbase/geomesa-tutorials-hbase-quickstart -am
```
1. 将jar包丢到hbase对应的服务器上，执行
```
java -cp geomesa-tutorials-hbase-quickstart-3.1.0.jar \

org.geomesa.example.hbase.HBaseQuickStart \

--hbase.zookeepers hadoop1,hadoop2,hadoop3           \

--hbase.catalog geomesa_grady
```
可以查看到正确日志，以下为日志：

[hadoop@hadoop1 test]# java -cp geomesa-tutorials-hbase-quickstart-3.1.0.jar \

     org.geomesa.example.hbase.HBaseQuickStart \

     --hbase.zookeepers hadoop1,hadoop2,hadoop3           \

     --hbase.catalog geomesa_grady

Loading datastore

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Creating schema: GLOBALEVENTID:String,Actor1Name:String,Actor1CountryCode:String,Actor2Name:String,Actor2CountryCode:String,EventCode:String,NumMentions:Integer,NumSources:Integer,NumArticles:Integer,ActionGeo_Type:Integer,ActionGeo_FullName:String,ActionGeo_CountryCode:String,dtg:Date,geom:Point:srid=4326

The version of ZooKeeper being used doesn't support Container nodes. CreateMode.PERSISTENT will be used instead.

Table geomesa_grady not enabled, it is not exists

Table geomesa_grady not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_z3_geom_dtg_v6 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_z3_geom_dtg_v6 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_z2_geom_v5 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_z2_geom_v5 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_z2_geom_v5 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_id_v4 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_id_v4 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_attr_EventCode_geom_dtg_v8 not enabled, it is not exists

Table geomesa_grady_gdelt_2dquickstart_attr_EventCode_geom_dtg_v8 not enabled, it is not exists

Generating test data

Writing test data

Wrote 2356 features

Running query BBOX(geom, -120.0,30.0,-75.0,55.0) AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00

01 719025288=719025288|CANADA|CAN|||190|4|1|4|4|Penticton, British Columbia, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-119.583 49.5)

02 719025945=719025945|DEPARTMENT OF EDUCATION||OBAMA|USA|090|20|2|20|2|North Dakota, United States|US|2018-01-01T00:00:00.000Z|POINT (-99.793 47.5362)

03 719025853=719025853|PRESIDENT||MEXICO|MEX|0874|3|3|3|2|Minnesota, United States|US|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

04 719025856=719025856|PRESIDENT||MEXICO|MEX|131|3|3|3|2|Minnesota, United States|US|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

05 719026960=719026960|UNITED STATES|USA|||071|6|1|6|2|Minnesota, United States|US|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

06 719024925=719024925|||CORPORATION||172|2|1|2|4|Saskatoon, Saskatchewan, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

07 719025289=719025289|CANADA|CAN|CORPORATION||115|6|1|6|4|Saskatoon, Saskatchewan, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

08 719025290=719025290|CANADA|CAN|CORPORATION||172|8|1|8|4|Saskatoon, Saskatchewan, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

09 719025276=719025276|SASKATCHEWAN|CAN|||020|20|1|10|4|Saskatchewan, Manitoba, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-97.7167 52.15)

10 719025946=719025946|PREMIER||||015|6|1|6|4|Saskatchewan, Manitoba, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-97.7167 52.15)

Returned 669 total features

Running query BBOX(geom, -120.0,30.0,-75.0,55.0) AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00

Returning attributes [GLOBALEVENTID, dtg, geom]

01 719025288=719025288|2018-01-01T00:00:00.000Z|POINT (-119.583 49.5)

02 719025945=719025945|2018-01-01T00:00:00.000Z|POINT (-99.793 47.5362)

03 719025853=719025853|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

04 719025856=719025856|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

05 719026960=719026960|2018-01-01T00:00:00.000Z|POINT (-93.9196 45.7326)

06 719024925=719024925|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

07 719025289=719025289|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

08 719025290=719025290|2018-01-01T00:00:00.000Z|POINT (-106.667 52.1333)

09 719025276=719025276|2018-01-01T00:00:00.000Z|POINT (-97.7167 52.15)

10 719025946=719025946|2018-01-01T00:00:00.000Z|POINT (-97.7167 52.15)

Returned 669 total features

Running query EventCode = '051'

01 719025634=719025634|FIJI|FJI|||051|2|1|2|1|Fiji|FJ|2018-01-01T00:00:00.000Z|POINT (178 -18)

02 719027116=719027116|UNITED STATES|USA|KING||051|8|1|8|3|San Diego, California, United States|US|2018-01-01T00:00:00.000Z|POINT (-117.157 32.7153)

03 719027117=719027117|LOS ANGELES|USA|KING||051|26|3|26|2|California, United States|US|2018-01-01T00:00:00.000Z|POINT (-119.746 36.17)

04 719025036=719025036|||SENATE||051|5|1|5|2|Alabama, United States|US|2018-01-01T00:00:00.000Z|POINT (-86.8073 32.799)

05 719026318=719026318|SENATE||UNITED STATES|USA|051|2|1|2|2|Alabama, United States|US|2018-01-01T00:00:00.000Z|POINT (-86.8073 32.799)

06 719026296=719026296|CHAMBER||||051|20|1|20|3|Springfield, South Carolina, United States|US|2018-01-01T00:00:00.000Z|POINT (-81.2793 33.4968)

07 719025744=719025744|CIVIL SERVANT||||051|20|1|10|3|White House, District of Columbia, United States|US|2018-01-01T00:00:00.000Z|POINT (-77.0364 38.8951)

08 719026946=719026946|INDIANA|USA|||051|12|1|12|2|Indiana, United States|US|2018-01-01T00:00:00.000Z|POINT (-86.2604 39.8647)

09 719025279=719025279|EDMONTON|CAN|||051|5|1|5|4|Dufferin County, Ontario, Canada|CA|2018-01-01T00:00:00.000Z|POINT (-80.1667 44.0833)

10 719027252=719027252|AMERICAN CIVIL LIBERTIES UNION|USA|||051|2|1|2|2|Pennsylvania, United States|US|2018-01-01T00:00:00.000Z|POINT (-77.264 40.5773)

Returned 138 total features

Running query EventCode = '051' AND dtg DURING 2017-12-31T00:00:00+00:00/2018-01-02T00:00:00+00:00

Returning attributes [GLOBALEVENTID, dtg, geom]

01 719025248=719025248|2018-01-01T00:00:00.000Z|POINT (135 -25)

02 719026319=719026319|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)

03 719027258=719027258|2018-01-01T00:00:00.000Z|POINT (-97.6475 31.106)

04 719026945=719026945|2018-01-01T00:00:00.000Z|POINT (-119.746 36.17)

05 719027115=719027115|2018-01-01T00:00:00.000Z|POINT (-121.494 38.5816)

06 719025112=719025112|2018-01-01T00:00:00.000Z|POINT (-97.3375 37.6922)

07 719025110=719025110|2018-01-01T00:00:00.000Z|POINT (-81.9296 33.7896)

08 719026297=719026297|2018-01-01T00:00:00.000Z|POINT (-77.0364 38.8951)

09 719026943=719026943|2018-01-01T00:00:00.000Z|POINT (-87.6501 41.85)

10 719026364=719026364|2018-01-01T00:00:00.000Z|POINT (-77.264 40.5773)

Returned 138 total features

Done

验证ok

CDH6.2.0安装并使用基于HBase的Geomesa的更多相关文章

①CM+CDH6.2.0安装(全网最全)
CM+CDH6.2.0环境准备一虚拟机及CentOs7配置 CentOS下载地址 master(16g+80g+2cpu+2核)+2台slave(8g+60g+2cpu+2核) 1.1 打开&qu ...
CDH6.3.0下Apache Atlas2.1.0安装与配置
CDH6.3.0下Apache Atlas2.1.0安装与配置 0. 说明文中的${ATLAS_HOME}, ${HIVE_HOME} 环境变更需要根据实际环境进行替换. 1. 依赖 A. 软件依赖 ...
安装配置和使用HBASE Cluster（基于发行版CDH5.0.2）——系列随笔
本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则 ...
CDH6.1.0离线安装——笔记
一. 概述该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop ...
【K8S】K8S 1.18.2安装dashboard（基于kubernetes-dashboard 2.0.0版本）
[K8S]K8S 1.18.2安装dashboard(基于kubernetes-dashboard 2.0.0版本) 写在前面 K8S集群部署成功了,如何对集群进行可视化管理呢?别着急,接下来,我们一 ...
CDH6.2.0离线安装（详细）
目录 01 准备工作 02 环境配置 03 CDH安装报错 01 准备工作官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要 ...
phoenix部署手册-基于hbase
背景描述: phoenix基于hbase的SQL层,映射hbase的表,也可以映射视图(VIEW) 部署安装比较简单映射表和视图的区别: 映射表: 在Phoenix建表错误不易更改: 删除会连同hb ...
一种基于HBase韵海量图片存储技术
针对海量图片存储,已有若干个基于Hadoop的方案被设计出来.这些方案在系统层小文件合并.全局名字空间以及通用性方面存在不足.本文基于HBase提出了一种海量图片存储技术,成功解决了上述问题.本文将介 ...
CDH6.2离线安装（整理版）
1.概述 CDH,全称Cloudera's Distribution, including Apache Hadoop.是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Ap ...

随机推荐

UiPath程序设计文档
1. [RPA之家]添加数据列UiPath.Core.Activities.AddDataColumn 链接: https://pan.baidu.com/s/1RRMw4voqJru-fJSoC3W ...
fiddle如何使用代理
前言 Fiddle作为抓包工具深受程序员的喜爱,可能在代理方面有些会感觉到迷惑的,可以通过本文的学习来掌握一些基本的知识. Fiddle介绍 Fiddler是位于客户端和服务器端的HTTP代理,也是目 ...
ThreadLocal的简单理解
目录一.背景二.ThreadLocal解决的问题三.如何创建一个ThreadLocal实例四.ThreadLocal如何做到线程变量隔离 1.理解3个类 2.看下set方法是如何实现的 3.看 ...
appium简单使用
App 测试通常会用到的工具 adb :Android 的控制工具,用于获取Android的各种数据和控制 Appium Desktop:内嵌了Appium Server和Inspector的综合工具 ...
C语言-typedef和#define
1.关键字 typedef 为一个数据类型起一个新的别名,typedef 的用法一般为: typedef OldName NewName; 需要强调的是,typedef 是赋予现有类型一个新的名字,而 ...
JUC源码学习笔记1——AQS和ReentrantLock
笔记主要参考<Java并发编程的艺术>并且基于JDK1.8的源码进行的刨析,此篇只分析独占模式,后续在ReentrantReadWriteLock和 CountDownLatch中会重点 ...
如何创建一个带诊断工具的.NET镜像
现阶段的问题现在是云原生和容器化时代,.NET Core对于云原生来说有非常好的兼容和亲和性,dotnet社区以及微软为.NET Core提供了非常方便的镜像容器化方案.所以现在大多数的dotnet ...
git 生成key并添加key（Windows）
简介一般来说,在项目代码拉取或者提交前都需要添加项目权限,除此之外也需要将对应设备的public key添加至对应的git上,因此需要生成public key 步骤 1.安装git插件(Window ...
node.js操作数据库
var sys = require('sys'); var Client = require('mysql').Client; var client = new Client(); client.us ...
Nginx api接口调用配置
1 # Nginx api接口调用配置 2 3 # 什么是跨域同源? 4 # 同源策略:协议(http.https.wss--)+域名+端口=一个完整的网站 5 # 跨域:当前所在的网站post(ge ...