转-Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

http://blog.csdn.net/balabalayi/article/details/67631726

原创 2017年03月28日 09:10:05

• 标签：
• hadoop /
• spring boot /
• hive /
• phoenix /
• druid

• 1959

一.POM依赖

作者的hadoop集群环境为：

HDFS,YARN,MapReduce2 : 2.7.3
Hive : 1.2.1000
HBase : 1.1.2

注：phoenix版本依赖性较强，请注意不同发行版之间的差异（直接从集群服务器上获取jar包最为可靠）

1. <properties>
2. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
3. <spring-data-hadoop.version>2.4.0.RELEASE</spring-data-hadoop.version>
4. <hive.version>1.2.1</hive.version>
5. <phoenix-client.version>4.7</phoenix-client.version>
6. <druid.version>1.0.27</druid.version>
7. </properties>
8. <dependencies>
9. <dependency>
10. <groupId>org.springframework.boot</groupId>
11. <artifactId>spring-boot-starter-jdbc</artifactId>
12. </dependency>
13. <dependency>
14. <groupId>org.springframework.data</groupId>
15. <artifactId>spring-data-hadoop</artifactId>
16. <version>${spring-data-hadoop.version}</version>
17. </dependency>
18. <dependency>
19. <groupId>org.apache.hive</groupId>
20. <artifactId>hive-jdbc</artifactId>
21. <version>${hive.version}</version>
22. </dependency>
23. <dependency>
24. <groupId>org.apache.phoenix</groupId>
25. <artifactId>phoenix-client</artifactId>
26. <version>${phoenix-client.version}</version>
27. </dependency>
28. <dependency>
29. <groupId>com.alibaba</groupId>
30. <artifactId>druid</artifactId>
31. <version>${druid.version}</version>
32. </dependency>
33. </dependencies>

二.spring boot 配置文件

因为spring boot 是默认且推荐采用yaml和properties配置文件的方式。因此，作者在这里采用yaml方式为例：

application.yml:

1. # hive 数据源自定义配置
2. hive:
3. url: jdbc:hive2://192.168.61.43:10000/default
4. type: com.alibaba.druid.pool.DruidDataSource
5. driver-class-name: org.apache.hive.jdbc.HiveDriver
6. username: hive
7. password: hive
8. # phoenix 数据源自定义配置
9. phoenix:
10. enable: true
11. url: jdbc:phoenix:192.168.61.43
12. type: com.alibaba.druid.pool.DruidDataSource
13. driver-class-name: org.apache.phoenix.jdbc.PhoenixDriver
14. username:
15. password:
16. default-auto-commit: true

当然，druid还有很多其它可选配置，请读者自行斟酌：

1. max-active: 100
2. initialSize: 1
3. maxWait: 60000
4. minIdle: 1
5. timeBetweenEvictionRunsMillis: 60000
6. minEvictableIdleTimeMillis: 300000
7. testWhileIdle: true
8. testOnBorrow: false
9. testOnReturn: false
10. poolPreparedStatements: true
11. maxOpenPreparedStatements: 50

三.spring boot 配置Bean实现

因为上述配置信息为自定义的信息，spring boot 的 auto configuration 并不能完全理解编码者的意图，因此我们要手动创造数据源Bean：

Hive:

1. /**
2. * hive数据源配置
3. * @author chenty
4. *
5. */
6. @Configuration
7. public class HiveDataSource {
8. @Autowired
9. private Environment env;
10. @Bean(name = "hiveJdbcDataSource")
11. @Qualifier("hiveJdbcDataSource")
12. public DataSource dataSource() {
13. DruidDataSource dataSource = new DruidDataSource();
14. dataSource.setUrl(env.getProperty("hive.url"));
15. dataSource.setDriverClassName(env.getProperty("hive.driver-class-name"));
16. dataSource.setUsername(env.getProperty("hive.username"));
17. dataSource.setPassword(env.getProperty("hive.password"));
18. return dataSource;
19. }
20. @Bean(name = "hiveJdbcTemplate")
21. public JdbcTemplate hiveJdbcTemplate(@Qualifier("hiveJdbcDataSource") DataSource dataSource) {
22. return new JdbcTemplate(dataSource);
23. }
24. }

Phoenix:

1. /**
2. * phoenix数据源配置
3. * @author chenty
4. *
5. */
6. @Configuration
7. public class PhoenixDataSource {
8. @Autowired
9. private Environment env;
10. @Bean(name = "phoenixJdbcDataSource")
11. @Qualifier("phoenixJdbcDataSource")
12. public DataSource dataSource() {
13. DruidDataSource dataSource = new DruidDataSource();
14. dataSource.setUrl(env.getProperty("phoenix.url"));
15. dataSource.setDriverClassName(env.getProperty("phoenix.driver-class-name"));
16. dataSource.setUsername(env.getProperty("phoenix.username"));//phoenix的用户名默认为空
17. dataSource.setPassword(env.getProperty("phoenix.password"));//phoenix的密码默认为空
18. dataSource.setDefaultAutoCommit(Boolean.valueOf(env.getProperty("phoenix.default-auto-commit")));
19. return dataSource;
20. }
21. @Bean(name = "phoenixJdbcTemplate")
22. public JdbcTemplate phoenixJdbcTemplate(@Qualifier("phoenixJdbcDataSource") DataSource dataSource) {
23. return new JdbcTemplate(dataSource);
24. }
25. }

四.数据源测试

接下来我们只需在测试类中，注入 hive/phoenix 的 JdbcTemplate，即可实现 hive/phoenix 的数据交互：

Hive:

1. @RunWith(SpringJUnit4ClassRunner.class)
2. @SpringApplicationConfiguration(HiveServiceApplication.class)
3. public class MainTest {
4. @Autowired
5. @Qualifier("hiveJdbcTemplate")
6. JdbcTemplate hiveJdbcTemplate;
7. @Test
8. public void DataSourceTest() {
9. // create table
10. StringBuffer sql = new StringBuffer("create table IF NOT EXISTS ");
11. sql.append("HIVE_TEST1 ");
12. sql.append("(KEY INT, VALUE STRING) ");
13. sql.append("PARTITIONED BY (S_TIME DATE)"); // 分区存储
14. sql.append("ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' "); // 定义分隔符
15. sql.append("STORED AS TEXTFILE"); // 作为文本存储
16. // drop table
17. //      StringBuffer sql = new StringBuffer("DROP TABLE IF EXISTS ");
18. //      sql.append("HIVE_TEST1");
19. hiveJdbcTemplate.execute(sql.toString());
20. }
21. }

Phoenix:

1. @RunWith(SpringJUnit4ClassRunner.class)
2. @SpringApplicationConfiguration(HBaseServiceApplication.class)
3. public class MainTest {
4. @Autowired
5. @Qualifier("phoenixJdbcTemplate")
6. JdbcTemplate phoenixJdbcTemplate;
7. @Test
8. public void DataSourceTest() {
9. //phoenix
10. phoenixJdbcTemplate.execute("create table IF NOT EXISTS PHOENIX_TEST2 (ID INTEGER not null primary key, Name varchar(20),Age INTEGER)");
11. }
12. }

五.传统方式

虽然 spring boot 本身是不推荐传统的xml配置的，但是实际生产过程中因各种客观因素，导致有时我们不得不引入传统的xml形式的配置文件。因此针对 hive/phoenix 如果用xml配置文件，并且在spring boot 下如何实现再做下简单的介绍:

application.xml:

1. <!-- 配置HiveTemplate -->
2. <bean id="hiveTemplate" class="org.springframework.jdbc.core.JdbcTemplate">
3. <constructor-arg ref="hiveDataSource"/>
4. <qualifier value="hiveTemplate"/>
5. </bean>
6. <bean id="hiveDataSource" class="com.alibaba.druid.pool.DruidDataSource">
7. <property name="driverClassName" value="org.apache.hive.jdbc.HiveDriver"/>
8. <property name="url" value="jdbc:hive2://172.20.36.212:10000/default"/>
9. <property name="username" value="hive"/>
10. <property name="password" value="hive"/>
11. <!-- 初始化连接大小 -->
12. <property name="initialSize" value="0" />
13. <!-- 连接池最大使用连接数量 -->
14. <property name="maxActive" value="1500" />
15. <!-- 连接池最小空闲 -->
16. <property name="minIdle" value="0" />
17. <!-- 获取连接最大等待时间 -->
18. <property name="maxWait" value="60000" />
19. </bean>
20. <!-- 配置PhoenixTemplate -->
21. <bean id="phoenixTemplate" class="org.springframework.jdbc.core.JdbcTemplate">
22. <constructor-arg ref="phoenixDataSource"/>
23. <qualifier value="phoenixJdbcTemplate"/>
24. </bean>
25. <bean id="phoenixDataSource" class="com.alibaba.druid.pool.DruidDataSource">
26. <property name="driverClassName" value="org.apache.phoenix.jdbc.PhoenixDriver"/>
27. <property name="url" value="jdbc:phoenix:172.20.36.212"/>
28. <!-- 初始化连接大小 -->
29. <property name="initialSize" value="0" />
30. <!-- 连接池最大使用连接数量 -->
31. <property name="maxActive" value="1500" />
32. <!-- 连接池最小空闲 -->
33. <property name="minIdle" value="0" />
34. <!-- 获取连接最大等待时间 -->
35. <property name="maxWait" value="60000" />
36. <!--因为Phoenix进行数据更改时不会自动的commit,必须要添加defaultAutoCommit属性,否则会导致数据无法提交的情况-->
37. <property name="defaultAutoCommit" value="true"/>
38. </bean>

实现测试:

有了xml配置，我们只需在上述第四步骤测试类的类定义上加入如下注解，即可实现xml配置文件信息的加载：

1. @ImportResource({"classpath:application.xml","..."})

注意：配置文件中bean的名字要与注入注解的名字一致