目录 一.编译 二.相关配置 三.为LZO文件创建索引 四.Hive为LZO文件建立索引 1.hive创建的lzo压缩的分区表 2.给.lzo压缩文件建立索引index 3.读取Lzo文件的注意事项(重要) 一.编译 hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件.hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下. 0. 环境准备 maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像) gcc-c++ zl

1.如何访问hadoop官网?2.如何下载hadoop各个版本?3.如何查看hadoop API? 很多同学开发都没有二手资料,原因很简单觉得不会英语,但是其实作为软件行业,多多少少大家会英语的,但是就是不善长,这是很多人面对的问题.英语的不善长,造成我们获取知识慢,很多问题都需要向别人请教.这里交给大家该如何从我们已有的资源中查找API.首先我们登录官网:http://hadoop.apache.org/ 一.官网初步介绍<ignore_js_op> 图1上面主要介绍了三个区域:(1)文档区

在[Linux]Ctentos下载我已经描述了如何去下载Centos 进入到Hadoop官网 http://hadoop.apache.org/ 点击"releases",跳转后,往下拉一点 点击上图的mirror site 点击上图箭头所指网址 此处我下载3.1.0版本,直接点击hadoop-3.1.0即可 点击上图hadoop-3.1.0.tar.gz下载即可.

问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目录: 个人建议:这一步虽然是官网这么做,但是下面命令还是不要执行,因为我们后面还会用到下面命令 /usr/share/cmf/uninstall-cloudera-manager.sh 复制代码 当

----本节内容-------1.概览        1.1 Spark SQL        1.2 DatSets和DataFrame2.动手干活        2.1 契入点:SparkSession        2.2 创建DataFrames        2.3 非强类型结果集操作        2.4 程序化执行SQL查询        2.5 全局临时视图        2.6 创建DataSets        2.7 与RDD交互操作        2.8 聚集函数3.Sp

http://ifeve.com/flink-quick-start/ http://vinoyang.com/2016/05/02/flink-concepts/ http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 并行数据流 程序在Flink内部的执行具有并行.分布式的特性.stream被分割成stream partition,operator被分割成operator sub

分布式应用 分布式应用 distributed application可以在给定时间(同时)在网络中的多个系统上运行,通过协调它们以快速有效的方式完成特定任务. (a), (b): a distributed system.  (c): a parallel system. 通过将分布式应用配置为在更多系统上运行,可以进一步减少完成任务的时间.分布式应用正在运行的一组系统称为集群,而在集群中运行的每台机器被称为节点. 分布式应用有两部分, Server(服务器)和 Client(客户端)应用程序

不多说,直接上干货! 1.Sqoop Import (进入官网) 因为,sqoop的使用方式是: sqoop COMMAND  ARGS. 以下是  sqoop COMMAND  ARGS 以下是  sqoop COMMAND  ARGS 所以,sqoop COMMAND  ARGS 是 选项 含义说明 --connect <jdbc-uri> 指定JDBC连接字符串 --connection-manager <class-name> 指定要使用的连接管理器类 --driver &

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 1.4 Ecosystem 生态系统 There are a plethora of tools that integrate with Kafka outside the main distribution. The ecosystem page lists many of these, including stream processing systems, Hadoop in

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Website Activity Tracking 网站活动追踪 The original use case for Kafka was to be able to rebuild a user activity tracking pipeline as a set of real-time publish-subscribe feeds. This means site acti

不多说,直接上干货! Flume Sources官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Channels Memory Channel JDBC Channel Kafka Channel File Channel Spillable Memory Channel Pseudo Transaction Channel Custom Channel Memory Channel JDBC C

不多说,直接上干货! 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Sources Avro Source Thrift Source Exec Source JMS Source Converter Spooling Directory Source Event Deserializers LINE AVRO BlobDeserializer Taildir Source Twitter 1% firehose S

前几个月时间,研究微软Power BI技术,由于没有任何文档和资料,只能在英文官网瞎折腾,同时也发布了英文文档的相关文章:系列文章,刚好上周把文章发布完,结果简体中文版上线了.哈哈,心里有苦啊,早知道这么快,我就省点时间了. 1.为何简体中文版姗姗来迟 之前我主要是进入英文版和繁体中文版,为什么之初没有简体中文版,我估计的主要原因有以下几个: 1) 由于国内的云监管政策,导致Power BI相关服务落地有点延后: 2) Power BI Desktop本身目前还有诸多不完善,所以今年的更新也挺频

STEP 1:设置开发环境 与yeoman的所有交互都是通过命令行.Mac系统使用terminal.app,Linux系统使用shell,windows系统可以使用cmder/PowerShell/cmd.exe. 1.1 安装条件 安装yeoman之前,你需要先安装如下内容 Nodejs v4或者更高版本 npm git 通过以下命令检查是否安装node环境以及npm管理工具. $ node -v && npm -v npm默认随node一起安装.有些node版本可能安装的是旧版本的np

只需要输入苹果下载地址,安卓市场下载地址,或者内测下载地址,就能一键生成APP的官网,方便在网上推广. 好推APP官网 www.hotapp.cn/app

本系列文章主要翻译自RavenDB官方文档,有些地方做了删减,有些内容整合在一起.欢迎有需要的朋友阅读.毕竟还是中文读起来更亲切吗.下面进入正题. 起航 获取RavenDB RavenDB可以通过NuGet获取,也可以直接在RavenDB官网下载压缩包. 首先了解下压缩包中的内容,可以更好的根据需要进行选择. Backup  – 包含用于备份的Raven.Backup工具 Bundles – 包含所有非内置的插件,如Authentication和Encryption. Client – 包含用于

开源版是 FineUI 的基石,从 2008 年至今已经持续发布了 120 多个版本,拥有会员 15,000 多位,捐赠会员达到 1,200 多位.   FineUI(开源版)v4.2.2 是 8 年来的第 125 个版本,对表单.表格进行底层结构的重要调整,使其更简单更易于扩展,同时官网示例数也突破 300 个!   v4.2.2主要更新内容: 1. 单元格编辑底层传输数据优化(但是不影响上层函数:GetModifiedDict.GetNewAddedList.GetDeletedList)

扯淡 经过不少日夜的赶工,Chloe 的官网于上周正式上线.上篇博客中LZ说过要将官网以及后台源码都会开放出来,为了尽快兑现我说过的话,趁周末,我稍微整理了一下项目的源码,就今儿毫无保留的开放给大家,希望能对大家有帮助,献丑了. 项目不大,官网就是几个展示页面.后台借鉴了 NFine 的设计,直接套用了 NFine 的前端模版以及他的一些权限设计.由于个人开发习惯和所用技术与 NFine 的有些不同,比如,NFine 前端数据展示用 jqgrid,而我比较倾向于使用 knockoutjs,同时,

对着React官网的教程练习操作,在做到分离文件练习时,按照官网步骤来却怎么也无法正常显示HelloWord. 经测试,html文件中内容改为: <!DOCTYPE html><html>  <head>    <meta charset="UTF-8" />    <title>Hello React</title>    <script src="../react-15.2.0/build/re

虽然spring boot提供了4种数据源的配置,但是如果要使用其他的数据源怎么办?例如,有人就是喜欢druid可以监控的强大功能,有些人项目的需要使用c3p0,那么,我们就没办法了吗?我们就要编程式新建一个数据源了吗?不用了!spring boot 1.4.1.RELEASE为我们提供了简洁的方式使用自己想要的数据源. 网上也有其他数据源的配置方法,但是都是编程式新建一个数据源,太繁琐了.我在这里记录一下官网的做法: 1.Configure a DataSource 官网介绍:http://d

对于官网没有的jar包,maven向本地仓库导入jar包用如下命令 mvn install:install-file -DgroupId=包名 -DartifactId=项目名 -Dversion=版本号 -Dpackaging=jar -Dfile=jar文件所在路径 以pinyin4j-2.5.0为例: 1.将pinyin4j-2.5.0.jar文件放在“D:\JAR”目录下(该目录任意) 2.执行命令: mvn install:install-file -Dfile=D:\JAR\piny