https://yq.aliyun.com/articles/42282?spm=5176.team18.teamshow1.19.9TkKmZ#rd…

扩展博客 以下,是我在手动的CDH版本,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐) 以下,是我在Ambari集群平台下,安装Hue. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解) 本博文呢,是在Clouderamanager集群集群里 这个很简单,不多说,直接在Add services里,添加就是了 藏经阁技术资料分享群二维码…

扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐) 以下,是我在Clouderamanager平台下,安装Hue. 给Clouderamanager集群里安装可视化分析利器工具Hue步骤(图文详解) 本博文呢,是在ambari集群里 首先, https://github.com/EsharEditor/ambari-hue-servic…

Charted 是一个让数据自动生成可视化图表的工具.只需要提供一个数据文件的链接,它就能返回一个美丽的,可共享的图表.Charted 不会存储任何数据.它只是获取和让链接提供的数据可视化. 在线演示      插件下载 您可能感兴趣的相关文章 网站开发中很有用的 jQuery 效果[附源码] 分享35个让人惊讶的 CSS3 动画效果演示 十分惊艳的8个 HTML5 & JavaScript 特效 Web 开发中很实用的10个效果[源码下载] 12款经典的白富美型 jQuery 图片轮播插件 本…

Hive是一个基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.在本质上,Hive与Pig一样,都是将相应的查询语句转换为MapReduce程序,简化数据处理过程.不过相比Pig来说,Hive使用的HiveQL语言很接近SQL语言,因此对于开发人员来说更容易上手,使用频率也更高. 一.Hive基础知识 1.基本概念  Hive是一个建立在Hadoop…

可视化日志分析工具Gltail的安装与使用      GlTail.rb 是一款带有浓郁的 Geek 风格的可视化日志分析工具,它采用 Ruby 技术构建,并利用 OpenGL 图形技术进行渲染,呈现可视化的日志分析数据,以气泡数量来反映网站的访问情况.本文讲述它的安装与基本使用方法. 1.功能: 1).实时显示日志: 2).支持多服务器及多日志: 3).提供多种日志分析器(Apache Combined, R IIS, Postfix, Nginx, Squid, PostgreSQL, Pu…

P4Merge P4Merge是Git的一个第三发Diff和Merge工具(可视化冲突解决工具). 下载地址: https://www.perforce.com/downloads/visual-merge-tool 安装的时候只需要勾选p4merge即可: 然后需要把p4merge的路径添加到环境变量PATH里面. 这样操作后, 就可以通过命令行启动p4merge了: 配置p4merge作为Git的diff tool: git config --global diff.tool p4merge…

RHEL6非交互式工具sshpass和expect安装 1 sshpass 在rhel6.4上,没有sshpass的软件包,无法采用yum方式安装.从源码编译安装非常简单. 1) 下载sshpass源码: http://sourceforge.net/projects/sshpass/ 2) 编译安装 $  tar -zxf sshpass-1.05.tar.gz $ cd sshpass-1.05 $ ./configure $ make && make install 2 expect…

最近看到一个不错的接口管理的工具,分享一下 RAP ppt介绍:http://www.imooc.com/video/11060 RAP是一个可视化接口管理工具 通过分析接口结构,动态生成模拟数据,校验真实接口正确性, 围绕接口定义,通过一系列自动化工具提升我们的协作效率. 使用网址:http://rap.taobao.org/ GitHub地址:https://github.com/thx/RAP 一些文档:https://github.com/thx/RAP/wiki/home_cn 官网:…

Jupyter交互式工具安装使用 Jupyter Notebook(此前被称为IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言. 文档:https://jupyter-notebook.readthedocs.io 安装 Ubuntu16.04按顺序安装,必须python3.5以上版本 pip3 install ipython pip3 install pyzmq pip3 install jinja2 pip3 install tornado 然后: jupy…

什么是Hive? 我来一个短而精悍的总结(面试常问) 1:hive是基于hadoop的数据仓库建模工具之一(后面还有TEZ,Spark). 2:hive可以使用类sql方言,对存储在hdfs上的数据进行分析和管理. Hive 是建立在 Hadoop 上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL 查询语言,称为 HQL ,它允许熟悉 SQL 的用户查询数…

介绍 zeppelin主要有以下功能 数据提取 数据发现 数据分析 数据可视化 目前版本(0.5-0.6)之前支持的数据搜索引擎有如下 安装 环境 centOS 6.6 编译准备工作 sudo yum update sudo yum install openjdk-7-jdk sudo yum install git sudo yum install npm 下载源码 git clone https://github.com/apache/incubator-zeppelin.git 编译,打包…

http://qindongliang.iteye.com/blog/2212619 先来看下hue的架构图:  (1)Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口. (2)Hue能干什么? 1,访问HDFS和文件浏览 2,通过web调试和开发hive以及数据结果展示 3,查询solr和结果展示,报表生成 4,通过web调试和开发impala交互式SQL Query 5,spark调试和开发 6,Pig开发和调试 7,oozie任务的开…

CSS3随着浏览器的升级已经被越来越广泛的运用,合理的运用CSS3可以使你的网站更加美观,并且之前只能用js才能实现的效果也已经可以直接用 CSS3来实现.但是虽然如此,很多浏览器对CSS3的支持还都是通过其私有属性来达到支持的,鲜有直接对W3C的标准来实现的.诸如firefox的 -moz-和webkit的-webkit-属性前缀. 不过CSS3本身W3C也并未有正式版发布,现在还只是草案.下面我推荐两个很直观的,可视化的,自动生成CSS3样式代码的工具网站给大家. 1.CSS3 Genera…

看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——Kettle.    Kettle是pentaho公司开源的一款ETL工具,跟hadoop一样,也是java实现,其目的就是做数据整合中时数据的抽取(Extract).转换(Transformat).加载(Load)工作.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制.Transformation工作原理上采用并发流式处理…

最近去了新公司,发现公司使用的团队版本管理工具是SourceTree,本人一直是SVN的热衷粉,很少使用git,所以从头学习git及可视化客户端SourceTree的使用,本贴只针对新手,大牛可以无视. 前期准备:首先要安装SourceTree客户端,根据教程一步一步来.然后要去GitLab上注册自己的账号,并获取相关权限.最后打开SourceTree,根据提示完成注册.至此,准备工作完成,下面进入实操演练:1. 去GitLab上,进入相关项目里,将URL复制下来.2. Clone克隆:打开So…

hive基本hql语法 Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. 数据传递…

Path Analyzer背后的想法是观察,分析和理解您的潜在客户和客户在浏览您的网站时所遵循的网络旅程.他们最初来自哪里?他们的路径是“有机”(通过搜索引擎)还是来自付费广告?社交帖子?甚至是你发起的传统直邮活动?Path Analyzer的功能在于以图形方式展示您获得最大收益的地方,并告知营销商必要时在哪里进行更正. 与任何体验平台工具(包括路径分析器)一样,所有客户参与都会在体验数据库中捕获,因此您可以360度全方位了解客户与您的品牌的互动情况.如果您希望通过其他系统的信息(如CRM,Po…

编译自: http://www.tecmint.com/rtop-monitor-remote-linux-server-over-ssh/ rtop[1] 是一个基于 SSH 的直接的交互式远程系统监控工具[2],它收集并显示重要的系统性能指标,如 CPU.磁盘.内存和网络指标. 它用 Go 语言[3]编写,不需要在要监视的服务器上安装任何额外的程序,除了 SSH 服务器和登录凭据. rtop 基本上是通过启动 SSH 会话和在远程服务器上执行某些命令[4]来收集各种系统性能信息. 一旦 SS…

介绍: SendMail是一款简便的163邮箱发件工具 利用了163的SMTP接口来发送邮件 版本号:SendMail v1.0 在编写发送邮件工具之前,还需要安装 JavaMail API 和Java Activation Framework (JAF) 两个jar包 下载链接:https://files.cnblogs.com/files/wh4am1/mailAPI.zip 整体程序的逻辑构造如下 思路出来后,我们就利用eclipse IDE集成开发工具定制一个程序大概的框架 关于ecli…

webmin是一个可视化的linux服务器管理工具,可以帮助我们实现很多功能. Webmin官网: http://www.webmin.com/ 下载地址:http://prdownloads.sourceforge.net/webadmin/webmin-1.860-1.noarch.rpm 安装webmin: 系统版本:CentOS release 6.8 (Final) [root@localhost ~]# rpm -ivh webmin-1.860-1.noarch.rpm --nod…

一. zookeeper 可视化工具   JMX => CLRProfile ZKUI => java写的一个可视化的web网站 github中下载 https://github.com/DeemOpen/zkui git 拉取地址 :https://github.com/DeemOpen/zkui.git   CoentOS 安装 git maven 1. git 安装: (在linux下安装卸载git非常方便)  命令 :yum remove git 删除git  命令 :yum -y i…

在编写完成MapReduce程序之后,调优就成为了一个大问题.如何使用现有工具快速地分析出任务的性能?   对于本地的java应用程序,进行分析可能稍微简单,但是hadoop是一个分布式框架,MapReduce任务可能在集群中的任意机器上被调度运行.而且本地Job运行器是一个与集群差异非常大的环境,数据流的形式也不同,应该在实际集群上对比新的执行时间和旧的执行时间.   hadoop的任务中可以选择启用profile,这可以在特定的Map/Reduce任务启动执行hprof分析.prof是一个J…

1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等. 2)下载 CDH版本下载 官网下载 2.编译安装 1)解压 tar -zxf hue-3.9.0-cdh5.5.0.…

本文内容过于硬核,建议有 Java 相关经验人士阅读. 1. 可视化工具 在 JDK 中为我们提供了大量的 JVM 故障处理工具,都在 JDK 的 bin 目录下: 这其中除了大量的命令行工具以外,还为我们提供了更加方便快捷的可视化工具,主要是以下这 4 个: JConsole: 最古老的工具,早在 JDK 5 时期就已经存在的虚拟机监控工具. JHSDB: 名义上在 JDK 9 中才正式提供,但之前已经以 sa-jdi.jar 包里面的 HSDB(可视化工具) 和 CLHSDB(命令行工具)…

​相信很多人如果看到漂亮的图表都会很感叹,"为什么可以做的这么漂亮,这么好看?","这个应该怎么做呢?用什么工具可以实现呢?".制作漂亮的可视化一般有这样几个方式: l 利用Excel内置的图表做一些常规的统计图.高级复杂的譬如动态图表,图表的筛选展示可以通过写VBA来实现. l 通过R.Python一类的数据分析语言,调用图表功能包,呈现可视化的数据,数据分析常用. l 借助Echarts.HighCharts.D3.js等开源的可视化插件,嵌入代码,开发成插件包…

一.PyViz安装 1.安装依赖包 sudo apt-get install python-dev python-pygraphviz python-kiwi python-pygoocanvas python-gnome2 python-gnomedesktop python-rsvg 注意:  ‘python-gnomedesktop’安装包问题  将命令python-gnomedesktop换为 python-gnome2-desktop-dev 2.安装交互python使得GUI上有控制…

原来ZooKeeper是有Web管理后台的.但是仅限于操作ZooKeeper的数据,如果要监控性能,估计要借助Nagios去配合. 这些工具应该ZK UI最好用,下面是收集的一些工具安装教程: https://github.com/DeemOpen/zkui http://www.52itstyle.com/thread-25624-1-1.html http://www.oschina.net/p/zkdash http://www.cnblogs.com/keithtt/p/6527999.…

Airflow Console: https://github.com/Ryan-Miao/airflow-console Apache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库. Airflow提供了基于python语法的dag任务管理,我们可以定制任务内容 和任务依赖. 但对于很多数据分析人员来说,操作还是过于复杂. 期望可以 通过简单的页面配置去管理dag. 即本项目提供了一个dag可视化配置管理方案. 如何使用 一些概念 DAG: Airflow原生的dag,…

RDR(redis datareveal)是一个解析redis rdbfile的工具.与redis-rdb-tools 相比,RDR 是由 golang 实现的,速度要快得多(5GB rdbfile 在我的电脑上大约需要 2 分钟). 1.Linux环境下载: wget https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-linux chmod +x rdr-linux 2.使用rdr-linux分析dump.rdb文件 ./rd…