HDFS linux安装总结(基于hadoop-2.6.0-cdh5.7.0 伪分部安装) 1.jdk安装 1) 直接下载jdk包放到安装目录即可(jdk-8u131-linux-x64.tar.gz解压到安装目录) 2)配置环境变量 直接在 .bash_profile配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131            export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.…

 前言 Hadoop是基于Java语言开发的,具有很好跨平台的特性.Hadoop的所要求系统环境适用于Windows,Linux,Mac系统,我们推荐选择使用Linux或Mac系统.而Linux系统则可以在Windows上使用虚拟机或双系统安装使用.如果选择Linux,我们需要首先安装好Linux系统,然后在Linux系统的基础上,安装Hadoop. 在这里我选用的虚拟机中安装.由于UBuntu界面化较好,再加上自己是新手,所以我采用UBuntu操作系统. ubuntu在虚拟机下的安装 一.系统…

作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 GitHub学习心得之 安装配置与多帐号管理 1.前言2.GitHub Linux安装(ubuntu)3.帐号1配置4.帐号2配置5.本地管理 一.前言 本篇博文记录了GitHub的安装配置与多帐号管理. 本文内容基于以下文章:http://www.runoob.com/w3cnote/git-guide.html (Github 简明教程)http://m.blog.csdn.net/a…

最近学习Linux,使用虚拟机太不方便,于是购买了阿里云最便宜的云主机作为学习设备. 本系列文章记录了个人学习过程的点点滴滴. 学习Linux系列--安装Ubuntu 学习Linux系列--安装软件环境 学习Linux系列--布署常用服务 学习Linux系列--Python资源收集 10.云主机的配置是单核U,512M内存,20G系统盘,5G数据盘,1M的带宽,1个公网IP,操作系统是Ubuntu 12.04 X64,价格为每月57块. 菜鸟也会安装 Linux! Ubuntu 系统菜鸟入门完全…

为什么使用Sass 作为前端(html.javascript.css)的三大马车之一的css,一直以静态语言存在,HTML5火遍大江南北了.javascript由于NODE.JS而成为目前前后端统一开发语言的不二之选.只有css似乎成为前端开发的被忽视的角色了. Sass让css有了动态语言的特点,在初次学习css时,有时候同样的样式在不同的#或.中一次又一次重复的编码,有了Sass,在css语法的基础上不仅可以写变量.函数,而且可以百分百的转换为标准的css.再次把Don't Repeat Y…

Tomcat安装 通常情况下我们要配置Tomcat是很容易的一件事情,但是如果您要架设多用户多服务的Java虚拟主机就不那么容易了.其中最大的一个问题就是Tomcat执行权限.普通方式配置的Tomcat是以root超级管理员的身份运行的,显然,这是非常危险的,可想而知,一但网站被挂马,您的整个服务器都可以被黑客控制了.而通过编译或在线(例如redhat系列的yum, debian系列的apt-get)的方式安装,一个服务器上又只能装一个tomcat的服务,如果将多个网站放到同一个tomcat服务…

学习Sass之安装Sass 为什么使用Sass 作为前端(html.javascript.css)的三大马车之一的css,一直以静态语言存在,HTML5火遍大江南北了.javascript由于NODE.JS而成为目前前后端统一开发语言的不二之选.只有css似乎成为前端开发的被忽视的角色了. Sass让css有了动态语言的特点,在初次学习css时,有时候同样的样式在不同的#或.中一次又一次重复的编码,有了Sass,在css语法的基础上不仅可以写变量.函数,而且可以百分百的转换为标准的css.再次把…

深度学习框架-caffe安装 [Mac OSX 10.12] [参考资源] 1.英文原文:(使用GPU) [http://hoondy.com/2015/04/03/how-to-install-caffe-on-mac-os-x-10-10-for-dummies-like-me/] 2.基于1的两篇中文博客: [http://ylzhao.blogspot.kr/2015/04/mac-os-x-1010caffe.html][http://www.jianshu.com/p/8795b88…

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ".PingFang SC"; color: #454545 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue"; color: #454545 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "He…

ZooKeeper学习之一:安装及命令行使用 一直都想着好好学一学分布式系统,但是这拖延症晚期也是没得治了,所以干脆强迫自己来写一个系列博客,从zk的安装使用.客户端调用.涉及到的分布式原理.选举过程及Paxos算法,一步步的讲清学习的历程.现在开始第一篇,zk的安装及命令行使用. 本文为ZooKeeper官方文档的自我理解版. 安装 笔者为mac环境,类似于Linux环境因此直接下载了3.4.10稳定版的安装包,解压后放在/Users/imac/zookeeper-3.4.10目录下. 修改c…

转自:https://blog.csdn.net/lookintosky/article/details/61658067 libevent的入门学习-库的安装最近开始接触Linux应用层的东西,发现使用了libevent库,就随便学习了一下,这里权作记录 这里是一些不错的文章,感谢作者的无私奉献 libevent学习笔记 一.基础知识 libevent学习笔记(参考libevent深度剖析) libevent学习笔记[使用篇]——(零)异步IO简介[系列译文] Libevent 官方文档学习笔…

linux基础学习之软件安装以及常用命令 调用中央仓库: yum install wget 然后下载nodejs: wget https://nodejs.org/dist/v10.14.2/node-v10.14.2-linux-x64.tar.xz 执行ll 查看列表已经下载: xz -d node +tab 解压 .xz 文件,查看只剩下tar文件 然后执行 tar -xf node... 然后再查看,多出一个解压好的文件夹 进入文件夹后查看bin文件夹中查看: 然后回到根目录,将文件夹中…

本次学习是基于Window10进行的.语言为python3. 1 与opencv相关的库简介 1.1 numpy numpy 是 OpenCV 绑定 python 时所依赖的库,此意味着numpy在安装opencv前必须安装的库. numpy是提供数值计算函数,这种工具可用来储存和处理大型矩阵,具有高效的矩阵(matrix)计算函数,其比python自身的嵌套列表(nested list structure)结构要高效的多. 1.2 SciPy 该库是一个与numpy 密切相关的科学计算库.虽然…

OracleDesigner学习笔记1――安装篇   QQ:King MSN:qiutianwh@msn.com Email:qqking@gmail.com 一．       前言 Oracle是当今最流行的关系型数据库之一,和很多朋友一样,我也是一个Oracle的爱好者,从开始的7.3(我所接触的第一个版本)到现在的10G,可以说Oracle公司每推出一个新的版本,都有很多令人激动的新东西带给我们,这可能也是令广大朋友着迷的地方吧. 众所周之,Oracle公司并仅仅是一个关系型数据库厂商,她…

写在文章前面:ffmpeg是一个开源的编解码框架,拥有很强大的功能.但是对于如果使用其来做开发呈现着严重两极分化,大神们讨论着高深的问题,大多数像我这样的小白连门都进不去.最近无意间领会了如何入门,现在写下这个系列文章<零基础学习视频解码>用来帮大家提供入门基础.博主的开发机器是基于Ubuntu 14.04 64位的,所以这个系列的文章都是在Ubuntu下完成的. 一.安装SDL C语言没有图形库,其中SDL比较小巧,并且是开源的,适合入门者学习.另外安装ffmpeg的时候会检测是否安装SDL…

最近在学习使用turtlebot2,特此做一些学习记录. 安装ROS前要先决定自己电脑的Ubuntu(乌班图)系统.现在学习ROS常使用的Ubuntu系统有Ubuntu 16.04 和Ubuntu14.04,其中Ubuntu 16.04对应的ROS版本为ROS Kinetic,Ubuntu14.04对应的ROS版本为ROS Indigo.大部分博客和学习书籍推荐首选ROS Indigo版本,即你的电脑Ubuntu系统应选择14.04版本,因为Indigo版本是官方长期支持的版本,而且推出的时间比…

Docker Docek是一种容器技术.容器是一种轻量级.可移植.自打包的软件技术,使应用程序可以在几乎任何地方以相同的方式运行. 使用者可以在笔记本上创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机.物理服务器或公有云主机上运行. Docker安装 安装docker会用到一下命令 //更新apt-get apt-get update //安装docker apt-get install docker.io //配置加速器 tee /etc/docker/daemon.json <<-…

zookeeper学习(零)_安装与启动 最近换了新的电脑,终于买了梦寐以求的macbook.最近也换了新的公司,公司技术栈用到了zookeeper.当然自己也要安装学习下.省的渣渣的我,被鄙视就麻烦了.本篇文章只介绍如何安装,先安装上之后,再进行具体学习. 安装 本文使用brew 进行安装,默默说一句,mac的系统是比win好用.没有安装brew和jdk的童鞋请先安装这2个. 打开终端执行命令 brew install zookeeper 启动执行 zkServer start 执行zk连接…

一.下载安装JDK 1.安装包下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 根据需要进行下载,我的电脑是win7+64位,所以选择版本:jdk-9.0.1_windows-x64_bin.exe 2.双击安装包 ,点击下一步,建议不要装在C盘,我一般习惯性将所有软件装在E盘下面,首先是安装JDK: 3.继续点击下一步,安装完jdk-9.0.1,会自动安装jre-9.…

安装系统更新系统,参考<Thingsboard学习之一CentOS安装系统更新> 尝试更新系统 yum update 增加一个用户并设置密码,并将用户增加到管理员 # 添加用户(可选) sudo adduser weschen # 为新用户设置密码 sudo passwd weschen # 为新用户添加sudo权限 sudo echo 'weschen ALL=(ALL) ALL' >> /etc/sudoers 尝试卸载旧版本docker # 卸载旧版本Docker软件 sud…

深度学习之TensorFlow安装与初体验 学习前 搞懂一些关系和概念 首先,搞清楚一个关系:深度学习的前身是人工神经网络,深度学习只是人工智能的一种,深层次的神经网络结构就是深度学习的模型,浅层次的神经网络结构是浅度学习的模型. 浅度学习:层数少于3层,使用全连接的一般被认为是浅度神经网络,也就是浅度学习的模型,全连接的可能性过于繁多,如果层数超过三层,计算量呈现指数级增长,计算机无法计算到结果,所以产生了深度学习概念 深度学习:层数可以有很多层,但是并不是全连接的传递参数,如上图中右边是一个…

[BigData]关于Hadoop学习笔记第一天(段海涛老师)(三) 视频2: hadoop的应用在电商,"浏览了该商品的人还看了","浏览了该商品的人最终购买的"...这些很多网站都有,就是用了相对廉价的hadoop技术. 还应用在信贷网站,银行不喜欢把钱交给个人,因为个人的信用审核比较繁琐.贷给你之后赚钱相对也少.用hadoop技术可以全方位的从你的淘宝购物,浏览哪些网站,行为轨迹......从海量的数据中可以分析的更全面. Hadoop中的模块就相当于Mave…

Hive只在一个节点上安装即可: 1.上传tar包:这个上传就不贴图了,贴一下上传后的,看一下虚拟机吧: 2.解压操作: [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图: 3:解压缩以后启动一下hive: 4:开始操作sql: 好吧,开始没有启动集群,输入mysql创建数据库命令,直接不屌我,我也是苦苦等待啊: 5:启动我的集群,如下所示,这里最后帖一遍部署以后集群关了,重新开启集群的步骤,不能按照部署集群的时候进行格式化一…

主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是大数据 基本概念 <数据处理> 在互联网技术发展到现今阶段,大量日常.工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 处理海量数据的核心技术: 海量数据存储:分布…

1 安装NodeJS 具体参考已发布的文章Ubuntu学习总结-07 Nodejs和npm的安装 2 使用淘宝 NPM 镜像 国内直接使用 npm 的官方镜像是非常慢的,这里推荐使用淘宝 NPM 镜像. 淘宝 NPM 镜像是一个完整 npmjs.org 镜像,你可以用此代替官方版本(只读),同步频率目前为 10分钟 一次以保证尽量与官方服务同步.可以使用淘宝定制的 cnpm (gzip 压缩支持) 命令行工具代替默认的 npm npm install -g cnpm --registry=htt…

查看文件内容的命令有很多:cat, tac, more, less, head, tail, nl. cat由第一行开始显示档案内容:tac从最后一行开始显示,可以看出tac是cat的倒着写:more一页一页的显示档案内容:less与more类似,但是比more更好的是,它可以往前翻页:head只看头几行:tail只看尾巴几行:nl显示的时候,顺道输出行号:od以二进制的方式读取档案…… 关于Linux的主要分支,linux分支的历史这篇文章有简单明了的概括. 这里吐槽下,我目前在看的这本<Li…

  当项目逐渐变大之后,服务增多,开发人员增加,单纯的使用go来写服务会遇到风格不统一,开发效率上的问题. 之前研究go的微服务架构go-kit最让人头疼的就是定义服务之后,还要写很多重复的框架代码,一直再想如何使用IDL描述服务,然后自动生成框架代码. 直到遇到老这货 goa,另外一个go的微服务框架.具体介绍看这篇,还有官网.   这货实现了框架的代码自动生成(自动生成的代码可以热更新,因为生成代码和自己写的代码是分开的),而且理念也比较时髦,基于API设计,利用插件来扩展业务逻辑.   于…

离职闲下来之后想着学一些新知识,本来是想从react入手,结果延伸出去的内容就像一棵树的树枝,不断增加. 学习计划是从这里开始的(6周学习计划,攻克javascript难关 https://zhuanlan.zhihu.com/p/23412169),慕课网上找的视频教程,然后接触到yeoman,然后就是各种倒腾. 一.安装node.ruby node.ruby安装没有什么问题,到 http://rubyinstaller.org/downloads/ 这里下载相关软件. 但使用gem安装包的时…

本文由秀依林枫提供友情赞助,首发于烂泥行天下 有关高负载均衡的软件,目前使用比较多的是haproxy.nginx和lvs.下面我们就开始学习haprxoy这款软件. 一.haproxy介绍 以下开始介绍有关haproxy的原理及其优点. 1.1.haproxy原理 haproxy提供高可用性.负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种解决方案. haproxy特别适用于那些负载特别大的web站点,这些站点通常又需要会话保持或七层处理…

选自:http://www.cnblogs.com/mingzhao810/archive/2012/08/03/2617674.html HTK(HMM Toolkit)一款基于hmm模型的语音处理工具,早就听说它了,一直因为用MATLAB中的工具箱在学习,或自己写代码在做HMM方面的试验,所以没有接触到它.现在,上海朋友家里的网速超赞,我就趁投简历的时间空隙,下载了它的一些资料,包括安装文件,使用文档(最好中英文版都要找到,有时中文版更简洁,更节省时间,英文版则较详细,当发现自己调试不通过时…