在安装Hadoop,mysql,hive之前,首先要保证电脑上安装了jdk 一.配置jdk 1. 下载jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. 配置环境变量 (1)在终端使用 sudo su 命令进入root用户模式: (2)使用 vim /etc/profile 命令打开profile文件,按下大写“I”进入编辑模式,在文件中添加以下信息: JAVA_HO

Hadoop生态圈-Sqoop部署以及基本使用方法 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Sqoop项目开始于2009年,最早是作为Hadoop的一

之前在Mac上通过安装mamp来搭建PHP环境服务器,但是对于java来说,目前还是没有找到类似mamp这样强大的软件来构建及管理java环境服务器,所以目前也是通过命令行来进行tomcat服务器的安装和启动,简要的总结一下在Mac上进行tomcat服务器安装的步骤. 第一步,给Mac安装jdk环境.   直接百度”jdk for Mac“,找到其中一个版本进行安装就可以了,安装完成后,打开终端,输入“java”或“javac”,如果出现java命令的使用说明,那么说明你的Mac上的jdk环境已

在mac上安装了eclipse之后,配置hadoop其实跟在linux上配置差不多,只是mac上得eclipse和界面和linux上得有点不同. 一:安装eclipse eclipse得安装比较简单,就不说了. 二:配置eclipse链接hadoop 1.在eclipse下安装开发hadoop程序的插件 haoop-0.20.2自带一个eclipse的插件,在hadoop的 contrib\eclipse-plugin目录下hadoop-0.20.2-eclipse-plugin.jar,把这个

换了macbook pro之后,要重新安装hadoop,但是mac上的jdk跟windows上的不同,导致折腾了挺久的,现在分享出来,希望对大家有用. 一:下载jdk 选择最新版本下载,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装完成之后,打开终端,输入java -version ,出现类似如下说明安装成功. java version "1.8.0" Java(TM) SE Runtim

最近在学习Flask,本文介绍一下如何部署Flask开发的应用,同时也学习一下Nginx的使用,这只是在Mac上的一个实验. 应用 这里使用的应用就是官方的文档中给出的Flaskr. 安装Nginx 使用HomeBrew安装Nginx: brew install nginx HomeBrew会自动安装Nginx及其依赖的程序.在我的电脑上安装的是Nginx 1.6.2,配置文件的路径是/usr/local/etc/nginx/nginx.conf. 启动Nginx的命令: nginx Nginx

生产环境 hadoop部署在超大内存服务器的虚拟机集群上 好 还是  几个内存较小的物理机上好? 虚拟机集群优点 虚拟化会带来一些其他方面的功能. 资源隔离.有些集群是专用的,比如给你三台设备只跑一个spark,那还算Ok.但在很多规模很小的团体中,在有限的硬件设备的情况下,又要跑spark,比如又要跑zookeeper.kafka等等,这个时候,我们希望它们之间是不会互相干扰的.假设你spark的配置没做好,内存占用太大了,你总不希望把你好端端zookeeper给影响得挂掉.那么此时虚拟机或者

因为MAC是大小写不敏感的操作系统,很多Linux命令不支持,所以首先要创建大小写敏感的操作系统. 设置静态IP 打开"System Preferences..." 点击"Network" 设置静态IP 设置Terminal 在"Utilities"中找到Terminal,点击"Terminal" 右击Terminal图标,选择"Options" -> "Keep in Dock"

Hadoop部署方式-完全分布式(Fully-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本博客搭建的虚拟机是伪分布式环境(https://www.cnblogs.com/yinzhengjie/p/9058415.html)链接克隆出来的,我们只需要修改一下配置文件就可以轻松实现完全分布式部署了,部署架构是一个NameNode和三个DataNode,如果身为一个专业的运维人员你可能会一眼看出来这个集群存在单点故障,别着急,关于高可用集群

大型网站技术架构(四)--核心架构要素   作者:13GitHub:https://github.com/ZHENFENG13版权声明:本文为原创文章,未经允许不得转载.此篇已收录至<大型网站技术架构:核心原理与案例分析>读书笔记系列,点击访问该目录获取完整内容. 前言 所谓架构,一种通俗的说法就是“最高层次的规划,难以改变的决定”,这些规划和决定奠定了事物未来发展的方向和最终的蓝图. 而软件架构即“有关软件整体结构与组件的抽象描述,用于指导大型软件系统各方面的设计”. 一般来说软件架构需要关

1.安装Xcode command line tools 首先,编译mysql和Homebrew需要用到Xcode command line tools,所以首先安装command line tools: 如果安装了Xcode,只需要“Preferences… > Downloads”,之后点击Command Line Tools安装按钮: 如果没有Xcode,去https://developer.apple.com/downloads,搜索Command Line Tools 下载安装 2.安

原文:http://stephenwalther.com/archive/2015/02/03/asp-net-5-and-angularjs-part-7-running-on-a-mac 这篇文章中, 我会把之前的ASP.NET 5 项目在我的Mac上运行起来. 安装 Mono 首先你得安装Mono. Mono项目独立于Microsoft. Mono是一个.NET运行在Mac OSX和Linux上的开源实现. http://www.mono-project.com/download/ 安装M

转自:http://painterlin.com/2014/08/10/Using-LaTeX-with-Sublime-and-Skim-for-Mac.html Sublime Text是一款非常优秀的编辑器,速度快,界面简洁,插件众多.并且能跨平台使用,在Mac和Windows上都能完美使用.虽然是一款付费软件,但作者很厚道地给了无限期的试用期限.这一切正如其官网广告词说的那样:The text editor you'll fall in love with. Skim是一款免费轻量的PD

好吧,我是今天才知道这个无敌的输入法有多么强悍,传说中的神级输入法,鼠须管~ 在这之前我都一直是用的搜狗输入法,因为以前在win下就一直都用的是搜狗输入法,怎么说,各种国产的输入法做的还是比较有良心的,在国内,输入法这个产业的竞争还是比较激烈的额,没有良心就没法做了,我也没用过其他的输入法,所以觉得搜狗挺不错的感觉.然后转到mac上之后,发现mac上也有搜狗,顿时觉得还是有点开心的,然后就开开心心地用了搜狗.但是,我一直没发现,在mac上,有这么个超级输入法,完败搜狗.这个就是鼠须管. 先介绍一

Setting Up Your Development Environment 设置你的开发环境 To setup your development machine download and install .NET Core and Visual Studio Code with the C# extension. Node.js and npm is also required. If not already installed visit nodejs.org. 首先在你的机器上下载.Ne

本文旨在让同学们明白如何让jenkis在mac笔记本上运行,并实际与一个最简单的git地址交互并执行简单的jenkins任务,如果学习本文,需要先按照https://www.cnblogs.com/xuezhezlr/p/8597715.html在mac上搭建tomcat和java,jenkins等环境,然后在进行相关学习 如果一个测试人员被安排去调研或者去做一个jenkins来处理整个公司的持续集成问题,那么恭喜你,你应该算是比较nb的测试了,不至于像笔者一样,只能纸上谈兵,,,另一方面,你需

Mac下hadoop运行word count的坑 Word count体现了Map Reduce的经典思想,是分布式计算中中的hello world.然而博主很幸运地遇到了Mac下特有的问题Mkdirs failed to create,特此记录 一.代码 WCMapper.java package wordcount; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.a

Mac配置Hadoop最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8565575.html 原文作者: 博客园-曲高终和寡 https://www.cnblogs.com/landed/p/6831758.html 一.准备工作: 1.  JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8) 2.  2.7.3版本的Hadoop https://archive.apache.org/dist

1.开发环境 UE4.Xcode.iOS版本情况如下: 1.UE4:当前最新版本Unreal Engine 4.17.2. 2.Xcode:当前最新版本Xcode9.0. 3.iOS:当前最新版本iOS11. 2.在iOS设备上部署UE4项目 UE4编辑器中可以通过工具栏的“启动”按钮开始在iOS设备上快速测试当前关卡,如图1所示. 图1 启动 如果想在iOS上测试当前关卡,需要在“项目配置”中配置两个文件,分别是iOS Provisioning Profiles和Signing Certifi

环境配置 本人电脑系统:macOS Node.js 生成静态页面.安装Node.js Git 用于将本地 Hexo 内容提交到 Github.Xcode自带Git(前提:macOS已经安装了Xcode),若没有,可以参考 Hexo官网上的安装方法. 安装 Hexo 当 Node.js 和 Git 都安装好后,就可以正式安装 Hexo 了,终端执行如下命令: $ sudo npm install -g hexo 输入管理员密码(Mac 登陆密码)即可开始安装. 注: sudo:linux系统管理指

本文介绍在Mac上搭建Hive环境. 建议首先配置好Hadoop,搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置. 当然你也可以选择使用Docker搭建环境,本文不作介绍. 安装 对于MacOs,推荐使用HomeBrew安装hive,一步到位. $ brew install hive 创建元数据库 Hive默认用derby作为元数据库.这里我们用mysql来存储元数据,下面作一些初始化 mysql> create database metastore; mysql> creat