Windows Azure HDInsight 使用技巧
Windows Azure HDInsight是一个面向大数据的PaaS服务,是PaaS版本的Hadoop。HDInsight是微软与Hortonworks合作的产物。可以理解为Hortonworks针对Windows Azure的一个发行版。
国际版的HDInsight支持Windows和Linux实例,而中国版目前只支持Windows实例,即中国版的HDInsight是运行在Windows Server操作系统上的。
1、虚拟网络支持
HDInsight是支持虚拟网络的,用户可以将HDInsight集群创建在已经存在的虚拟网络中。这样用户就可以在Windows Azure虚拟机上使用内网地址来访问HDInsight集群。在HDInsight集群创建向导的第二步,点击“区域和虚拟网络”下拉框就可以选择现有的虚拟网络。
2、远程登陆(RDP)HDInsight头节点和Hive元数据存储。用户在创建HDInsight集群的过程中可以开启头节点的远程登陆(RDP)功能。处于安全目的,远程登陆用户和HTTP用户(web控制台用户)需要设置不同的用户名,而且要求使用高强度的密码。远程登陆还需要设置有效期。不过别担心,这个有效期是可以通过管理界面进行修改的;用户可以选择将Hive和Oozie的元数据保存在SQL Database (SQL Azure)中,这样即便是用户删除并重建集群,元数据也不会丢失。
3、执行自定义脚本。默认情况下,所有节点上的管理员用户都被禁用了。用于远程登陆的用户也只是一个普通的Windows本地用户,不在Administrator组中,不能执行需要管理员权限的软件安装和设置等操作。针对有自定义需求的高级用户,HDInsight非常周到的提供了自定义脚本动作执行功能——在集群provisioning结束之前,以管理员权限执行用户自定义脚本。
- 用PowerShell写用户自定义脚本,保存为[.ps1]文件。
- 将[.ps1]文件上传到Windows Azure的Blob Storage上具有public访问权限的Container中。
- 在HDInsight集群创建向导的最后一步引用Blob Storage上的[.ps1]文件并为其指定参数(如果[.ps1]文件需要参数的话)。
附上一段示例脚本,用于关闭HDInsight实例的Windows防火墙,并创建一个具有管理员权限的新用户。
#关闭Windows Server防火墙
Get-NetFirewallProfile | Set-NetFirewallProfile –Enabled False
#创建新用户,用户名:co-admin,密码:Admin#c0
net user /add co-admin Admin#c0
#将用户添加至管理员组
net localgroup Administrators /add co-admin
Windows Azure HDInsight 使用技巧的更多相关文章
- Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集
Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集 继去年 10 月推出 Windows Azure HDInsight 之后,我们宣布 Windows Az ...
- Windows Azure HDInsight 现已正式发布!
今天,我们宣布正式发布 Windows Azure HDInsight 服务.HDInsight 是 Microsoft 提供的基于 Hadoop 的服务,为云提供 100% 的 Apache Had ...
- 介绍Windows Azure HDInsight服务的Hadoop Storm的视频
介绍Windows Azure HDInsight服务的Hadoop Storm的原理,用例及开发入门的视频,收藏一下: http://channel9.msdn.com/Shows/Data-Exp ...
- Windows Azure一些小技巧集合
我最近做了一个Windows Azure上面的项目,自己在做的过程中遇到了很多问题.有的是我自己摸索解决,有的是到网上寻找零碎的信息结合起来解决的.我感觉应当把某些解决方法集中一下,方便我以后查阅,也 ...
- 宣布发布 Windows Azure 导入/导出服务的预览版以及 Web 和移动解决方案场景的若干增强功能
客户评估基于云的存储解决方案时,面临的挑战之一是以经济高效.安全快速的方式从 Blob 存储区移进和移出大量数据.今天,我们很高兴地宣布发布 Windows Azure 导入/导出的预览版,这款新服务 ...
- Windows Azure上的大数据服务: HDInsight的介绍
这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现:HDInsight,以及利用MapReduce来对大数据进行分析,利用Hive进行查询,利用客户端Power ...
- Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Stor ...
- Windows Azure 如何学习Azure
通过上一篇博文可以得知,Azure其实是个平台,上面跑的服务五花八门,可以相互分开使用,同时也可以相互结合. 那我们应该如何来学习Azure呢? 其实有很多种选择,正所谓条条大路通罗马, 官方的tra ...
- Windows Azure Azure 简介
平台介绍 Windows Azure作为一个微软公有云平台,被寄予了厚望. 可以说Windows Azure与Windows RT一样是微软战略转型的重点. 2012年9月微软与中国本土的电信服务提供 ...
随机推荐
- 【转】定时自动启动任务crontab命令用法
每个操作系统都有它的自动定时启动程序的功能,Windows有它的任务计划,而Linux对应的功能是crontab. crontab简介 crontab命令常见于Unix和类Unix的操作系统之中,用于 ...
- 命令行工具解析Crash文件,dSYM文件进行符号化
备份 文/爱掏蜂窝的熊(简书作者)原文链接:http://www.jianshu.com/p/0b6f5148dab8著作权归作者所有,转载请联系作者获得授权,并标注“简书作者”. 序 在日常开发 ...
- 推荐15款最佳的响应式 Web 设计测试工具
响应式网页设计是根据设备的屏幕尺寸,平台和方向来开发的网页,是一种对最终用户的行为和环境作出反应的方法.响应式设计使用灵活的网格和布局,图像和智能使用 CSS 媒体查询的组合.当从它们在不同设备使用的 ...
- (转)轻松学习JavaScript三:JavaScript与HTML的结合
摘自:http://blog.csdn.net/erlian1992 HTML中的JavaScript脚本必须位于<script>与</script>标签之间,JavaScri ...
- 对于Access数据库查询遇到空值的解决办法
1.Access数据库在office环境下对于null是识别的,但是,在开发环境下,Access数据库对于where xxx is null是不识别的. 2.查询空值解决办法:select * fro ...
- C/C++构建系统 GNU autotool
我们在网上经常可以看到c/c++开源的项目,其中很多都是使用GNU的构建系统进行配置和编译的,如果按照规范构造这些的步骤,有一定的门槛和复杂度,下文把关于auotools系列的工具和概要的流程简要汇总 ...
- 墙内下载DropBox离线安装包的方法
让你的浏览器FQ,然后进入官网,点击下载,你会看到这个网页: 现在,只需要在原下载的链接后加上“&full=1”即可.就像这样: https://www.dropbox.com/downloa ...
- iOS开发工具篇-AppStore统计工具 (转载)
随着iOS开发的流行,针对iOS开发涉及的方方面面,早有一些公司提供了专门的解决方案或工具.这些解决方案或工具包括:用户行为统计工具(友盟,Flurry,Google Analytics等), App ...
- Android MediaPlayer的生命周期
MediaPlayer的状态转换图也表征了它的生命周期,如下: 这张状态转换图清晰的描述了MediaPlayer的各个状态,也列举了主要的方法的调用时序,每种方法只能在一些特定的状态下使用,如果使用时 ...
- The Genymotion Virtual device could not obtain an IP address解决办法
打开Genymotion运行虚拟机提示如下错误: The Genymotion Virtual device could not obtain an IP address.For an unknown ...