微软的Azure Data Warehouse是基于MPP架构的分布式系统: Control Node负责管理系统和接受用户的请求,Compute Node负责计算. 目前在国内Azure Data Warehouse已经落地了.可以使用新的Portal页面进行管理,也可以使用PowerShell进行管理. 本文将介绍用PowerShell的管理方式.包括创建.Scale out.Suspend和Resume. 1 环境准备 登陆Azure China,并创建Resource Group $my…

前面几篇文章介绍过Azure的两种VM的模式,包括ASM和ARM.并且介绍了如何用Azure CLI和PowerShell创建虚拟机.本文将介绍如何采用Json的Template来创建基于ARM的VM. 当然采用Json Template的方式创建虚拟机是几种方式中最好的,这样可以便于批量部署.Json文件可以重用. ARM的Template的格式采用的是Json的格式.其需要的几个部分如下: 需要定义的有:parameters,variables,resources和outputs.但只有re…

<Windows Azure Platform 系列文章目录> 本文介绍的是由世纪互联运维的Windows Azure China. 相比于Global Azure (http://www.windowsazure.com),国内由世纪互联运维的Windows Azure在PowerShell仅有细微的差别. Azure Global的IP Rang信息,可以参考:http://www.microsoft.com/en-us/download/details.aspx?id=41653 国内由…

<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China Cloud Update 2015-09-01 发现一个新的命令,在Azure PowerShell命令行中,直接输入以下命令: Add-AzureAccount -Environment AzureChinaCloud 在弹出的界面中,直接输入Azure China的账户和密码,就可以直接添加订阅. 这种方法不会在本地的产生publishsettings文件. 注意:我们在…

在Azure China用自定义镜像创建Azure VM Scale Set 在此感谢世纪互联的工程师Johnny Lee和Lan,你们给了我很大的帮助.因为Azure China的官网没有给出完整的步骤,所以我在这里把完整的步骤总结一下,希望对大家有所帮助. Azure Global有一篇介绍如何用自定义镜像创建Azure VM Scale Set的文章.因为里面用到的"type": "Microsoft.Compute/images" 部分,我自己没在Azure…

<Windows Azure Platform 系列文章目录> 在笔者的上一篇文章中:Azure SQL 数据库仓库Data Warehouse (2) 架构 介绍了SQL DW的工作节点是Work Node,SQL DW是通过横向扩展Work Node的方式,解决PB级别的关系型数据库. 1.有关Work Node性能指标,有一个概念叫做DWU. DWU简单来说就是CPU.内存.IO集合在一起的概念. 请注意:Azure SQL DW的收费内容包含: (1)DWU的数量越大,则Work No…

Azure SQL Data Warehouse & AWS Redshift Amazon Redshift Amazon Redshift 是一种快速.完全托管的 PB 级数据仓库,可方便您使用现有的商业智能工具以一种经济的方式轻松分析您的所有数据.从最低 0.25 USD 每小时(不承担任何义务)直到每年每 TB 1,000 USD(PB 级),成本不到传统解决方案的十分之一.客户通常进行 3 倍压缩,也就是将其成本降低到每年每 TB(未压缩)333 USD. Azure SQL Data…

<Windows Azure Platform 系列文章目录> 在之前的项目中遇到了客户使用SQL数据仓库的场景,在这里记录一下 1.什么是SQL 数据库仓库 (SQL DW) SQL DW是云端的企业级数据仓库,用来处理TB,甚至PB级别的关系型数据库的OLAP(联机分析处理)场景,主要用来做数据分析和查询 2.什么是OLAP OLAP (Online Analysis Processing)联机分析处理.表示从多维数据集的多维结构来对数据进行聚合处理 3.OLAP和OLTP的区别 OLTP…

<Windows Azure Platform 系列文章目录> 在上一篇文章中,笔者介绍了MPP架构的基本内容 在本章中,笔者给大家介绍一下Azure SQL Data Warehouse数据仓库(SQL DW)的架构. 1.SQL DW分为Head Node和Work Node,下图用Control Node和Compute Node表示 SQL DW是用多个Work Node横向扩展的方式,来支持PB级别的大量关系型数据. 应用程序将T-SQL命令发送给Head Node.Head Nod…

<Windows Azure Platform 系列文章目录> 对于传统的自建数据中心,从底层的Network,Storage,Servers,Virtualization,中间层的OS,Middleware,Runtime,最上层的Application,Data,都需要企业进行管理.这就好比农村自建房. 对于公有云平台,一般分为三种类型: IaaS, PaaS和SaaS. Microsoft Azure平台属于IaaS和PaaS范畴. 1. IaaS 对于用户来说,底层的Network,…

一.Azure PowerShell部署   1.使用 PowerShellGet 在 Windows 上安装 Azure PowerShell 从 Azure PowerShell 版本 6.0 开始,Azure PowerShell 需要 PowerShell 版本 5.0. 若要查看在计算机上运行的 PowerShell 的版本,运行以下命令: #$PSVersionTable.PSVersion 2.Windows PowerShell升级 https://docs.microsoft.…

本主题介绍如何使用 Azure PowerShell 在 Azure Marketplace 中查找 VM 映像. 创建 Windows VM 时使用此信息来指定 Marketplace 映像. 确保已安装并配置最新的 Azure PowerShell 模块. 常用 Windows 映像表 PublisherName 产品 SKU MicrosoftWindowsServer WindowsServer 2016-Datacenter MicrosoftWindowsServer Windows…

本主题逐步讲解如何使用 PowerShell 将通用化 VM 的 VHD 上传到 Azure.从该 VHD 创建映像,然后从该映像创建新 VM. 可以上传从本地虚拟化工具或其他云导出的 VHD. 对新的 VM 使用托管磁盘可以简化 VM 管理,在将 VM 置于可用性集中时提供更好的可用性. 若要使用示例脚本,请参阅将 VHD 上传到 Azure 并创建新的 VM 的示例脚本 开始之前 将任何 VHD 上传到 Azure 之前,应该遵循准备要上传到 Azure 的 Windows VHD 或 VH…

ELK是一个开源的产品,其官网是:https://www.elastic.co/ ELK主要保护三个产品: Elasticsearch:是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展.高可用和管理便捷性而设计. Logstash :是动态数据收集管道,拥有可扩展的插件生态系统,能够与 Elasticsearch 产生强大的协同作用. Kibana :能够以图表的形式呈现数据,并且具有可扩展的用户界面,供您全方位配置和管理. 本文将介绍ELK三个组件的安装和配置,并介绍如何通过ELK监…

<Azure SQL Database Active Geo-Replication简介>一文中,我们比较全面的介绍了 Azure SQL Database Active Geo-Replication 的主要特点和优势.接下来我们将从自动化的角度,介绍如何通过 PowerShell 在项目中实现 Active Geo-Replication 操作. 文章来源:葡萄城产品技术社区 一.从Azure PowerShell开始 MS 专门为管理 Azure 写了一套 PowerShell 组件称为…

<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China 最新的Azure PaaS SQL Database(SQL Azure)已经在国内正式上线了,在这里笔者简单介绍一下. SQL Azure V12是一个SQL Azure的最新的服务,提供用户SQL Server的连接字符串,用户直接使用PaaS SQL Azure服务,无需管理数据库服务器底层的操作系统. 与传统SQL Server Virtual Machine相比,A…

场景4 Data Warehouse Management 数据仓库 parallel 4 100% —> 必须获得指定的4个并行度,如果获得的进程个数小于设置的并行度个数,则操作失败 parallel_min_percent : 若设为100,则如上 ILM :信息生命周期管理 将休眠的数据高压缩放在低成本通道上(如磁带机) 将低访问量的数据低压缩放在访问效率低的设备上 将高访问数据不作压缩放在访问效率高的设备上 分区 (官方文档VLDB and Partioning Guide) 单张表容量…

<Windows Azure Platform 系列文章目录> Update 2015-05-10 强烈建议使用AzCopy工具,AzCopy命令行工具,是经过优化的.高性能Azure Storage管理工具. 具体请参考Windows Azure Storage (21) 使用AzCopy工具,加快Azure Storage传输速度 看过我之前几章内容的读者都知道,Azure China和Azure Global服务类型的Endpoint是不同的,比如我们创建一个Azure Storage,…

<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China 注意:本文介绍的是Azure China Storage Private Blob,即不可以通过匿名访问 在笔者之前的文章中,我们介绍了Azure Share Access Signature,可以对设置为Private属性的Azure Container,设置一个临时的访问Token,在这个可以访问的时间内,对某一个Azure Blob资源进行访问. 具体可以参考笔者之前写…

<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China Update 2015-11-20:Azure China CDN服务目前支持HTTS加速,具体请参考文档: https://github.com/mccdn/cdndoc/blob/master/https/CDN%20HTTPS%20Onboarding_21V.md 在笔者之前的文章中,笔者介绍了如何在Azure Global网站使用CDN服务:Windows Azur…

<Windows Azure Platform 系列文章目录> 首先是Q&A时间 1.我在Azure Global拥有测试账号或者免费的MSDN订阅账号,这个账号可以在国内Azure China使用吗? 回答:不可以.Microsoft Azure在国内和国外有2套系统. (1)Azure Global.域名是www.windowsazure.com.是由微软运营的,数据中心在中国大陆以外的地区.客户可以通过Windows Live ID登陆,MSDN订阅用户每月可以免费试用一定额度的…

<Windows Azure Platform 系列文章目录> 之前有很多网友询问我如何通过VS发布Cloud Service至Azure China,这里我专门写篇文章,给大家详细介绍下. 笔者使用的是VS2013,首先我们下载Windows Azure SDK for .NET - 可以通过Azure China网站,地址在http://www.windowsazure.cn/zh-cn/downloads/?sdk=net. - 也可以通过Azure Global网站,地址在http:/…

除了使用门户登入外,还可以使用PowerShell的方式来连接Azure.首先要去下载组件 http://azure.microsoft.com/en-us/downloads/?rnd=1 http://www.windowsazure.cn/downloads/#cmd-line-tools 一个是国际版的,一个是国内版,工具版本相同. 通过Web Platform Installer 来集成安装其实会根据不同操作系统安装一些组件,以下是在Window 10下需要安装的部分 查看是否有这个m…

作者 王枫发布于2014年2月19日 综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的应用,也在潜移默化地渗透到社会的方方面面,影响到每一个人的日常生活,人们日常生活中看到的电视节目.浏览的网页.接收到的广告,都将是基于大数据分析之后提供的有针对性的内容. 微软在大数据领域的战略重点,在于更好地帮助客户"消费"大数据,让所有的用户都能够…

综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的应用,也在潜移默化地渗透到社会的方方面面,影响到每一个人的日常生活,人们日常生活中看到的电视节目.浏览的网页.接收到的广告,都将是基于大数据分析之后提供的有针对性的内容. 微软在大数据领域的战略重点,在于更好地帮助客户“消费”大数据,让所有的用户都能够从几乎任何规模任何类型的任何数据当中获得可以转化…

Visual Studio 2013发布Cloud Service至Azure China <Windows Azure Platform 系列文章目录> 之前有很多网友询问我如何通过VS发布Cloud Service至Azure China,这里我专门写篇文章,给大家详细介绍下. 笔者使用的是VS2013,首先我们下载Windows Azure SDK for .NET - 可以通过Azure China网站,地址在http://www.windowsazure.cn/zh-cn/downl…

Azure China   Azure China (2) Azure China管理界面初探 摘要: <Windows Azure Platform 系列文章目录> 首先是Q&A时间 1.我在Azure Global拥有测试账号或者免费的MSDN订阅账号,这个账号可以在国内Azure China使用吗? 回答:不可以.Microsoft Azure在国内和国外有2套系统. (1)Az...阅读全文 posted @ 2014-05-16 15:41 Lei Zhang的博客 阅读(3…

<Windows Azure Platform 系列文章目录> 最近处理了很多CDN的问题,在这里记录一下. 1.首先介绍一下CDN的原理: (1)用户输入需要访问的URL (比如www.contoso.cn),经过本地的DNS Server进行解析 (2)DNS Server返回www.contoso.cn域名对应的CNAME:www.contoso.cn.mschcdn.com (3)为了得到实际IP地址,浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址 (4)用户向该IP…

可以从在存储帐户中存储为托管磁盘或非托管磁盘的通用 VM 中创建托管映像资源. 然后可以使用该映像创建多个 VM. 使用 Sysprep 通用化 Windows VM Sysprep 将删除所有个人帐户信息及其他某些数据,并准备好要用作映像的计算机. 有关 Sysprep 的详细信息,请参阅如何使用 Sysprep:简介. 确保 Sysprep 支持计算机上运行的服务器角色. 有关详细信息,请参阅 Sysprep Support for Server Roles Important 如果在首次将…

Azure 虚拟机使用 Azure 网络进行内部和外部网络通信. 本教程介绍了如何在虚拟网络中创建多个虚拟机 (VM),以及如何在虚拟机之间配置网络连接. 你将学习如何执行以下操作: 创建虚拟网络 创建虚拟网络子网 使用网络安全组控制网络流量 查看流量规则的实际运行情况 本教程需要 Azure PowerShell 模块 3.6 或更高版本. 运行 Get-Module -ListAvailable AzureRM 即可查找版本. 如果需要升级,请参阅安装 Azure PowerShell 模块…