相应的pom依赖文件 <dependencies> <!-- <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>0.9.2-incubating</version> <scope>provided</scope> </dependency&…

机房同传了新的系统,不使用dev的话每次开机都要重新更改环境变量(其实也可以在编译命令里添加绝对路径).所以就去学习了一下用bat脚本更改path.以便每次开机可以一键更改添加环境变量 wmic environment where "name='PATH' and username='<system>'" set VariableValue="%PATH%;这里是要添加的路径" 其中前面是一些语法,PATH可以更改成其他的变量,但是作为一个OIER一般不…

本文篇幅较短,内容源于自己在使用SparkSQL时碰到的一个小问题,因为在之后的数据处理过程中多次使用,所以为了加深印象,在此单独成文,以便回顾. 场景 在使用SparkSQL进行数据处理时,碰到这样一种情况:需要更改DataFrame当中某个字段的类型.简而言之,就是需要更改SparkSQL的表结构.出于学习的目的,做了一个简单的Demo.下面来看看这个实例. Example ...... ...... 此处省略相关jar包的引入 首先使用sparkSQL的jsonFile加载HDFS上的一个…

一.脚本分析 OUTPUT_FORMAT("elf32-littlearm", "elf32-littlearm", "elf32-littlearm")   /* 指定输出可执行文件是elf格式,32位ARM指令,小端*/ /*OUTPUT_FORMAT("elf32-arm", "elf32-arm", "elf32-arm")*/OUTPUT_ARCH(arm)          …

一.使用背景 业务驱动技术需要,原来使用 FTP和 Tomcat upload目录的缺陷日渐严重,受限于业务不断扩大,想使用自动化构建,自动化部署,Zookeeper中心化,分布式RPC DUBBO等技术时,遇到文件存储的瓶颈,因此需求一个使用分布式文件系统注入新的活力. 二.环境 参考 http://blog.csdn.net/hhq163/article/details/46536895 这个博主的博客安装比较新 FastDFS 版本. 在 Docker 下 使用最小化安装的 Centos6…

更改用户定义的数据库角色注意事项 需具有以下一项或多项权限或成员身份才能运行此命令: 对角色具有 ALTER 权限 对数据库具有 ALTER ANY ROLE 权限 具有 db_securityadmin 固定数据库角色的成员身份 此外,若要更改固定数据库角色中的成员身份还需要: 具有 db_owner 固定数据库角色的成员身份 不能更改固定数据库角色的名称. 使用SSMS数据库管理工具更改用户定义的数据库角色 1.连接数据库->选择数据库->展开安全性->展开角色->展开数据库角…

从版本3.2开始,Redis包含一个完整的Lua调试器,可以用来使编写复杂Redis脚本的任务更加简单. 由于Redis 3.2仍处于测试阶段,请unstable从Github 下载Redis 的分支并编译它以测试调试器.您可以使用Redis unstable来调试稍后在稳定版本的Redis中运行的脚本,因此调试器已经可用于实际术语. Redis Lua调试器,代号LDB,具有以下重要功能: 它使用服务器 - 客户端模型,因此它是一个远程调试器.Redis服务器充当调试服务器,而默认客户端则是r…

一.概述 SparkSQL 的元数据的状态有两种: 1.in_memory,用完了元数据也就丢了 2.hive , 通过hive去保存的,也就是说,hive的元数据存在哪儿,它的元数据也就存在哪儿. 换句话说,SparkSQL的数据仓库在建立在Hive之上实现的.我们要用SparkSQL去构建数据仓库的时候,必须依赖于Hive. 二.Spark-SQL脚本 如果用户直接运行bin/spark-sql命令.会导致我们的元数据有两种状态: 1.in-memory状态: 如果SPARK-HOME/co…

介绍 在过去,K2没有指定安装过程中要在其数据库上使用的标准排序规则.然而,现在K2引入了标准排序规则,以便在之后使用(如果我没有错的话,它是在4.7). 因此, 问题出现在数据库的排序规则不是Latin1_General_CI_AS的情况,当您移动到新的 SQL server 并将默认值设置为Latin1_General_CI_AS时, 数据库将会不可用,表列.视图和用户定义表等主要组件都将受到影响.对于这些主要组件, 诸如存储过程.索引.函数等的子组件都受到了影响. 因此, 本文将指导您更改…

用SparkSQL构建用户画像 二.  前言 大数据时代已经到来,企业迫切希望从已经积累的数据中分析出有价值的东西,而用户行为的分析尤为重要. 利用大数据来分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度. 三.  初识用户画像 右边是一个人的基本属性,通过一个人的基本属性我们可以了解到这个人的基本信息,左边上图是通过消费购物信息来描述一个人特征,左边下图是通过交际圈信息来描述一个人特征,通过不同的维度,去描述一个人,认识一个人,了解一个人.这就是我们今天所要…

Linux需要首先安装 yum install samba-client linxu添加windows 公共盘  mount -t cifs  user=guest,password=guest //192.168.18.201/public$ /opt mount -t smbfs //guest:guest@ip地址/public$ ~/Public 脚本更改为command可双击使用终端打开 通过工具发送无法打开,压缩后可运行如:a.command…

首先了解以下运行级别对应工具的变化历史: 1.Ubuntu 6.10及以前版本使用Sysvinit. 2.Ubuntu 14.10及以前版本使用Upstart但是还留着Sysvinit并存. https://wiki.ubuntu.com/Upstart https://help.ubuntu.com/community/UpstartHowto 3.Ubuntu 15.04开始预设使用Systemd,但是可以在开机选项选择使用Systemd或Upstart,但是不可同時使用Sysvinit或U…

目标 掌握sparksql操作jdbc数据源 掌握sparksql保存数据操作 掌握sparksql整合hive 要点 1. jdbc数据源 spark sql可以通过 JDBC 从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中 1.1 通过sparksql加载mysql表中的数据 添加mysql连接驱动jar包 <dependency> <groupId>mysql</groupId> &l…

概述 SparkSQL 的元数据的状态有两种: 1.in_memory,用完了元数据也就丢了 2.hive , 通过hive去保存的,也就是说,hive的元数据存在哪儿,它的元数据也就存在哪儿. 换句话说,SparkSQL的数据仓库在建立在Hive之上实现的.我们要用SparkSQL去构建数据仓库的时候,必须依赖于Hive. Spark-SQL脚本 如果用户直接运行bin/spark-sql命令.会导致我们的元数据有两种状态: 1.in-memory状态: 如果SPARK-HOME/conf目录…

五. 电商用户画像环境搭建 众所周知,Hive的执行任务是将hql语句转化为MapReduce来计算的,Hive的整体解决方案很不错,但是从查询提交到结果返回需要相当长的时间,查询耗时太长.这个主要原因就是由于Hive原生是基于MapReduce的,那么如果我们不生成MapReduce Job,而是生成Spark Job,就可以充分利用Spark的快速执行能力来缩短HiveHQL的响应时间. 本项目采用SparkSql与hive进行整合(spark on hive),通过SparkSql读取hi…

概述 FireBug是一个用于网站前端开发的工具,它是FireFox浏览器的一个扩展插件.它可以用于调试JavaScript.查看DOM.分析CSS.监控网络流量以及进行Ajax交互等.它提供了几乎前端开发需要的全部功能.官方网站:www.getfirebug.com 如何获取Firebug? 因为它是Firefox浏览器的一个扩展插件,所以首先需要下载Firefox浏览器.读者可以访问www.mozilla.com下载并安装Firefox浏览器.安装完成后用它访问https://addons.…

原文:http://www.imsiren.com/archives/547 一个简单的扩展模块 PHP非常容易扩展,因为它提供了我们想用的所有API. 如果要新建一个扩展,需要在PHP源码中执行ext_skel 位置 PHP源码目录/ext/ext_skel 它有几个参数 –extname=module module is the name of your extension –proto=file file contains prototypes of functions to create…

更新操作,一般用这个的,应该不会很多吧!ES本身还是一个倾向于查询检索的框架,对于这种更新的操作,太过频繁总归是不好的. 不过阅读本篇后,你可以使用Script对所有的文档执行更新操作,也可以使用doc对部分文档执行更新,也可以使用upsert对不存在的文档执行添加操作. 更新 Update更新操作允许ES获得某个指定的文档,可以通过脚本等操作对该文档进行更新.可以把它看成是先删除再索引的原子操作,只是省略了返回的过程,这样即节省了来回传输的网络流量,也避免了中间时间造成的文档修改冲突. 下面就…

根据一些测试整理出来的一份方案(转自http://www.cnblogs.com/lulu/): 1. Redis 性能 对于redis 的一些简单测试,仅供参考: 测试环境:Redhat6.2 , Xeon E5520(4核)*2/8G,1000M网卡 Redis 版本:2.6.9 客户端机器使用redis-benchmark 简单GET.SET操作: 1. 1单实例测试 1. Value大小:10Byte~1390Byte 处理速度: 7.5 w/s,速度受单线程处理能力限制 2. Valu…

和H3C中的acl很像,或者就是一会事,这就是不知道底层的缺陷,形式一变,所有的积累都浮云了 参考准确的说copy from http://www.ibm.com/developerworks/cn/linux/network/s-netip/,IBM伟大的公司,文章没有关于权限的琐碎声明,话说回来,别人可读,就有权利粘贴,只要目的不脏 可以做什么:1,安全2,阻塞广告 1,网络中的位置 2,内核相关配置 CONFIG_PACKET : 如果要使应用程序和程序直接使用某些网络设备,那么这个选项是…

原文:http://forum.android-studio.org/forum.php?mod=viewthread&tid=236&extra=page%3D1%26filter%3Dtypeid%26typeid%3D9%26typeid%3D9 Ubuntu下面安装Android Studio一般有下面这几种方法: A.添加软件源直接apt安装 B.下载 deb包.外加 JDK安装 C.下载JDK.Android-Studio.android-sdk-linux自行安装 对于以上A…

FireBug是一个用于网站前端的开发工具,它是Firefox浏览器的一个拓展插件,它可以调试JavaScript.查看DOM.分析CSS.监控网络流量以及进行Ajax交互等.提供了几乎前端开发需要的全部功能. FireBug总共包含6个面板,分别是控制台,HTML,CSS,脚本,DOM和网络 1. 控制台面板 控制台面板用于记录日志,概览,错误提示和执行命令行,同时也用于Ajax的调试. FireBug提供如下几个常用的记录日志的函数. console.log:简单的记录日志. console…

详细图文并茂以及git flow工具解释参考: http://danielkummer.github.io/git-flow-cheatsheet/index.zh_CN.html 原文地址:http://nvie.com/posts/a-successful-git-branching-model/ 本文中我将介绍我在多年的项目开发中使用的开发模型,这个模型被实践检验为正确有效的模式.本文中,我将不会涉及到项目的任何细节,只讨论关于分支策略和release管理 为什么要使用Git? 网上有很多…

根据一些测试整理出来的一份方案: 1. Redis 性能 对于redis 的一些简单测试,仅供参考: 测试环境:Redhat6.2 , Xeon E5520(4核)*2/8G,1000M网卡 Redis 版本:2.6.9 客户端机器使用redis-benchmark 简单GET.SET操作: 1. 1单实例测试 1. Value大小:10Byte~1390Byte 处理速度: 7.5 w/s,速度受单线程处理能力限制 2. Value 大小:1400 左右 处理速度突降到5w/s 样子,网卡未能…

简 介 英文版下载: PHP 5 Power Programming PHP取得成功的一个主要原因之一是她拥有大量的可用扩展.web开发者无论有何种需求,这种需求最有可能在PHP发行包里找到.PHP发行包包括支持各种数据库,图形文件格式,压缩,XML技术扩展在内的许多扩展. 扩展API的引入使PHP3取得了巨大的进展,扩展API机制使PHP开发社区很容易的开发出几十种扩展.现在,两个版本过去了,API仍然和PHP3时的非常相似.扩展主要的思想是:尽可能的从扩展编写者那里隐藏PHP的内部机制和脚本…

WWW.unity3d.com.cn Unity Project  unity的项目文件/专案 Scene  unity的场景文件 Scene 场景视窗 Game 预览视窗 H．.. 物件视窗 Project项目/专案管理视窗 I．....属性栏(监测视窗) 材质 MeshRenderer 组件 第三人称控制器自动捕捉的是带有MainCamera标签(tag)的摄像机   子文件夹含有Assets文件夹 unity项目文件   aaa.Unity Scene File    unity场景文件…

最近碰到了一个众所周知的32bit的 SSIS 包在64bit的SQL Server环境的执行问题. 我看了一些解决方案,比如修改在SSDT里面修改 debug 选项(Run64BitRuntime = false) 或者建立一个job执行的时候强制以32bit方式运行. 不过我发现这些方式并不合适大型的自动化环境. 你可能在测试SSIS包的候会用这些方法 ,但是你部署到SSIS服务器的时候不一定想要这么做. 我想还有一个方法就是建立一个job, 强制包为32bit执行模式.然后建立一个脚本更改…

介绍 字体提供了包含字符的视觉表现的资源.在最简单的等级中,其包含由字符编码到表示这些字符的形状(被称为字形)的映射信息.根据一组标准字体属性被分入一个字体家族的字体共享一个通用设计风格.在一个家族中,表现指定字符的形状,可以通过笔画粗细.倾斜或相对宽度而彼此改变.一个给定的字体外观是为这些属性的一个唯一组合而设计的.对于文本的给定范围,在渲染这些文本时使用CSS字体属性选择所使用的字体家族及家族中的字体外观.作为一个简单的例子,为了使用Helvetica字体的粗体形式,可以使用: body {…

享下链接:http://blog.csdn.net/xieyufei/article/details/33770067(注意这里主要说明怎么设置删除过期备份文件) 先说下sqlserver使用job删除过期备份文件总体思路:①备份数据库文件的时候命名要有规则,如:"PTM_WorkOrder_"+当前时间(年月日)+"_"+当前小时[强调一下:无论你命名规范是什么一定要带上时间] ②删除过期备份文件实质就是使用sql语句删除指定文件(这也是为什么备份文件命名要带上时…

最近重新认识了一下Redis,借着这个机会,也整理一篇算是比较详尽和全面的文章吧.   缓存 缓存就是数据交换的缓冲区(称作Cache)——摘自百度百科.无论是在计算机硬件体系结构还是软件体系结构中,缓存都是提高系统性能的重要手段,应用十分广泛,如:CPU多级缓存.磁盘缓存.操作系统缓存.数据库缓存.浏览器缓存等.互联网的高速发展不断挑战WEB系统的性能极限,随着分布式集群应用的日益广泛,对缓存技术的要求也越来越高,除高性能外,还要满足动态扩展性.高可用性等.   Redis简介 Redis —…