-- 查看当前环境参数配置set -v;-- 重置配置为默认值reset; -- 调整map数-- input的文件大小,集群设置的文件块大小,hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改set mapred.max.split.size=400000000;set mapred.min.split.size.per.node=400000000;set mapred.min.split.size.per.rack=400000000;set hive.i…

CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来.而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中需要使用Yarn做统一的资源调度,建议使用Yarn. CDH对Yarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参…

1 ． Hive  命令行 输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项: 说明: 1. -i 初始化 HQL 文件. 2. -e 从命令行执行指定的 HQL 3. -f 执行 HQL 脚本 4. -v 输出执行的 HQL 语句到控制台 5. -p <port> connect to Hive Server on port number 6. -hiveconf x=y Use this to set hive/hadoop configuration…

动态分区 设置如下参数开启动态分区:hive.exec.dynamic.partition=true默认值:false描述:是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值:strict描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的 设置如下参数配置动态分区的使用环境:hive.exec.max.dynamic.partitions.pernode=100默认值:100描述:each mapper or r…

项目开发中,前端在配置后端api域名时很困扰,常常出现:本地开发环境: api-dev.demo.com测试环境: api-test.demo.com线上生产环境: api.demo.com, 这次是在Vue.js项目中打包,教大家个方法: 使用 npm run build -- xxx   ,根据传递参数xxx来判定不同的环境,给出不同的域名配置. 1.项目中/config/dev.env.js修改: 新增:HOST: '"dev"' 'use strict' const merge…

一.各种设置参数解释 转自http://baike.baidu.com/view/1239908.htm Sql*plus是一个最常用的工具,具有很强的功能,主要有: 1. 数据库的维护,如启动,关闭等,这一般在服务器上操作. 2. 执行sql语句执行pl/sql. 3. 执行sql脚本. 4. 数据的导出,报表. 5. 应用程序开发.测试sql/plsql. 6. 生成新的sql脚本. 7. 供应用程序调用,如安装程序中进行脚本的安装. 8. 用户管理及权限维护等. 二.下面就介绍一下一些常用…

struts.objectFactory这个属性用 于说明Struts2的 对象池创建工厂,Struts2也有自己的对象池,就像Spring那样,在配置文件中你可以引用对象池中的对象,你可以借助于Spring中的对象池, 当想要得到Spring中的对象池时,申明struts.objectFactory为Spring的对象池构建工厂.... struts.serve.static.browserCache 该属性设置浏览器是否缓存静态内容.当应用处于开发阶段时,我们希望每次请求都获得服务器的最新响…

以下内容来自于:http://www.cnblogs.com/aland-1415/p/6849193.html(个别内容掺入了自己的重新整理) cnf={}与**kw: cnf={}这是一个默认参数,即如果不传入该参数的值,会默认将这个参数的值当成空字典 {} 传入函数内. 1.使用tkinter.Tk() 生成主窗口(root=tkinter.Tk()): root.title('标题名')    修改框体的名字,也可在创建时使用className参数来命名:root.resizable(w…

很久没有用springmvc了,今天复习了一下,然后记录一下总结. @Controller     使用 @Controller 注释对将成为 MVC 中控制器的类进行注释并处理 HTTP 请求. @RequestMapping     使用 @RequestMapping 注释对函数进行注释,该函数处理某些 HTTP 方法.URI 或 HTTP 头.此注释是 Spring REST 支持的关键.可以更改 method 参数以处理其他 HTTP 方法. 如: @Controller @Reque…

日志数据的统计处理在这里反倒没有什么特别之处,就是一些 SQL 语句而已,也没有什么高深的技巧,不过还是列举一些语句示例,以示 hive 处理数据的方便之处,并展示 hive 的一些用法. a)          为 hive 添加用户定制功能,自定义功能都位于 hive_contrib.jar 包中 add jar /opt/hadoop/hive-0.5.0-bin/lib/hive_contrib.jar; b)          统计每个关键词的搜索量,并按搜索量降序排列,然后把结果存入…