修改了hadoop/etc/hadoop/core-site.xml文件中的 <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> 属性值后,会导致原有的hive数据找不到,需要到hive的metastore数据库中更改SDS表中的LOCATION属性,将对应的hdfs参数值改成新的值即可…

用Python写了个用LOAD命令将文件导入Hive的程序,开始代码写成下面这样: def loadToHive(bakFilePath, tbName): try: transport = TSocket.TSocket(HIVE_SERVER, HIVE_PORT) transport = TTransport.TBufferedTransport(transport) protocol = TBinaryProtocol.TBinaryProtocol(transport) client…

1.获取工程所在根路径:根路径=os.path.dirname(os.path.abspath('__file__')) 2.将获取的根路径和相对路径组合:组合路径=os.path.join(根路径,相对路径) 3.规范化组合路径:os.path.normpath(组合路径) 通过以上三步骤就可以完全解决文件定位问题: 例子: def edit_xmlfile(self,filepath,filename,flag,newvalue): print u'--------------即将编辑xml…

Centos7修改profile文件后导致vi command not find,原因是profile文件没有配置正确,系统就无法找到精确命令了.解决方法: 1.在命令行中输入:export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin  这样可以保证命令行命令暂时可以使用.命令执行完之后先不要关闭终端,修正profile文件. 2.保存profile,执行source ~/.etc/profile,是profile生效,然后测试下vi命令,…

先解释下,由于历史原因导致hive中的看到分区比hdfs中的文件夹不匹配,存在hive中分区数有,实际hdfs中无此文件夹. spark中通过sparkSQL读取hive中的该表时,将会出现异常. 解决方案: 1. 检查该表是否是外部表,如果不是,将属性修改为外部表属性. 这里修改为外部表,目的是在删除分区时,不会将已有的数据删除.必要时,先做好备份处理. alter table tablename set tblproperties('EXTERNAL'='TRUE'); 2. 删除异常分区…

1.说明 当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程 会警告说:no datanode to stop.no namenode to stop 等,因为PID文件已经被删除,此时只能用kill命令先干掉,所以现在我们需要修改HADOOP/HBASE/SPARK的PID文件位置: 修改配置前,应先停止相关集群服务: 可以先修改一台的配置,然后分发到其他…

hbase将dfs作为存储,公司测试环境断电后,hadoop集群会因此而损坏一些block文件,这个时候,客户端在读取文件时会报一些错: DataXceiver error processing READ_BLOCK operation Got error for OP_READ_BLOCK 因为文件损坏,我直接是把损坏的文件删除 先检查损坏文件: hadoop fsck / 输出: 注意到 CORRUPT FILES 22:表示有22个损坏的块文件 删除损坏文件: hadoop fsck /…

修改templets模板文件夹的方法: 首先找到系统配置文件common.inc.php,此文件存放在Include目录下,打开common.inc.php来修改默认模板目录templets, 查找:$cfg_templets_dir = $cfg_cmspath.'/templets'; 将上面的红色部分修改为想要的文件夹名称,例如:xinfu800.com_moban,修改完之后需要手动将Templets重命名为:xinfu800.com_moban.上述所说的方法还可以修改插件目录.会员目…

前一段时间,我修改了db2inst1目录下的所有文件的权限,目的是方便其他用户访问和查看里面的文件信息.可是修改了之后,我用IBM data studio就始终连接不上数据库了. 查看了错误代码,看提示应该就是应该我修改了文件的权限导致的这个问题,可是文件权限全部都修改了,要如何才能复原呢,确定是这样原因导致的错误吗? 关于这种情况,我们可以更新实例来解决. Procedure: 停止实例,却换到root用户下,使用命令db2iupdt [root@win disk]$ cd /opt/ibm/…

1,报错提示: 编辑器或项目正在尝试签出在内存中修改的文件,这将导致保存该文件. 在生成过程中保存文件是危险的,这可能会在将来导致不正确的生成输出. 是否仍然继续签出? 2,原因:licenses.licx属性设为了只读. 3,解决: a,搜索''licenses.licx',去掉只读属性; b,LicensesClear.exe放到项目根目录下,双击执行. 递归取消licenses.licx只读属性,源码…