关于消息的发布与订阅,之前一直使用的是activeMQ基于JMS的消息队列进行操作的,最近听说有一个更高效的消息的发布与订阅技术,就是Kafka. 关于kafka的介绍,在这里就不做过多讲解了,因为我自己也不是很了解,大概就知道它与activeMQ一样,都是具有生产者和消费者的发布与订阅消息的机制. 具体请参见百度百科Apache Kafka. 今天我想说的就是,初遇kafka所踩的坑,非常大的坑!! 今天第一次学习Kafka,参考的是ORCHome网上的资料. 具体使用,我这里不过多介绍,具体

环境:  1.本地window 2.程序部署在centos   一,启动访问权限安全守护程序 新建文件:jstatd.all.policy ,注意路径 grant codebase "$JAVA_HOME/lib/tools.jar" { permission java.security.AllPermission; }; 启动: screen jstatd -J-Djava.security.policy=jstatd.all.policy 二,JAVA启动参数设置 JAVA_OPT

mongodb默认是不能远程连接的,而且在linux安装完你会发现,它的目录极其简单,连个配置文件都没有. 我的mongodb的版本是3.6,目前最新的.https://www.mongodb.com/mongodb-3.6 百度了一下看是有配置文件: mongodb.conf. 又检查了下目录确实没有.然后只能自己创建了. 在官方文档找了关于配置文件的介绍: https://docs.mongodb.com/manual/reference/configuration-options/ 文档很

数据库的数据同步软件sqoop 数据同步 关系型数据库到大数据平台 任务:sqoop 是批量导入数据太慢,如何做到实时的数据同步 实时的数据同步工具: canal 阿里开源的一个数据库数据实时同步的软件,解析mysql的binlog日志进行数据同步 streamset 数据库的数据同步工具 flume 采集mysql的变化的数据,github上面有这样的一个项目,自定义source实时抽取mysql的数据 =============================================

JSCH或 Ganymed Ganymed: Ganymed SSH-2 for Java是用纯Java实现SSH-2协议的一个包. 可以利用它直接在Java程序中连接SSH服务器.官网地址为 http://www.ganymed.ethz.ch/ssh2/ 可以看到最后的更新日志为2006年. JSCH: Jsch 是SSH2的一个纯Java实现.

腾讯云服务器上部署Kafka,使用server.properties中公网IP配置: 启动时候报错: ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.KafkaException: Socket server failed to bind to 配置IP:9092: Cannot assign r

IDEA中新建Maven工程,添加POM依赖, 在IDE的提示中, 点击 Import Changes 等待自动下载完成相关的依赖包. <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&

本文转载自http://www.voidcn.com/article/p-tlrtkqlp-k.html 1  rmijdbc远程连接access数据库 正常情况下,常用的数据库sql server, oracle,mysql等(曾经有同学居然说除了sql server和oracle就没有DBMS了...天...),做为一个服务在服务器上跑,java需要远程连接的时候使用jdbc非常方便.可是有的时候,也就是在一些非常特殊的情况下,使用sql server, oracle等数据库有点大炮打蚊子的

当Java API远程连接出错:Can't get the locations 原先填入的是IP地址,后来改为HOSTS文件中配置的主机名问题解决,如下红色字体部分: conf.set("hbase.zookeeper.quorum", "hostname"); conf.set("hbase.zookeeper.property.clientPort", "2181");

在VMware虚拟机下搭建了hadoop集群,ubuntu-12.04,一台master,三台slave.hadoop-0.20.2版本.在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功.但是当在windows下eclipse-3.3 远程连接hadoop,DFS locations可以连接上,但运行mapreduce实例时报错,如下: 13/07/02 13:37:04 WARN conf.Configuration: DEPRECATED:

JAVA jdbc thin远程连接并操作Oracle数据库 by:授客 QQ:1033553122 测试环境 数据库:linux 下Oracle_11g_R2 编码工具:Eclipse 编码平台:Win7(未安装Oracle数据库,也没安装ODBC驱动) JDK:jdk-6u14-windows-i586 备注:想学oracle的同学,建议在Linux.Unix平台下进行学习,如果觉得安装麻烦,可以加全国软件性能测试交流群:7156436,免费获取Oracle_11g_R2 linux虚拟机及

1.修改配置hive-site.xml    hadoop core-site.xml限制---参考Hive记录-部署Hive环境 2.启动hadoop #sh /usr/app/hadoop/sbin/start-all.sh 3.jps查看五大进程是否齐全:NameNode  DataNode NodeManager ResourceManager SecondaryNameNode 4.启动hiveserver2服务 #hive --service hiveserver2 #netstat

redis官网地址:http://www.redis.io/ 最新版本:2.8.3 在Linux下安装Redis非常简单,具体步骤如下(官网有说明): 1.下载源码,解压缩后编译源码. $ wget http://download.redis.io/releases/redis-2.8.3.tar.gz $ tar xzf redis-2.8.3.tar.gz $ cd redis-2.8.3 $ make (a)此时如果报错:/bin/sh: cc: 未找到命令 说明没有安装gcc 解决方法:

package jnet;//客户端程序,使用套接字连接服务器import java.net.*;import java.io.*;import javax.swing.*; public class socketClient { public static void main(String[] args) { String string=null; Socket c_socket; DataInputStream inputStream = null; DataOutputStream out

在今天的学习Redis中报错 Connection refused: connect 我总结了有三种情况: 1.远程服务器中的Redis没有开启. 2.远程连接地址出错,或者是端口出错. 3.远程服务器的端口没有在防火墙中开放,不能访问.

目录 xrdp方式 vnc方式 xrdp方式 ---------------------------------------------------------------------------------------------------------------------------------------------------------- 转载于利用XRDP远程登陆linux系统 一般情况下我们用ssh客户端远程登陆inux系统,至于图形界面下的linux远程登陆工具,我们一般都会

今天在本地连接linux服务端的mysql始终报错61,谷歌后找到原因: linux的mysql默认是不允许远程连接操作的,在stack上面找到方法:修改mysql配置文件/usr/local/mysql/my.cnf,将bind-address=127.0.0.1改为0.0.0.0.再连接时依旧报错,说host不允许连接.谷歌后找到原因,需要修改mysql user表: x:\>mysql -u root -pvmware mysql> use mysql; mysql> update

不知不觉入行也有一年了,这两天在公司上班有空了就自己装了个vmware虚拟机,装了个红帽6.1完全命令行的操作系统,想着搭个公司现在在用的测试环境,没想到中间碰到了很多问题,不过大部分都解决了,现在可以达到自行上传项目等等操作,在这里把这两天学习的东西记录一下,防止记忆丢失. 一开始,要下载安装虚拟机,我选的是vmware,当然你也可以选择别的虚拟机,比如virtualBox等,虚拟机只是用来装操作系统的一个工具而已,当然vmware可能更强大一些,但是对于我们现在做的操作,随便一个工具就可以.

一.安装tightvnc: tightvnc的安装在安装包中有详细的说明(README文件) 首先你要确保linux已经安装jpeg和zlib库, 2.编译 执行如下两个命令: [root@localhost vnc_unixsrc]xmkmf  [root@localhost vnc_unixsrc]make World 可分别在其下的四个目录中获得四个文件.第一个为静态库,后三个为x86平台的二进制执行程序.vncvviewer为x86-linux平台的client端程序. vncpassw

一.安装tightvnc: tightvnc的安装在安装包中有详细的说明(README文件) 首先你要确保linux已经安装jpeg和zlib库, 2.编译 执行如下两个命令: [root@localhost vnc_unixsrc]xmkmf  [root@localhost vnc_unixsrc]make World 可分别在其下的四个目录中获得四个文件.第一个为静态库,后三个为x86平台的二进制执行程序.vncvviewer为x86-linux平台的client端程序. vncpassw