一般情况下,开发大数据处理程序,我们希望能够在本地编写代码并调试通过,能够在本地进行数据测试,然后在生产环境去跑“大”数据. 一.nc工具 配置windows的nc端口,在网上下载nc.exe(https://eternallybored.org/misc/netcat/) 使用命令开始nc制定端口为9000(nc -L -p 9000 -v) 启动插件 二.idea中配置,代码以及设置参数 maven配置: <?xml version="1.0" encoding="…

Ruby入门--Linux/Windows下的安装.代码开发及Rails实战 http://www.linuxidc.com/Linux/2014-04/100242.htm Ubuntu 13.04下Ruby的安装 http://www.linuxidc.com/Linux/2013-06/85734.htm 公司有项目组进行系统重构,采用了Ruby On Rails框架,我也抽出时间学习了一下,并对几个原来用Java开发的定时任务.消息监听进行了ruby改造,学习过程中主要参考两本书:<Pr…

MySQL入门——在Windows下安装MySQL 摘要:本文主要说明了如何下Windows环境下安装MySQL. 查看电脑上是否安装了MySQL 打开cmd窗口,输入 services.msc 命令,等待服务界面打开: 如果能在服务中找到MySQL服务,则说明系统已经安装了MySQL: 下载并安装 下载 推荐去官网上下载,在官网上可以选择自己需要的版本,官网上的下载页面为: https://dev.mysql.com/downloads/mysql/ 这个页面默认显示的是最新的下载版本,如果需…

这是ElasticSearch 2.4 版本系列的第一篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 ElasticSearch入门 第三篇:索引 ElasticSearch入门 第四篇:使用C#添加和更新文档 ElasticSearch入门 第五篇:使用C#查询文档 ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套 ElasticSearch入门 第七篇:分析器 Elasti…

1.设置虚拟机nat共享的网卡为固定ip vmware虚拟机使用nat网络时,是VMware Network Adapter VMnet8网卡提供的nat服务.查看VMware Network Adapter VMnet8网卡的网址,比如我的是: 192.168.20.1 255.255.255.0 此时可以在虚拟机中将nat的那个网卡设置固定ip地址: 比如我的debian机器: 在终端中输入 nano /etc/network/interfaces 具体设置为: auto lo iface…

1 前言 Caffe对于像我这样的初学者来说是一款非常容易上手的深度学习框架.关于用Caffe跑自己的数据这样的博客已经非常多,感谢前辈们为我们提供的这么好的学习资源.这里我主要结合我所在的行业,说下如何对跑通具有多通道多格式的遥感数据. 2 数据准备 Caffe封装的非常好,要想将我们的数据运用于Caffe上,我们唯一要做的工作就是准备好Caffe支持的数据输入格式(leveldb/lmdb). Caffe解决方案下有一个工程convert_imageset为我们提供了接口,主要是将图像文件转…

自己安装时候遇到很多问题,接下来把这些问题写出来希望对大家有所帮助 搭建环境: 1.下载安装 java 8 SDK (不要安装最新的10.0) 并配置好环境变量(环境变量的配置就不做介绍了) 2.下载安装 Elasticsearch 5.X  这里注意 只能下载 5.X版本 请勿使用其他版本( 但我们用Exceptionless的时候,会出现如下错误) 3.下载4.1的Exceptionless 发布包 部署安装到本地IIS (也可以在github上拉源码处理) https://github.c…

1.在github上搜索下载winutils.exe相关的一套文件,下载对应hadoop的版本. 2.将所有文件复制到hadoop的bin目录下 3.将hadoop.dll复制到windows\system32目录下 4.添加环境变量HADOOP_HOME指向hadoop目录 5.将%HADOOP_HOME%\bin加入到path里面 完成上述步骤后,可以在windows环境调试hadoop,也可以本地调试远程节点,可以把本地文件上传到远程hadoop节点上.…

storm启动本地集群调试时,有时会找不到rocksdbjni.dll,storm加载该库的时候会先从jkd的bin下找rocksdbjni.dll,如果找不到就从pom文件的依赖包里找,再找不到就会报错,这个时候在pom文件里引入下面的包就可以了 <dependency> <groupId>org.rocksdb</groupId> <artifactId>rocksdbjni</artifactId> <version>5.1.2…

忘记密码咋办: 进入cmd,输入set ORACLE_SID=ymxg  (ORACLE_SID的值为你想登录的oracle实例的SID) 然后输入:sqlplus / as sysdba 最后输入: alter user scott identified by tiger;   (scott需要修改密码的账号,tiger密码) 账号被锁住咋办: cmd中输入sqlplus / as sysdba (以DBA的身份登录另一个用户,有账号密码的,在/前加账号,/后加密码) 然后输入: alter…