Coding theano under remote ubuntu server from local Mac (在本地mac机器上,写、跑、调试、看-远程ubuntu上的theano代码)
本人是奇葩,最近鼓捣了一套在mac上coding远程ubuntu上的theano代码的东东,记之以期造福后人。
Overview: 下图是我的编程环境和网络环境
我期望能在本地mac机器上对远程的ubuntu theano server进行write、run、debug、view matplotlib图片。
mac设置(参考这里)
考虑到在Mac本地调试一部分代码,我把mac也设置好了科学计算环境。
1.1 python
mac安装xcode后会自带很多东西,python就是其中一个。但mac提供的python版本不高,语法与标准python有区别。我使用brew安装了brewed python。
First install homebrew. Follow their instructions, then come back here.
# set up some taps and update brew 打开隐藏的科学库和python库 brew tap homebrew/science # a lot of cool formulae for scientific tools brew tap homebrew/python # numpy, spicy brew update && brew upgrade
# install a brewed python
brew install python
⚠brew安装的东西都在/usr/local/下,比如bin lib等。用which查看brew的python在/usr/local/bin下,mac自带的python 在/usr/bin下,/usr/local/bin should appear in front of /usr/bin。brew的package比如numpy会安装在local/python/site-package下。brew install python 会安装新的pip到local目录。以后brew的需要against brewed python lib的新软件比如macvim,会自动从$PATH中找第一个出现的python的lib。在ipython下,import os, print(os.path)可以看到$PYTHONPATH的路径,这个路径表示了使用哪个python。import numpy后,print numpy.___path__可以看到import的是哪个路径下的numpy。
# install numpy and scipy brew install numpy brew install scipy
1.2 ipython
brew install qt pyqt # test the numpy & scipy install brew test numpy brew test scipy
#画图的 brew install matplotlib # ipython and notebook support brew install zmq pip install ipython[zmq,qtconsole,notebook,test]
1.3 x11
A version of the X.Org X Window System that runs on OS X
x11是一个图形系统,ubuntu就是用x11来显示图形界面,pyhton的matplotlib也可以用x11,也可以用agg在不启动x11的时候使用plot,参考这里。mac有自己的一套图形界面,但也提供了x11支持(参考这里)。
2. 远程ubuntu12.04设置
2.1 theano、python、ipython的安装,(参考theano官方)
2.2 编译安装vim7.4+python版本,参考这里,⚠我几次编译都没能加入python支持,后来没有在编译时选装--enable-perlinterp \ --enable-luainterp \ --enable-gui=gtk2 --enable-cscope —prefix=/usr 这三个组件 才成功加入python支持,很奇怪,我猜是luain的原因。
2.3 youcompleteme安装,参考官方。
3. mac与ubuntu互联互通
我在mac上通过ssh到ubuntu上用vim写python代码。调试时我希望能在mac上通过远程连接ubuntu的ipython的pdb
来调试。调试方法参考这里。问题是如何建立到远程python的链接呢?ipython的分离式设计给我提供了机会,参见下图。
ipython分成了kernel和frontend前端界面两个独立的部分。kerner可以运行在ubuntu上,而frontend可以运行在mac上。
3.1 方法1,在mac上用qtconsole连接远程kernel(请参考1 2)
ubuntu端:
在ubuntu上启动ipython kernel,并绑定到ip,这样kernel就在192.168.2.6的41746 52697 52331 33016 58260这5个port上提供服务了。
server > ipython qtconsole —ip=192.168.2.6
这里也可以用ipython kernel来启动,但这时就木有x11或者agg支持了。
启动后在ipython中使用命令%connect_info来查看连接信息。
{ "stdin_port": , "ip": "192.168.2.6", "control_port": , "hb_port": , "signature_scheme": "hmac-sha256", "key": "8c035c48-3fd1-4492-801d-aad6bda49293", "shell_port": , "transport": "tcp", "iopub_port": }
启动后会自动生成一个如上内容的文件,这个文件可以在如下目录中找到
congliu@CUDA:~$ ls .ipython/profile_default/security/kernel-.json kernel-.json kernel-.json
mac端:
copy连接文件到本地
scp -P congliu@61.61.61.61:/home/congliu/profile_default/security/kernel-.json ./
启动frontend,连接到防火墙61.61.61.61后面的192.168.2.6。其实是用ssh的端口映射功能先把mac上qtconsole对127.0.0.1的41746 52697 52331 33016 58260这5个port的访问forwarding到远方的192.168.2.6的相应端口上,因为ubuntu在firewall后面,所以还用到了ssh tunnel把mac和61.61.61.61连起来。
[congliu@CongLius-MacBook-Pro~]$ipython qtconsole --ssh=congliu@61.61.61.61: --ip=192.168.2.6 --existing ./kernel-.json
3.2 方法2 ,在mac上用notebook连接远程kernel(请参考这里)
3.3 方法3,使用ssh的x11 forwarding 功能(请参考这里)
ssh还真是强大,可以把本该在ubuntu上通过x11显示图形,forward到mac上显示,当然前提是mac上要装好x11的服务(参考这里)。在ubuntu的命令行中输入ipython qtconsole就是在mac上打开一个qtconsole。此时,mac上的python和ipython根本没有运行,mac上的x11就是从ubuntu上的x11接收指令然后显示在本地而已。ubuntu上同时运行了ipython的kernel和frontend。
Coding theano under remote ubuntu server from local Mac (在本地mac机器上,写、跑、调试、看-远程ubuntu上的theano代码)的更多相关文章
- 基于Ubuntu Server 16.04 LTS版本安装和部署Django之(三):设置上传文件夹权限(这里测试用完全共享)
基于Ubuntu Server 16.04 LTS版本安装和部署Django之(一):安装Python3-pip和Django 基于Ubuntu Server 16.04 LTS版本安装和部署Djan ...
- 解决Ubuntu Server 12.04换了网卡MAC地址后 网络不可用的问题.
重装了系统,新建了一个ubuntu虚拟机,加载原来的镜像,结果启动后网络变得不正常了,提示信息 Waiting for network configuration...Waiting up to 60 ...
- ubuntu server安装OVS
安装 Open vSwitch (Ubuntu Server 16.04) 1.查看主机系统内核版本:uname –a 2.上传openvswitch软件包,解压后执行安装: 更新下载源 $ sud ...
- 实战Ubuntu Server上配置LXDE+VNC环境
1.安装x-window 使用apt-get 安装 xorg sudo apt-get install xorg 如果提示以下内容,就说明需要update下源列表,使用sudo apt-get upd ...
- [转]ubuntu server上网配置
[转]ubuntu server上网配置 http://blog.sina.com.cn/s/blog_6c9d65a101011pyt.html 今天我的ubuntu server上不去网了,所以重 ...
- ubuntu server配置xmanager
ubuntu server配置xmanager ubuntu是典型的多用户多任务操作系统,通过XDMCP方式可以轻松的实现远程的多用户同时登录ubuntu任务. www.2cto.com ...
- ubuntu server 14.04.4 无线网卡没有启用,找不到wlan0端口
Ubuntu Server默认的情况下是不会启用无线网卡的,想想实际服务器上怎么可能有无线网卡呢,呵呵.所以我们需要手动来启用无线网卡,难点就在这里了. 使用ifconfig命令,发现没有wlan口, ...
- ubuntu server 14.04 LTS下搭建LAMP环境之最详细笔记之一U盘安装双系统
前言: 一直在WIN上使用PHP,不喜欢用WAMP,每次都是手动在windows配置环境,偶尔有一次装了小红帽玩了两天,感觉不是很习惯就换了回来,过了没几天见讨论LAMP环境,于是安装了ubuntu的 ...
- Ubuntu Server+openerp
转自:http://www.2cto.com/os/201212/180118.html 今天主要完成OPENERP部署的第一步,安装Ubuntu Server操作系统: 1.将计算机的BIOS设定成 ...
随机推荐
- H5的学习之旅-H5的实体(14)
H5有些关键字比如<等等是显示不出来的,这时候,就需要用实体来表示,实体我理解就是最初的编码 代码实例 <!DOCTYPE html> <html lang="en& ...
- 【嵌入式开发】C语言 命令行参数 函数指针 gdb调试
. 作者 : 万境绝尘 转载请注明出处 : http://blog.csdn.net/shulianghan/article/details/21551397 | http://www.hanshul ...
- SpannableString 给TextView添加不同的显示样式
TextView是用来显示文本的,有时需要给TextView中的个别字设置为超链接,或者设置个别字的颜色.字体等,那就需要用到Spannable对象,可以借助Spannable对象实现以上设置 myT ...
- SpriteBuilder中关于大量CCB文件的数字命名建议
开发者总是频繁的填充文件名字使用额外的0,以此来对抗长久以来的长痘:数字排序.如果你觉得在数字名字前添加额外的0是一个好主意,比如说Level0001,因为可能你会创建数以千记的关卡--请不要这样做! ...
- DES
本文对DES的介绍部分摘自博文DES加密算法的C++实现,具体实现则由自己完成. 另外,DES的官方文档链接见这里,在维基百科上也有比较详细的介绍.不过,DES已经被证明是不安全的(可见于RSA公司 ...
- 基于Bresenham和DDA算法画线段
直线:y=kx+b 为了将他在显示屏上显示出来,我们需要为相应的点赋值,那么考虑到计算机的乘法执行效率,我们肯定不会选择用Y=kx+b这个表达式求值,然后进行画线段. 我们应当是将它转化为加法运算. ...
- Java继承与多态
感慨一下,到了现在感觉Java里面很多东西都是模模糊糊,不能这样了,一点点解决吧.今天看了继承与多态的一些内容,感觉看得很浅,先写下来,算是巩固,如果后面看到更好的内容,再慢慢加上去. 继承与多态,他 ...
- window配置mongodb集群(副本集)
参数解释: dbpath:数据存放目录 logpath:日志存放路径 pidfilepath:进程文件,有利于关闭服务 logappend:以追加的方式记录日志(boolean值) replSet:副 ...
- 视频博文结合的教程:用nodejs实现简单的爬虫
教学视频地址: https://v.qq.com/x/page/b0643tut4ze.html 前言 本喵最近工作中需要使用node,并也想晋升为全栈工程师,所以开始了node学习之旅,在学习过 ...
- Shell排序(改良的插入排序)
Shell排序算法最初是由D.L Shell于1959年提出,假设要排序的元素有n个,则每个进行插入排序是并不是所偶的元素同时进行,而是去一段间隔. Shell首先将间隔设定为n/2,然后跳跃的进行插 ...