实习后面需要用到spark,虽然之前跟了edX的spark的课程以及用spark进行machine learning,但那个环境是官方已经搭建好的,但要在自己的系统里将PySpark导入shell(或在Python里可以import pyspark)还是需要做一些操作的.(下图,忘了先define一个sc,+.+|||)自己built的和官方pre-built的版本都可以使用 这个方法. 我们的目标是 任意目录下在shell里启动pyspark 在Python里import pyspark(包括…

Ubuntu下安装.激活并配置Pycharm 最近在学习Python这门语言,到了需要Python编译器学习的阶段,通过网上了解各个Python编译器的优缺点,最后选择了pycharm作为Python学习的开发环境.  pycharm是Python 的一款非常优秀的集成开发环境,除了具有一般 IDE 所必备功能外,还可以在 Windows.Linux.macOS 下使用.在Ubuntu环境下安装和配置pycharm过程中遇到了一些问题,不过最终通过网上了解各种方法解决了这些问题并安装成功.下面简…

之后要在Ubuntu虚拟机上玩PyTorch,安装了Pycharm. 然而每次打开Pycharm需要在其bin目录下进入终端,然后输入sh pycharm.sh,很麻烦.既然Ubuntu是桌面系统,为什么不好好利用呢? 法1(失败):直接在Pycharm中 Tools→Create Desktop Entry.然并卵.... 法2: Ubuntu的快捷方式都放在/usr/share/applications,首先在该目录下创建一个Pycharm.desktop sudogedit /usr/sh…

1.安装virtualenv或virtualenvwrapper pip install virtualenv pip install virtualenvwraper 注意pip的版本号(查看 pip -V) 2.通过virtualenv配置不同的python虚拟环境 2.1首先通过which python2(3)查看相应版本所在文件全路径 python2: virutalenv -p  <python2文件全路径> <虚拟python环境名> 如:virutalenv -p /…

Kali-Linux之前的渗透神器BackTrack是基于Ubuntu的,界面比较友好,字体渲染看起来也比较舒服(也可能是本人用惯了 Ubuntu的缘故).后来官方终止BackTrack,开发Kali-Linux来替代BackTrack,功能更强大.Kali-Linux同 Ubuntu一样,基于Debian,无奈本人觉得Kali-Linux看起来有些丑,尤其字体渲染不能忍,另外自己的Ubuntu虚拟机已经配置好很多 可用的东西了,再搞一个虚拟机来觉得麻烦,想继续基于Ubuntu的环境使用Kali…

之前主要是参考https://www.cnblogs.com/chason95/articles/9760291.html 一般使用 python test.py > ./log.txt 或 python test.py | tee ./log.txt 然后就会缓存很多输出后才能在屏幕或log中查到,就很难受. 后来领导给我了一条命令 srun --partition=GTX1080 --mpi=pmi2 --gres=gpu:1 -n1 --ntasks-per-node=1 --job-na…

2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源. 1.TensorFlow的概念 TensorFlow 是使用数据流图进行数值计算的开源软件库.也就是说,TensorFlow 使用图(graph)来表示计算任务.图中的节点表示数学运算,边表示运算之间用来交流的多维数组(也就是tensor,张量).TensorFlow 灵活的架构使得你可以将计算过程部署到一个或多个CPU或GPU上. TensorFlow 最初是由 Google Brain Team 的研究人员和…

Ubuntu下使用SVN SVN作为日常开发中不可缺少的工具,今天终于开始在Ubuntu下使用了. 1.首先需要安装SVN.Ubuntu下的SVN安装十分简单,sudo apt-get install subversion,然后根据提示一步一步,就完成了SVN的安装: 2.检出文件(checkout). 使用命令:svn co http://{svn repository url} /destination 然后系统会用当前的用户名登录,提示输入密码,如果第一次密码输入错误,会提示你输入用户名:…

1.从ubuntu下的软件中心(面板主页中输入soft即可找到)搜索安装synaptic后,打开新立得一闪就自动关了.解决办法为: 1.1命令行下卸载,命令行下重新安装: 卸载: #purge表示卸载同时删除配置文件 apt-get purge synaptic 安装: apt-get install synaptic 问题仍旧没有解决. 1.2从”系统设置“->”通用辅助功能“->”视觉“,关掉其中的”屏幕阅读器“, 问题仍旧没有解决. 1.3 先按照1.2关掉”屏幕阅读“, 再次按照1.1…

(一)原因 Ubuntu下pycharm安装:https://jingyan.baidu.com/article/60ccbceb4e3b0e64cab19733.html pycharm激活:https://www.cnblogs.com/kuoAT/p/7684551.html (亲测第二个有效) JtBrains学生免费用户申请: https://www.jetbrains.com/student/ 参考答案:http://www.bubuko.com/infodetail-2540409…