一个标准的数据分析码农必须要配一台超薄笔记本和一台高性能服务器,笔记本是日常使用,各种小问题的解决,同时也是用于远程连接终端服务器;高性能服务器就是核心的处理数据的平台,CPU、内存、硬盘容量、GPU等都必须要能满足数据分析和建模的要求。

笔记本强烈建议是Mac家的,无论是流畅度、美学、做工都绝对秒杀其他平台,唯一的缺点就是贵;服务器没有选择,只能用Linux了,ubuntu也是强烈推荐。目前除了打游戏,好像实在是找不到需要用Windows的理由了,奈何马上要奔3了,游戏最多也就是偶尔消遣一下,真要像大学时代钻研一门游戏,那还真的是没有精力。

手头有台闲置的电脑,想搭建一台服务器,为今后的实验室搭建做准备(NGS数据分析,深度学习建模)。

专业的事情还是交给专业的人来办,如果有大量的数据分析要求,建立一个IT部门是必须的,SEG等任务调度系统也是必不可少的,这个时候舍不得花钱那就只能忍受龟速的分析进度了。

先明确自己的使用目的,再来考虑配置设备,否则只会造成资源的损失(金钱、计算资源、精力等)。建议先尽量用免费的,充分了解了之后再入手,Google Colab和Kaggle Kernel先用起来。

参考:

使用AMD CPU,打造自己的深度学习服务器

深度学习工作站攒机指南

目的:

  • 远程数据分析站
  • 实验室网站
  • 数据库网站
  • FTP网站

启动盘

制作U盘启动盘,安装Ubuntu系统

方法很多,装win就用老毛桃,简单快速。

装Linux就用rufus,Ubuntu官方推荐的安装器。推荐还是装desktop把,server是纯命令行,起点有点高。

关于u盘分区的选择,频繁穿插于mac于pc之间者,大批量拷贝大型文件者,请用exfat。

分区

菜鸟方案

“/”与swap两个分区就可以应付绝大多数的应用

常用方案

分为3个区

1. 挂载点/;主分区;安装系统和软件;大小为30G;分区格式为ext4;

2. 挂载点/home;逻辑分区;相当于“我的文档”;大小为硬盘剩下的; 分区格式ext4;

3. swap;逻辑分区;充当虚拟内存;大小等于内存大小(本人2G);分区格式为swap

4. /boot ;引导分区;逻辑分区; 大小为200M ;分区格式为ext4;

Ps:(本人安装的是Ubuntu14.04版本,100G硬盘分区方案)

安装

Dell F12 F8,进入U盘启动,建议把第三方库全部勾选,以免后面出现驱动问题。

Ubuntu基本环境配置

第一步,脱离鼠标:最全整理 | 121个Ubuntu终端常用快捷键

初始化Ubuntu root密码

sudo passwd root

安装git

apt-get update && apt-get install git-core

ssh开放远程登录

dpkg -l | grep ssh
sudo apt-get install openssh-server

ubuntu开启SSH服务远程登录

vim

env

gcc

常用lib

流程工具管理

conda

现在必须装python3版本的了,python2已经不再维护。

python环境配置

R环境配置

番外篇

硬盘U盘挂载

sudo fdisk -l
mount -t vfat /dev/sdb1 /media
umount /media/

网络访问

可以访问Google等,但是不能访问国内的网站,没有eth0。

解决办法:下载e1000e-3.5.1.tar.gz

解决Ubuntu网络连接问题

sudo make install
sudo modprobe e1000e
sudo dhclient eth0
vi /etc/network/interface
sudo /etc/init.d/networking restart

make

rpm

chrome

cannot resolve hostname

no ethernet connection

eth0,eth1,eth2……代表网卡一,网卡二,网卡三……lo代表127.0.0.1,即localhost

linux eth0网卡配置详解

macchanger 修改MAC地址

# macchanger
ifconfig eth0
ifconfig eth0 down
macchanger -r eth0
ifconfig eth0 up
macchanger --version    查看当前软件的版本
macchanger -s eth0 查看指定网卡的MAC地址
macchanger -e eth0 修改为同一个厂家的随机MAC地址
macchanger -a eth0 修改为不同厂家同一类型的随机MAC地址
macchanger -A eth0 修改为不同厂家不同类型的随机MAC地址
macchanger -r eth0 修改为完全随机的MAC地址
macchanger -l 显示知名厂家的MAC地址段
macchanger --list=Cisco 显示指定厂家关键词的MAC地址段
macchanger -m xx:xx:xx:xx:xx:xx 修改为指定的mac地址
macchanger -mac=xx:xx:xx:xx:xx:xx 功能同上

几个重要的文件:

/etc/network/interface
/etc/resolv.conf
/etc/resolvconf/resolv.conf.d/base

使用ifconfig后发现没有ipv4地址

         auto eth0
iface eth0 inet dhcp
静态分配的配置方法:
auto eth0
iface eth0 inet static
address 192.168.205.139
netmask 255.255.255.0
gateway 192.168.205.1

当我们无法获取ip地址时可以使用dhcp来动态获取ip地址,安装dhcpcd5和dhcpcd-gtk

sudo apt-get install dhcpcd5
sudo apt-get install dhcpcd-gtk

使用ifconfig查看网卡名称,比如我本子上的有线网无法获取到ipv4,而我的有线网卡的名称为enp7s0,那么使用下面的命令即可获取到ipv4地址

dhcpcd enp7s0  

可以成功获取IP地址

又有个问题,ping百度能找到百度的IP地址,但是就是ping不通:destination host unreachable 

网上类似问题:ping 网关 出现Destination host unreachable

驱动下载

ftp服务器

实验室网站服务器

docker的利弊

其他:

第一次碰到这种邪门的事,一台电脑可以访问一些网站,却无法访问另一些网站,不是DNS解析的问题,因为IP都无法访问。后来有人解释说是局域网内把该网卡给封了,导致这个物理网卡在局域网内无法访问某些特定的IP。

换台电脑就好了,果然各种千奇百怪的问题都有。

从零开始搭建实验室Ubuntu服务器 | 深度学习工作站的更多相关文章

  1. 我的AI之路 —— 从裸机搭建GPU版本的深度学习环境

    之前一直在CPU上跑深度学习,由于做的是NLP方向所以也能勉强忍受.最近在做图像的时候,实在是扛不住了...还好领导们的支持买个虚拟机先体验下.由于刚买的机器,环境都得自己摸索,瞎搞过很多次,也走过很 ...

  2. 安装 Win10 & Ubuntu 16.04 双系统以及 Ubuntu 配置深度学习环境记录

    0. 前言 坑爹的Ubuntu晚上运行还是好好的,第二天中午的时候打开机器发现屏幕分辨率不正常了:2K屏显示800*600左右的分辨率(无法调节),一个图标一拳头大,窗口和网页显示不全.Google查 ...

  3. Linux如何从零开始搭建rsync+serync服务器(centOS6)

    一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除 ...

  4. 搭建Idea授权服务器用于学习

    我自己的搭建服务器http://doit.wenyule.top 懒得看教程或弄不好的小伙伴可以用我搭建的,在激活那选择服务器,输入我上面的地址,注意可以激活2018.2.1之前的.为了防止用的人太多 ...

  5. 第一节,windows和ubuntu下深度学习theano环境搭建

    先讲解windows下深度学习环境的搭建 步骤一  安装Anaconda Anaconda是一个用于科学计算的python发行版,支持linux,mac,windows系统,提供了包管理和环境管理的功 ...

  6. Ubuntu k80深度学习环境搭建

    英伟达驱动安装 英伟达驱动下载:https://www.nvidia.cn/Download/driverResults.aspx/135493/cn/ 由于是驱动的冲突,那么自然是要杀掉和显卡结合不 ...

  7. window配合虚拟机VMware搭建虚拟ubuntu服务器入坑集锦

    1.VMware虚拟机和主机进行网络连接设置 https://jingyan.baidu.com/article/adc81513b86621f723bf7383.html 2.解决linux虚拟机与 ...

  8. CV3——学习笔记-实战项目(上):如何搭建和训练一个深度学习网络

    http://www.mooc.ai/course/353/learn?lessonid=2289&groupId=0#lesson/2289 1.AlexNet, VGGNet, Googl ...

  9. NVIDIA Titan Xp Star Wars Collector's Edition显卡深度学习工作站 + Ubuntu17.10 + Tensorflow-gpu + Anaconda3 + Python 3.6 设置

    为了能让 Tensorflow GPU 版本跑起来,我折腾了1个多星期. 总体参照 https://zhuanlan.zhihu.com/p/32118549 ,安装成功,但还是有不足的地方, 在此记 ...

随机推荐

  1. WinRAR捆绑木马

    准备好木马文件 server.exe 准备一个小游戏 趣味数学计算 压缩 创建自解压格式压缩文件 自解压选项设置 解压路径设置 设置程序 模式设置 压缩完成 使用 开始玩游戏

  2. iOS网络请求之数据解析

    JSON解析 IOS中Json解析的四种方法 NSURLConnection-网络请求浅析 IOS开发:官方自带的JSON使用 XML 解析 GDataXMLNode应用 IOS学习:常用第三方库(G ...

  3. 基于代理类实现Spring AOP

    目录 ProxyFactoryBean类介绍 基于JDK动态代理的Spring  AOP实现 基于CGLIB代理的Spring  AOP实现 Spring的通知类型 ProxyFactoryBean类 ...

  4. Deprecated: Automatically populating $HTTP_RAW_POST_DATA is deprecated and will be removed in a future version. To avoid this warning set 'always_populate_raw_post_data' to '-1' in php.ini and use the

    参考链接 解决方法: 修改 php.ini  : always_populate_raw_post_data = -1 PHP 5.6已经废弃了$HTTP_RAW_POST_DATA

  5. Docker03-安装Docker运行环境

    目录 Ubuntu 18 中安装Docker 查看Docker安装信息 查看Docker版本,命令:docker version 查看Docker运行信息,命令: docker info 检查安装是否 ...

  6. 4.Linq To Xml操作XML增删改查

    转自https://www.cnblogs.com/wujy/p/3366812.html 对XML文件的操作在平时项目中经常要运用到,比如用于存放一些配置相关的内容:本文将简单运用Linq TO X ...

  7. Visual Studio Code 写Python代码

    之前用nodepad++,sublime text3,ultraedit,最近上手微软的vsc感觉上手还行,如果没有pycharm照样可以使用它 https://code.visualstudio.c ...

  8. 项目Alpha冲刺--9/10

    项目Alpha冲刺--9/10 作业要求 这个作业属于哪个课程 软件工程1916-W(福州大学) 这个作业要求在哪里 项目Alpha冲刺 团队名称 基于云的胜利冲锋队 项目名称 云评:高校学生成绩综合 ...

  9. django--远程mysql

    settings.py中配置 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'ttsx', # 数据 ...

  10. MyBatis框架-ResultMap节点

    需求:查询结果要求显示用户名,用户密码,用户的角色 因为在用户表中只有用户角色码值,没有对应的名称,角色名称是在码表smbms_role表中,这时我们就需要联表查询了. 之前我们使用的是给查询结果字段 ...