NetFPGA-1G-CML从零开始环境配置

NetFPGA-1G-CML从零开始环境配置

前言

偶得一块NetFPGA-1G-CML，跟着github对NetFPGA-1G-CML的入门指南，一步步把配置环境终于搭建起来，下面重新复现一下此过程。期间感谢开发板的技术人员支持与帮助，得以成功配置环境。

https://github.com/NetFPGA/NetFPGA-public/wiki/NetFPGA-1G-CML-Getting-Started-Guide

实验工具

• NetFPGA-1G-CML开发板
• 一台有PCIe口的主机

下为工具照片：

1、操作系统的选择

官方推荐Fedora 20，于是我也选择了该操作系统。

• 镜像选择

  镜像为清华大学镜像源的镜像（国内其他镜像源中没有找到Fedora 20 64bit的版本）下载链接

• 系统盘制作

  • 一个8G U盘
  • 系统盘制作工具 PowerISO。（切记不要用软碟通UltraISO(软碟通)，原因软碟通不适合做linux的系统盘，笔者第一次也是采用软碟通进行系统盘制作，结果出现了一些问题，后来用PowerISO一切正常）

可参照这篇文章：制作Linux(Fedora、Ubuntu、CentOS)优盘启动

2、Xilinx开发工具的下载

这个是整个环境安装中最耗费时间的一个地方，建议在windows下用迅雷下载，然后转到fedora下，因为文件相当庞大。之前笔者也下了下列两个工具的最新的版本，可中途也出了莫名其妙的问题，最终成功的环境还是以以下两个工具为基础。

• ISE Design Suite 14.6（笔者选择的是链接中基于Linux的完整安装程序5.88G，之前安装过ISE Design Suite 14.7的，可其中缺少EDK变量，后来重新换成了这个。安装教程：见Reference Operating System链接里Installing Xilinx ISE Design Suite on Fedora 14部分，有一点不一样，连接中版本较老，但链接的提示中，选项该去掉依然参照它）

  tip：ISE工具需要license，否则无法build。如果您已经拥有license，则可导入，否则还有一种办法：百度一下即可发现惊喜。

• Vivado Desgin Suite 15.2 (笔者选择的是链接中，2015.02的版本， Vivado 2015.2: Full Installer For Linux Single File Download Image Including SDK (TAR/GZIP - 4.58 GB) ，安装过程遇ISE类似)

3、获得NetFPGA-1G-CML对应github仓库的权限

在次NetFPGA官网的链接中填入你的相关信息，则工作人员会把拉到对应仓库下，然后可以clone下来到本地。

以下步骤皆基于本仓库。

4、Fedora 20操作系统环境所需配置的安装

下面简单罗列命令，至于每个命令所需安装的内容是为何物，请查看Getting Started Guide的Operating System Setup以及Reference Operating System的Additional Required Installation Packages。

sudo yum install '*stdc*'
sudo yum install libsigc++ libsigc++.i686 qt.i686 qt
sudo yum groups mark convert
sudo yum group install "Fedora Eclipse"
sudo yum install qgit wireshark wireshark-gnome
sudo yum install python
sudo yum install scapy
sudo yum install fxload
sudo yum install bison byacc flex
sudo yum install glibc.i686
sudo yum install kernel-devel
sudo yum install libusb-devel
sudo yum install libpcap-devel
sudo yum install libnet-devel

其后四个命令，由于笔者在安装过程中采用是按tab键得到，相关名称可能会有点差异，具体看操作系统级别（32bit or 64bit）选择安装。

5、环境配置，以及跑一个demo

Step1、获得git仓库权限后，把仓库clone到本地

tip：切记此时你已经获得了该仓库的权限（有时候邮件没收到，可能在垃圾箱里面）

git clone https://github.com/NetFPGA/NetFPGA-1G-CML-live.git

Step2、建立编译环境路径变量

• 取得赛灵思工具的路径

source /opt/Xilinx/14.6/ISE_DS/settings64.sh
source /opt/Xilinx/Vivado/2015.2/settings64.sh

• 取得clone后仓库的路径

路径的信息保存于该仓库的文件bashrc_addon_NetFPGA_10G中，记得根据实际路径进行修改，比如笔者的仓库位于/home/netfpga/Program/NetFPGA-1G-CML-live，所以笔者该文件的信息修改如下：

export NF_ROOT=${HOME}/Program/NetFPGA-1G-CML-live
export NF_DESIGN_DIR=${NF_ROOT}/projects/reference_nic_nf1_cml
export NF_WORK_DIR=/tmp/${USER}
export PYTHONPATH=${NF_ROOT}/lib/python:${NF_DESIGN_DIR}/lib/Python:${NF_ROOT}/tools/scripts:
export LD_LIBRARY_PATH=${NF_ROOT}/lib/java/NetFPGAFrontEnd/bin:${LD_LIBRARY_PATH

然后执行命令

source bashrc_addon_NetFPGA_10G

为了更好确认上部是否写对，可以执行一下命令看看输出

echo $NF_ROOT

此时如果输出为仓库的所在的绝对路径，就证明正确了。

Step3、 Build the Libraries and IP

此处由于笔者还不了解大概这些库的功能，中文无法直接翻译。

tip：这个步骤的过程一定要基于ISE已经导入license

To build the hardware test libraries for the hardware and simulation tests:

cd $NF_ROOT
make hwtestlib

To build the IP cores used by the NF1-CML projects:

make cml_cores

上述两个步骤，若无出现make ...错误都表示步骤已经成功进行。

Step4、编译一个工程

本次 $NF_DESIGN_DIR所选择的工程为 reference_nic_nf1_cml一个简单的网卡（若想编译其他工程，记得去bashrc_addon_NetFPGA_10G修改对应的$NF_DESIGN_DIR路径）

cd $NF_DESIGN_DIR
make

此时你会等待相当长的一段时间，最后如果成功后最后两行会显示如下：

mkdir -p bitfiles
cp hw/implementation/download.bit bitfiles/reference_nic_nf1_cml.bit

Step5、连接FPGA到主机

笔者是用J12的usb jtag引脚作为连接主机的口，这里主要介绍一下相关驱动的安装，以及一些坑。

如图所示

首先下载usb驱动，驱动：rmdir.de/~michael/xilinx/

驱动安装步骤

tar -xvf usb-driver-HEAD-xxxxxxx.tar.gz
cd usb-driver-HEAD-xxxxxxx
source /opt/Xilinx/13.4/ISE_DS/settings64.sh   这里要相应改变
make
./setup_pcusb
cp libusb-driver.so /usr/local/lib/libusb-jtag-driver.so
export LD_PRELOAD=/usr/local/lib/libusb-jtag-driver.so

之后用命令lsusb可以看到

[netfpga@localhost bin]$ lsusb
Bus 001 Device 002: ID 8087:0024 Intel Corp. Integrated Rate Matching Hub
Bus 002 Device 002: ID 8087:0024 Intel Corp. Integrated Rate Matching Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 003: ID 1443:0007 Digilent Development board JTAG   //这个就是我们的设备
Bus 002 Device 003: ID 1c4f:0002 SiGma Micro Keyboard TRACER Gamma Ivory
Bus 002 Device 004: ID 192f:0916 Avago Technologies, Pte.

可是通过impact & 打开ISE impact又有提示如下图所示问题，需重新装驱动

后来在技术人员帮助下，有了一个解决答案，具体的下载文件请移步另外一篇博客：Digilent Xilinx USB Jtag cable。

根据上述做完，即可从impact &看到我们的FPGA芯片。

Step6、烧写程序到FPGA中

进入到项目文件夹下，执行以下命令

make download

然后烧写成功后，会有如下输出

INFO:iMPACT - '1': Checking done pin....done.
'1: Programmed successfully.
Elapsed time =     62 sec.
rm -f bitfiles/download.bit

Step7、安装NetFPGA-1G-CML作为系统设备

首先确保已经把NetFPGA-1G-CML开发板插到PCIe口上，如图所示

然后执行以下命令，并可看到该设备

lspci | grep Xilinx
01:00.0 Ethernet controller: Xilinx Corporation Device 4244

安装NetFPGA-1G-CML驱动，在这之前，请在执行一次

cd $NF_ROOT
source bashrc_addon_NetFPGA_10G
make hwtestlib

安装必要组件

sudo yum install kernel-devel-3.11.10-301.fc20.x86_64

编译驱动

cd $NF_DESIGN_DIR/sw/host/driver
make

安装驱动

sudo insmod nf10.ko

初始化NetFPGA-1G-CML的四个以太网接口

sudo ifconfig nf0 up
sudo ifconfig nf1 up
sudo ifconfig nf2 up
sudo ifconfig nf3 up

执行一下ifconfig，可以看到四个以太网卡出现了

[netfpga@localhost bin]$ ifconfig
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 0  (Local Loopback)
        RX packets 10  bytes 940 (940.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 10  bytes 940 (940.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

nf0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.200.1  netmask 255.255.255.0  broadcast 192.168.200.255
        inet6 fe80::24e:46ff:fe31:3000  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:00  txqueuelen 1000  (Ethernet)
        RX packets 377  bytes 528796 (516.4 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 377  bytes 534074 (521.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.201.1  netmask 255.255.255.0  broadcast 192.168.201.255
        inet6 fe80::24e:46ff:fe31:3001  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:01  txqueuelen 1000  (Ethernet)
        RX packets 377  bytes 528796 (516.4 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 377  bytes 534074 (521.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.202.1  netmask 255.255.255.0  broadcast 192.168.202.255
        inet6 fe80::24e:46ff:fe31:3002  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:02  txqueuelen 1000  (Ethernet)
        RX packets 371  bytes 528372 (515.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 377  bytes 534074 (521.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.203.1  netmask 255.255.255.0  broadcast 192.168.203.255
        inet6 fe80::24e:46ff:fe31:3003  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:03  txqueuelen 1000  (Ethernet)
        RX packets 370  bytes 528316 (515.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 377  bytes 534074 (521.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

p4p1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.105  netmask 255.255.255.0  broadcast 192.168.2.255
        inet6 fe80::922b:34ff:feba:728b  prefixlen 64  scopeid 0x20<link>
        ether 90:2b:34:ba:72:8b  txqueuelen 1000  (Ethernet)
        RX packets 3421  bytes 2595675 (2.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5648  bytes 583390 (569.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Step8、Making Registers

对于这个步骤，笔者较为陌生，编译寄存器的相关映射，再次只做操作步骤，原理还需细究

$ cd $NF_DESIGN_DIR/hw
$ make regs

在此处步骤，笔者遇到一个莫名其妙的问题，编译不通过，然后出去吃个饭，重启了一下，重新打开makefile保存了一下，竟莫名其妙的解决了.(已解决)

解决方案，重新打开一个终端，执行命令

source /opt/Xilinx/14.6/ISE_DS/settings64.sh
source bashrc_addon_NetFPGA_10G

然后在去执行上述步骤

Step9、Verify the Design in Hardware with the Test Infrastructure

最终步骤验证实验，并把四个以太网口按如图所示接上，NF0---NF3，NF1---NF2

cd $NF_ROOT/tools/bin
su -c "./nf_test.py hw --major loopback --minor maxsize"

然后如果测试成功会有如下显示：

Running global setup...  PASS
Running test both_loopback_maxsize... PASS
Running global teardown...  PASS

然后在执行一遍ifconfig，可以发现NF0-3各个网卡的收发包较上次执行ifconfig有了上涨

[netfpga@localhost bin]$ ifconfig
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 0  (Local Loopback)
        RX packets 10  bytes 940 (940.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 10  bytes 940 (940.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

nf0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.200.1  netmask 255.255.255.0  broadcast 192.168.200.255
        inet6 fe80::24e:46ff:fe31:3000  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:00  txqueuelen 1000  (Ethernet)
        RX packets 427  bytes 603796 (589.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 427  bytes 609774 (595.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.201.1  netmask 255.255.255.0  broadcast 192.168.201.255
        inet6 fe80::24e:46ff:fe31:3001  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:01  txqueuelen 1000  (Ethernet)
        RX packets 427  bytes 603796 (589.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 427  bytes 609774 (595.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.202.1  netmask 255.255.255.0  broadcast 192.168.202.255
        inet6 fe80::24e:46ff:fe31:3002  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:02  txqueuelen 1000  (Ethernet)
        RX packets 421  bytes 603372 (589.2 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 427  bytes 609774 (595.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

nf3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.203.1  netmask 255.255.255.0  broadcast 192.168.203.255
        inet6 fe80::24e:46ff:fe31:3003  prefixlen 64  scopeid 0x20<link>
        ether 00:4e:46:31:30:03  txqueuelen 1000  (Ethernet)
        RX packets 420  bytes 603316 (589.1 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 427  bytes 609774 (595.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 30  

p4p1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.105  netmask 255.255.255.0  broadcast 192.168.2.255
        inet6 fe80::922b:34ff:feba:728b  prefixlen 64  scopeid 0x20<link>
        ether 90:2b:34:ba:72:8b  txqueuelen 1000  (Ethernet)
        RX packets 3441  bytes 2598545 (2.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5697  bytes 590789 (576.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

至此，安装环境测试完毕

结语

本篇博客只是把NetFPGA-1G-CML的步骤走了一遍，描述了遇到的问题以及相关解决方案，并没有详细描述每一个步骤的目的，建议读者阅读原github上的Getting-Started-Guide，并以本文作为辅助。

图片较为模糊，很抱歉，也较大。