【AR实验室】ARToolKit之制作自己的Marker/NFT

0x00 - 前言

看过example后，就会想自己动动手，这里改改那里修修。我们先试着添加自己喜欢的marker/nft进行识别。

比如我做了一个法拉利的marker：

还有网上找了一个法拉利logo的图片用于NFT(Natural Feature Tracking):

对应显示的模型是这样的(仅供参考^_^!)

0x01 - marker制作流程

1.制作marker图片

首先我们找到doc/patterns/Blank pattern.png，使用这个空白的marker图片制作出自己想要的marker。之所以使用这个blank pattern，是因为这个空白marker图片的符合marker的基本要求：

必须是方形。
必须有连续的边缘(一般来说全是白色或黑色)。另外在marker里面的pattern部分，我们使用差别较大的两种颜色分别表示前后景（比如此处我用黑色表示法拉利logo，白色作为其背景）。默认情况下，边缘的厚度占pattern图片的1/4。

- 被边缘所包围的部分就是我们所称的pattern，其必须具有旋转不对称性。pattern可以是黑白的，也可以是彩色的。

我们将法拉利的logo弄成黑白的，再添加到blank pattern中。得到以下maker：

2.训练marker图片

我们使用这个在线工具"Tarotaro"进行训练（如果想离线训练，可以使用ARToolKit提供的mk_patt的离线工具）。

a.打开Tarotaro网站并点击下面红框链接。

b.会打开如下的工具。这时将你需要训练的marker放入摄像头视野中，直到marker边缘出现红色边框。

界面介绍：

Mode Select：有Camera Mode和Load marker image两种方式。我们下面使用的就是Camera Mode方式。Load marker image是直接输入本地的marker图片进行训练。

Marker Segments和Marker Size我还不是很清楚是什么。我们这选择默认参数即可。

c.当marker边缘出现红色边框后，我们点击Get Pattern按钮，就可以得到下图，我们可以看到marker边框变成绿色了，此时我们选择Save Current按钮就可以得到对应的pattern文件，此处将其命名为ferrari.patt（初始后缀是pat，可以自己修改为patt）。

3.修改配置文件

我们选择example中的ARApp2的配置文件进行更改。主要是更改models.dat和markers.dat文件。

我们先将ferrari.patt文件和网上搜罗来的ferrari模型文件导入到ARApp2中。

在markers.dat添加

在model.dat添加

4.编译运行

配置文件修改完成后，我们就可以编译运行了。请看结果：

0x02 - NFT制作流程

1.选择图片

NFT其实就是提取图片的Natural Feature(自然特征)然后进行跟踪。ARToolKit中会先对图片进行处理，得到一组数据，后续追踪过程使用的其实是处理得到的数据集。并不是什么图片都可以进行NFT，对于进行NFT的图片，有以下一些要求：

追踪的图片必须是矩形图片。
图片必须是jpeg格式。(大部分商用AR SDK支持多种图片格式，比如EasyAR)
图片本身要有足够多的细节和边缘（自相似度较低，并且空间频率较高）。如果图片带有大量模糊或者细节较少的色块，追踪效果会比较差。
图片分辨率的提升会使ARToolKit提取出更多的特征点，这对于相机接近图片的情况或者使用高精度相机的情况，会大大提升追踪效果。

所以我选择下面这张图片做NFT：

2.提取图片特征

利用genTexData来生成对应的追踪数据

选择提取图片特征的程度，数值越大提取的特征越多。当相机离图片越近的时候，追踪效果会越好。此处使用默认值。

使用Photoshop查看该图片：

发现其分辨率是72，所以Enter resolution to use这部分输入72。

而最大最小分辨率范围，根据Training ARToolKit Natural Feature Tracking (NFT) to Recognize and Track an Image文章中提到的，根据不同相机分辨率及相机远近有不同取值，一般使用20~120最为合适。而我们这边最大分辨率只有72，所以我选择20~72。

得到image set（ferrari-nft.iset）和featureList（ferrari.fset&ferrari.fset3）两组数据

我们使用dispFeatureSet工具可以显示一下看看特征点提取情况：

3.修改配置文件

我们修改ARAppNFT的配置文件来试验我们的成果。

首先添加对应训练数据：

修改markers.dat

和上面marker图片训练一样，添加法拉利模型，并在models.dat中添加法拉利模型显示信息：

4.编译运行

0x03 - 参考资料