Open3d之交互式可视化

本篇教程介绍了Open3D的可视化窗口的交互功能。

# -*- coding:utf-8 -*-

import copy
import numpy as np
import open3d as o3d

def demo_crop_geometry():
    print("手动几何裁剪演示")
    print(
        "1) 按两次“Y”以将几何体与Y轴的负方向对齐"
    )
    print("2) 按“K”锁定屏幕并切换到选择模式")
    print("3) 拖动以选择矩形,")
    print("   或者使用ctrl+左键单击进行多边形选择")
    print("4) 按“C”获取选定的几何图形并保存")
    print("5) 按“F”切换到自由视图模式")
    # 加载点云
    pcd = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
    # 可视化几何体供用户交互
    o3d.visualization.draw_geometries_with_editing([pcd])

def draw_registration_result(source, target, transformation):
    """绘制配准结果"""
    source_temp = copy.deepcopy(source)
    target_temp = copy.deepcopy(target)
    source_temp.paint_uniform_color([1, 0.706, 0])
    target_temp.paint_uniform_color([0, 0.651, 0.929])
    source_temp.transform(transformation)
    o3d.visualization.draw_geometries([source_temp, target_temp])

def pick_points(pcd):
    print("")
    print(
        "1) 请使用至少选择三个对应关系 [shift + 左击]"
    )
    print("   按 [shift + 右击] 撤销拾取的点")
    print("2) 拾取点后，按“Q”关闭窗口")
    vis = o3d.visualization.VisualizerWithEditing()
    vis.create_window()
    vis.add_geometry(pcd)
    # 激活窗口。此函数将阻止当前线程，直到窗口关闭。
    vis.run()  # 等待用户拾取点
    vis.destroy_window()
    print("")
    return vis.get_picked_points()

def demo_manual_registration():
    print("手动ICP演示")
    # 加载点云
    source = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
    target = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_2.pcd")
    print("手动对齐前两点云的可视化")
    draw_registration_result(source, target, np.identity(4))

    # 从两点云中拾取点并建立对应关系
    picked_id_source = pick_points(source)
    picked_id_target = pick_points(target)
    assert (len(picked_id_source) >= 3 and len(picked_id_target) >= 3)
    assert (len(picked_id_source) == len(picked_id_target))
    corr = np.zeros((len(picked_id_source), 2))
    corr[:, 0] = picked_id_source
    corr[:, 1] = picked_id_target

    # 利用对应关系估计粗变换
    print("使用用户给定的对应关系计算粗糙变换")
    p2p = o3d.pipelines.registration.TransformationEstimationPointToPoint()
    trans_init = p2p.compute_transformation(source, target,
                                            o3d.utility.Vector2iVector(corr))

    # 用于改善的点对点ICP
    print("执行点对点ICP改善")
    threshold = 0.03  # 3cm距离阈值
    reg_p2p = o3d.pipelines.registration.registration_icp(
        source, target, threshold, trans_init,
        o3d.pipelines.registration.TransformationEstimationPointToPoint())
    draw_registration_result(source, target, reg_p2p.transformation)
    print("")

if __name__ == "__main__":
    demo_crop_geometry()
    demo_manual_registration()

此脚本执行了两个用户交互应用程序：demo_crop_geometry()和demo_manual_registration()。

裁剪几何体

def demo_crop_geometry():
    print("手动几何裁剪演示")
    print(
        "1) 按两次“Y”以将几何体与Y轴的负方向对齐"
    )
    print("2) 按“K”锁定屏幕并切换到选择模式")
    print("3) 拖动以选择矩形,")
    print("   或者使用ctrl+左键单击进行多边形选择")
    print("4) 按“C”获取选定的几何图形并保存")
    print("5) 按“F”切换到自由视图模式")
    # 加载点云
    pcd = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
    # 可视化几何体供用户交互
    o3d.visualization.draw_geometries_with_editing([pcd])

这个函数简单读取了一个点云数据然后调用了draw_geometries_with_editing函数，该函数提供了顶点选择和裁剪功能。

注意
Open3D有一个继承Visualizer类的VisualizerWithEditing类。它提供了图形用户交互功能。同样的例子在自定义可视化中,VisualizerWithEditing()是可以显示的替换掉draw_geometries_with_editing([pcd]).

在几何体显示之后，按两次Y可以将几何体与Y轴的负半轴对齐。在调整好观看视角之后，按K键锁定视图并切换到选择模式。

提示
在实际的选取区域的操作中，一般都是使用正交投影模型（orthographic projection model.）将几何体与任意轴对齐。这个技巧可以避免由于透视投影带来自遮挡问题，使得选取变得容易。

在选择区域时，可以用鼠标拖动（矩形区域）或者 ctrl + 鼠标左键点击（选取多边形区域）。下面的例子展现了多边形选取。

注意选择的区域为深色阴影，如果要保存选取的区域并且丢弃其余的，请按C。他会弹出一个对话框去保存裁剪的区域。裁剪的结果将在显示之后保存。

按F可以结束选择模式进入自由浏览模式。

手动配准

选取对应点

下面的代码使用点对点的ICP去配准两个点云。它通过人工交互来获得初始的对齐。

def demo_manual_registration():
    print("手动ICP演示")
    # 加载点云
    source = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_0.pcd")
    target = o3d.io.read_point_cloud("../../test_data/ICP/cloud_bin_2.pcd")
    print("手动对齐前两点云的可视化")
    draw_registration_result(source, target, np.identity(4))

    # 从两点云中拾取点并建立对应关系
    picked_id_source = pick_points(source)
    picked_id_target = pick_points(target)

这个脚本读取两组点云，并且在对齐之前可视化。

def pick_points(pcd):
    print("")
    print(
        "1) 请使用至少选择三个对应关系 [shift + 左击]"
    )
    print("   按 [shift + 右击] 撤销拾取的点")
    print("2) 拾取点后，按“Q”关闭窗口")
    vis = o3d.visualization.VisualizerWithEditing()
    vis.create_window()
    vis.add_geometry(pcd)
    # 激活窗口。此函数将阻止当前线程，直到窗口关闭。
    vis.run()  # 等待用户拾取点
    vis.destroy_window()
    print("")
    return vis.get_picked_points()

函数pick_points(pcd)创造了一个VisualizerWithEditing实例去模仿draw_geometries，他创造可视化窗口，添加几何图形，可视化几何图形和结束。VisualizerWithEditing提供一种新的交互函数get_picked_points()，他可以返回用户选取的顶点的索引。

在窗口中点击 shift + 左键可以选取顶点。当顶点被选取的时候，可视化窗口会在上面覆盖一个球形。比如，下图是在源点云上选取了三个顶点之后的结果。

将会打印出：

[Open3D INFO] Picked point #58900 (2.1, 1.6, 1.5) to add in queue.
[Open3D INFO] Picked point #43151 (3.3, 1.5, 1.5) to add in queue.
[Open3D INFO] Picked point #76877 (2.9, 1.9, 1.1) to add in queue.

按 q 关闭窗口，之后在目标点云上选取相应的对应点。这个球体的颜色有助于识别相同的对应点。

将会打印出：

[Open3D INFO] Picked point #48028 (1.6, 1.8, 1.3) to add in queue.
[Open3D INFO] Picked point #47210 (2.7, 1.7, 1.4) to add in queue.
[Open3D INFO] Picked point #98733 (2.4, 2.2, 1.1) to add in queue.

提示
为了有一个好的配准结果，应该去选取场景中均匀分散的三个对应点。选取拐角区域的顶点有助于选取高质量的对应点。

使用用户选取的对应关系配准

    assert (len(picked_id_source) >= 3 and len(picked_id_target) >= 3)
    assert (len(picked_id_source) == len(picked_id_target))
    corr = np.zeros((len(picked_id_source), 2))
    corr[:, 0] = picked_id_source
    corr[:, 1] = picked_id_target

    # 利用对应关系估计粗变换
    print("使用用户给定的对应关系计算粗糙变换")
    p2p = o3d.pipelines.registration.TransformationEstimationPointToPoint()
    trans_init = p2p.compute_transformation(source, target,
                                            o3d.utility.Vector2iVector(corr))

    # 用于改善的点对点ICP
    print("执行点对点ICP改善")
    threshold = 0.03  # 3cm距离阈值
    reg_p2p = o3d.pipelines.registration.registration_icp(
        source, target, threshold, trans_init,
        o3d.pipelines.registration.TransformationEstimationPointToPoint())
    draw_registration_result(source, target, reg_p2p.transformation)
    print("")

Demo的后续部分是根据用户提供的对应关系来计算初始化转换。这个脚本通过使用Vector2iVector(corr)建立了成对的对应关系。他利用TransformationEstimationPointToPoint.compute_transformation去计算一个初始化的变换。之后再此基础上使用registration_icp微调。
配准结果如下：

http://www.dtmao.cc/news_show_689725.shtml