视觉传感器的属性设置栏中还有如下几个选项:

  • Ignore RGB info (faster): if selected, the RGB information of the sensor (i.e. the color) will be ignored so that it can operate faster. Use this option if you only rely on the depth information of the sensor. 当只需要获取深度图像时就可以勾选这一选项,以提高运行速度。
  • Ignore depth info (faster): if selected, the depth information of the sensor will be ignored so that it can operate faster. Use this option if you do not intend to use the depth information of the sensor. 只需要彩色图像时勾选这一选项。
  • Packet1 is blank (faster): if selected, then V-REP won't automatically extract specific information from acquired images, so that it can operate faster. Use this option if you do not intend to use the first packet of auxiliary values returned by API functions simReadVisionSensor or simHandleVisionSensor. 当不需要使用API获取图像中的特定信息时(这些信息保存在Packet1中),可以勾选这一选项。

  15 auxiliary values (default): the values are calculated over all the image pixels and represent the minimum of intensity, red, green, blue, depth value, the maximum of intensity, red, green, blue, depth value, and the average of intensity, red, green, blue, depth value. On a higher resolution image, computation might slow down vision sensors, and if those values are not used, their calculation can be turned off in the vision sensor properties (Packet1 is blank (faster)). Packet1中会保存图像上的特定信息(灰度、RGB、深度的最小/最大/平均值),这些信息通过遍历图中所有的像素点获得,因此对于分辨率很大的图像计算会变慢。$$Packet1 = \{I_{min},R_{min},G_{min},B_{min},D_{min},\quad I_{max},R_{max},G_{max},B_{max},D_{max},\quad I_{avg},R_{avg},G_{avg},B_{avg},D_{avg}\}$$

  视觉传感器的Z轴沿着视线方向,Y轴代表Up方向,X轴垂直于Y/Z轴指向传感器向左边。如下图所示,将传感器放在机器人正前方,可以看出获得的图像跟人眼观察到的一样,没有镜像。图像的X轴与视觉传感器的X轴方向相反,Y轴方向相同:

  • 深度图(depth map)

  为了简单的显示深度信息,将filter设置为如下:

  在场景中建立如下模型:4个大小相同的立方体(设置为Renderable属性),边长为0.5m,离地面高度分别为0m,0.25,0.5m,1m。将摄像机置于地面下方1mm处,near clipping plane设为最小值(1.00e-04m),far clipping plane设为1m;视场Orthographic size设为1m,X/Y分辨率均设为2


  点击开始仿真按钮,在Floating view中将会显示深度图。亮度越小(越黑/深度值越小)代表离摄像机越近,亮度越大(越白/深度值越大)代表离摄像机越远。如果要获得具体的深度数值可以调用simGetVisionSensorDepthBuffer函数:

table depthBuffer = simGetVisionSensorDepthBuffer(number sensorHandle, number posX=,number posY=, number sizeX=,number sizeY=)

  其中depthBuffer一维表保存了图像上指定大小的深度数据。注意表中的数值不是真正的距离,而是归一化的数值,离传感器最近的值为0,最远的值为1,因此如果已知剪切平面的位置就可以计算出真实的深度。Returned values are in the range of 0~1 (0=closest to sensor (i.e. close clipping plane), 1=farthest from sensor (i.e. far clipping plane)) 。由于图像的水平/垂直分辨率均设置为2,因此depthBuffer包含了4个像素点的深度信息:

  -- pixel(1,1) distance is at depthBuffer[1]
  -- pixel(1,2) distance is at depthBuffer[2]
  -- pixel(2,1) distance is at depthBuffer[3]
  -- pixel(2,2) distance is at depthBuffer[4]

  下面代码获取了4个像素点的深度信息,并输出到状态栏中,结果为:0.50, 0.25, 1.00, 0.00

if (sim_call_type==sim_childscriptcall_initialization) then

    -- Put some initialization code here
sensor = simGetObjectHandle("Vision_sensor") end if (sim_call_type==sim_childscriptcall_sensing) then -- Put your main SENSING code here
depthMap = simGetVisionSensorDepthBuffer(sensor)
info = string.format("%.2f,%.2f,%.2f,%.2f",depthMap[],depthMap[],depthMap[],depthMap[])
simAddStatusbarMessage(info) end

  另外,上面提到的Packet1中特定的数据可以通过函数simReadVisionSensor来读取(If additional filter components return values, then they will be appended as packets to the first packet)

number result,table auxiliaryValuePacket1,table auxiliaryValuePacket2,... = simReadVisionSensor(number visionSensorHandle)

  测试可得图像上深度最小(Packet1[5])、最大(Packet1[10])、平均值(Packet1[15] )分别为:0、1、0.44

  • 彩色图像(color image)

  修改一下上面的模型,将立方体分别赋予红、绿、蓝、黑4种颜色,filter设置为默认的”Original image to work image→Work image to output image“

  为了得到像素的RGB值,可以使用simGetVisionSensorImage函数:

table/string imageBuffer = simGetVisionSensorImage(number sensorHandle, number posX=,number posY=,number sizeX=,number sizeY=,number returnType=)

  对于simGetVisionSensorImage函数,返回一维表imageBuffer的长度为sizeX*sizeY*3,RGB值在0~1的范围内(0代表强度最小,1代表强度最大)。如果是灰度图( sensorHandle: handle of the vision sensor. Can be combined with sim_handleflag_greyscale (simply add sim_handleflag_greyscale to sensorHandle), if you wish to retrieve the grey scale equivalent)则image bufferf将只包含灰度信息。imageBuffer[1]、imageBuffer[2]、imageBuffer[3]分别代表像素点(1,1)处的RGB值,依此类推imageBuffer[4]、imageBuffer[5]、imageBuffer[6]代表像素点(1,2)处的RGB值……

  调用simGetVisionSensorImage输出4个像素点的RGB值如下:

  0.00, 0.40, 0.00  →  绿
  0.70, 0.00, 0.00  →  红
  0.00, 0.00, 0.00  →  黑
  0.00, 0.00, 1.00  →  蓝

  函数返回的RGB分量大小与物体颜色的设置有关(漫反射分量(Diffuse component)、高光分量(Specular component)、自发光分量(Emissive component)等参数的设置),这里蓝色立方体的自发光参数设为最大1,绿色和红色的都比较小,因此得到的颜色强度各不相同。

  获取灰度图的代码如下:

imageBuffer = simGetVisionSensorImage(sensor + sim_handleflag_greyscale)

info = string.format("%.2f,%.2f,%.2f,%.2f",imageBuffer[],imageBuffer[],imageBuffer[],imageBuffer[])
simAddStatusbarMessage(info)

  上面提到过有些filter还可以返回一些图像信息,这些信息会保存到Packet2、Packet3...之中(If additional filter components return values, then they will be appended as packets to the first packet)。比如Blob Detection filter就能返回图像上连通区域的信息。Blob检测是对图像中相同像素的连通域进行检测,在计算机视觉中的Blob是指图像中的具有相似颜色、纹理等特征所组成的一块连通区域。Blob分析就是将图像进行二值化,分割得到前景和背景,然后进行连通区域检测,从而得到Blob块的过程。

  调用simReadVisionSensor来获取连通域信息,Packet2中将包含如下数据:

Packet2 = {blob count, dataSizePerBlob, blob1 size, blob1 orientation, blob1 position x, blob1 position y, blob1 width, blob1 height, blob2 size,blob2 orientation, blob2 position x, blob2 position y, blob2 width, blob2 height,...}

  在Tool→User settings中将"Hide console window"前面的勾去掉,打开控制台窗口(因为要使用print函数在控制台输出信息),在Child script中加入如下代码:

if (sim_call_type==sim_childscriptcall_initialization) then

    -- Put some initialization code here

    sensor = simGetObjectHandle("Vision_sensor")

end

if (sim_call_type==sim_childscriptcall_actuation) then

end

if (sim_call_type==sim_childscriptcall_sensing) then

    -- Put your main SENSING code here
result, t0, t1 = simReadVisionSensor(sensor)
if (t1) then -- in t1 we should have the blob information if the camera was set-up correctly
blobCount=t1[]
dataSizePerBlob=t1[]
print(tostring(blobCount).."bolobs") -- Now we go through all blobs:
for i=,blobCount, do
blobSize=t1[+(i-)*dataSizePerBlob+]
blobOrientation=t1[+(i-)*dataSizePerBlob+] --This value is given in radians and represents the relative orientation of the blob's bounding box
blobPos={t1[+(i-)*dataSizePerBlob+],t1[+(i-)*dataSizePerBlob+]} --{position x, position y}
blobBoxDimensions={t1[+(i-)*dataSizePerBlob+],t1[+(i-)*dataSizePerBlob+]} --{width, height} print("blob"..tostring(i)..": position:{"..tostring(blobPos[])..","..tostring(blobPos[]).."} orientation:"..tostring(blobOrientation*/math.pi))
end
end end if (sim_call_type==sim_childscriptcall_cleanup) then end

参考:

V-rep学习笔记:视觉传感器1

Measuring the degree of flatness in a landscape

V-rep学习笔记:视觉传感器2的更多相关文章

  1. CSS学习笔记——视觉格式化模型 visual formatting model

    CSS 视觉格式化模型(visual formatting model)是用来处理文档并将它显示在视觉媒体上的机制.他有一套既定的规则(也就是W3C规范),规定了浏览器该怎么处理每一个盒子.以下内容翻 ...

  2. Android学习笔记--获取传感器信息

    相关资料: 传感器的坐标与读数:http://www.cnblogs.com/mengdd/archive/2013/05/19/3086781.html 传感器介绍及指南针原理:http://www ...

  3. SLAM学习笔记 - 视觉SLAM方法资源汇总

    工具类: ros框架 linux系列教程     vim Eigen     Eigen快速入门 Pangolin  Pangolin安装与使用 数据集: TUM         数据格式 提供pyt ...

  4. ros学习笔记 - 深度传感器转换成激光数据(hector_slam)

    前提条件:1,确保读者已经安装了kinect或者其他深度摄像头的驱动,如果未安装,可以直接在网盘下载:http://pan.baidu.com/s/1hqHB10w 提取密码:wrmn 利用深度相机仿 ...

  5. ANDROID_MARS学习笔记_S05_003_传感器采样率及属性

    1. 2. import android.app.Activity; import android.content.Context; import android.hardware.Sensor; i ...

  6. V-rep学习笔记:视觉传感器1

    Vision sensors, which can detect renderable entities(Renderable objects are objects that can be seen ...

  7. (转) OpenCV学习笔记大集锦 与 图像视觉博客资源2之MIT斯坦福CMU

          首页 视界智尚 算法技术 每日技术 来打我呀 注册     OpenCV学习笔记大集锦 整理了我所了解的有关OpenCV的学习笔记.原理分析.使用例程等相关的博文.排序不分先后,随机整理的 ...

  8. V-rep学习笔记:力传感器

    VREP中可以添加力传感器,用于刚性连接在两个物体之间以测量这两个物体之间的作用力或力矩.如下图所示,力传感器可以测量沿着X.Y.Z三个坐标轴的力和力矩: [Forces and torques me ...

  9. 我的Android进阶之旅------>Android中编解码学习笔记

    编解码学习笔记(一):基本概念 媒体业务是网络的主要业务之间.尤其移动互联网业务的兴起,在运营商和应用开发商中,媒体业务份量极重,其中媒体的编解码服务涉及需求分析.应用开发.释放license收费等等 ...

随机推荐

  1. 为什么你的session不见了

    一:现象 有小伙伴写了下面一段代码,然后发现,随着每次关闭浏览器,count的值重新开始计数了,如下: protected void doGet(HttpServletRequest request, ...

  2. JAVA基础知识之编译、运行、打包

    一:java环境设置在环境变量中设置以下三个变量: JAVA_HOME=C:\j2sdk1.4.1 //可以改为相应的目录CLASSPATH=%JAVA_HOME%\lib\tools.jar;%JA ...

  3. MySQL中的IFNULL,IF,NULLIF函数

    MySQL中的IFNULL函数和IF函数 MySQL中的IFNULL函数类似于Oracle中的NVL函数,其表达式为:IFNULL(expr1,expr2),含义是:如果第一个参数不为空,则返回第一个 ...

  4. Oracle简单的备份和恢复-导入和导出-目录

    ylbtech-Oracle:Oracle简单的备份和恢复-导入和导出-目录 Oracle安全运行离不开良好的备份和恢复机制,因为我们不是DBA.所以我们也就不过多的讲解DBA的备份和恢复.作为程序员 ...

  5. 奇怪吸引子---Chua

    奇怪吸引子是混沌学的重要组成理论,用于演化过程的终极状态,具有如下特征:终极性.稳定性.吸引性.吸引子是一个数学概念,描写运动的收敛类型.它是指这样的一个集合,当时间趋于无穷大时,在任何一个有界集上出 ...

  6. C++ 友元类使用 (friend)

    C++中私有变量对外部类是不能直接访问的,也是不能继承的. 使用友元类可以访问类中的私有方法.私有变量,虽然对类的封装有一定的破坏,但是有时也是很实用的. 在实际中,在修改已有代码时,为了不大改动已有 ...

  7. 前端Js框架汇总【转】

    概述: 有些日子没有正襟危坐写博客了,互联网飞速发展的时代,技术更新迭代的速度也在加快.看着Java.Js.Swift在各领域心花路放,也是煞是羡慕.寻了寻.net的消息,也是振奋人心,.net co ...

  8. HTML5基础扩展——地理位置、本地存储、缓存

    HTML5扩展,继上两篇博客,我们来看一下HTML5的一些扩展的功能,由于HTML5更多是为了兼容电脑浏览器,安卓浏览器,苹果浏览器更多浏览器,或者说为这些浏览器提供一个统一的标准.因此目前在手机上的 ...

  9. printf()详解之终极无惑

    1.printf()简介 printf()是C语言标准库函数,用于将格式化后的字符串输出到标准输出.标准输出,即标准输出文件,对应终端的屏幕.printf()申明于头文件stdio.h. 函数原型: ...

  10. Spring Boot集成MyBatis开发Web项目

    1.Maven构建Spring Boot 创建Maven Web工程,引入spring-boot-starter-parent依赖 <project xmlns="http://mav ...