一种改进的基于SFS原理SMT焊点表面三维重构技术

  摘要: 三维表面重构是计算机视觉的主要任务之一，目前已经发展了各种各样的重构技术，其中利用单幅图像中物体表面明暗变化来恢复其表面形状的技术尤其引人注目，其主要特点是适用于各种其它方法难以应用的场合。
      smt 形成的电路模块产品中焊点的组装质量与可靠性是smt 产品的生命，焊点的三维形态重构是smt焊点形态研究与检测中的重要领域。对焊点的三维形态重构研究，有利于指导改善smt焊点质量及其焊接工艺，提高smt 焊点质量自动检测能力，同时推动智能鉴别技术的发展。本文对smt焊点表面三维重构技术进行研究，传统的基于SFS原理的方法对一些不可接受焊点图像重构出的图像不够理想。本文对传统的方法进行了改进，编写并实现改进后的算法。通过使用相关的图像处理技术，先对smt焊点图像进行处理，然后使用改进后的重构算法重构出smt焊点表面的三维图像，重构出的图像与采用传统方法重构出的图像进行比较，改进的结果比较令人满意。研究过程表明，该方法简便可行。
关键字：smt焊点；三维重构；图像处理；SFS  


0 引言
      由表面组装技术（smt） 形成的电路模块产品(以下简称smt 产品) ,其表面组装焊点(以下简称smt 焊点) 具有既要保障电气性能畅通、又要保障机械连接可靠的特征,它的组装质量与可靠性是smt 产品的生命。对smt焊点进行应力应变、使用寿命、以及采用相关技术对2D图像3D重构分析研究，有利于指导改善smt焊点质量及其焊接工艺，提高smt 焊点质量自动检测能力，同时推动智能鉴别技术的发展[1]。
根据单幅灰度图像恢复物体的三维表面形状是计算机视觉中的一个基本问题，相当于完成一个从二维空间到三维空间的映射，因此是病态的。解决这类问题的一个重要方法是明暗恢复形状（Shaping from Shade 简称sfs）[2]，即根据一个确定的反射模型建立物体表面形状与图像亮度之间的约束关系，并根据对物体表面形状的先验知识建立物体表面形状参数的约束关系，然后对这些约束关系联立求解可得到物体表面的三维形状[5]。近年来,内外的很多学者利用该方法实现了根据单幅图像的三维重构,并将其应用到工业检测与测量、逆向工程及自然景物模拟等领域[3][4]。

1 smt焊点表面三维重构过程
 
    对smt焊点图像3D重构过程如图1所示。通过CCD采集元器件焊点2D图像开始。对元器件焊点进行图像采集以后,得到彩色的BMP图像。在本文的研究中，假设的焊点表面是光滑的（这点在现实中可以得到满足）。
   图像预处理的目的主要是把图像转换成灰度图像,并通过相应的技术改善图像质量,使图像便于识别、易于处理，尽可能恢复焊点表面的光滑, 再通过焊点图像三维重构算法，得到smt焊点三维图像。
 
2 smt焊点图像处理技术
    smt焊点图像采集过程中,由于元器件和焊点上下不平整或者有很多的污点、光源上面有瑕疵等一系列原因,都会使采集到的图像产生噪点。为了提高焊点三维重构的效果,采集的图像并不直接使用,要采用相应的算法对原图像消除噪声,得到比较量想的smt焊点图像。然后，再利用相应的滤波算法改进焊点图像表面的光滑度[6]。
2.1 图像处理技术
  （1）焊点灰度化 
     由于彩色图像不能达到特定三维重构算法的要求,所以必须先将彩色图像转化为灰度图像。对于彩色图像的灰度化，可采用不同颜色表示方法之间的转化来实现。由于通常对图像颜色变换后的结果只关心它的灰度分量，而并不关心它的彩色分量部分。根据R、G、B的值求出灰度值后，就能给出灰度图像的表示，即彩色图像转换为灰度图像。
（2）低通滤波
     灰度化以后的图像并不能消除smt焊点图像上的噪点。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时所要提取的图像信息也主要
集中在其低频部分，使用低通滤波算法去掉
高频干扰又同时保持低频信息。
（3）中值滤波
    中值滤波是一种非线性信号处理技术，其在消除噪声的同时还能保持图像中的细节部分，防止边缘模糊，经典的中值滤波法是对窗口内所有像素点的灰度值进行排序，然后再取中间值作为窗口中心像素的灰度值。经过一次低通滤波去噪，图像已经平滑,但是由于图像可能存在比较大的噪点,这些噪点经过单次或者数次叠加低通滤波也无法去掉的,这时只能通过中值滤波完成。
2.2 图像处理结果
    本文研究选取的测试对象2片0805片式电阻为例,通过CCD图像采集设备，采集到的相应的smt焊点及电阻图像的如图2所示： 

 
通过利用上述的算法，对图2中的图像进行图像处理, 分割出相应的焊点图片,其结果如图3所示：
 
3 SFS算法原理
     在本文的研究过程中，先对内外的一些SFS方法进行了充分的调研和分析，如小值化，梯度法[7] [8]等。下面简单介绍一下SFS的基本原理。
在理想的成像下，图像的灰度满足反射图函数[9]
 
其中,( p,q)为表面方向，n0 =(p0,q0 ,-1)为光源入射方向，E(x,y)表示图像灰度，SFS方法就是从图像灰度计算出物体的表面方向（p,q）。
    光的漫反射模型[6]中，假设光源的入射强度为I，物体表面反射率为常量ρ，在三维坐标轴中，光源矢量与物体表面法向量的夹角为倾角 ，光源矢量与X轴方向向量的夹角为偏角β（曲面高度方向为Z轴方向），测沿法方向的反射强度 E=Iρcosα。图像中任意 点的反射强度为　Ei=Iρcosα；当α=0时，Emax =Iρ，此点的亮度必然大。则图像中亮点的表面法向矢量与光源矢量方向相同，则图像中亮点的表面法向量也随即确定。以光源方向为Z轴建立坐标系统， 点与光源方向的夹角αi的值为：
 
由公式2.2，经过相应的数学计算，可得到偏角 的计算公式：
 
其中，Ex，Ey分别为表面法向矢量沿x, y 方向上的导数，αs，βs分别为光源方向的倾角和偏角。
    求得图像中某一点的倾角αs和偏角βs以后，根据数学计算，得到该点的表面法向量。通过相应的转换和求解，即可计算出每个点的表面法向矢量。根据表面法向矢量可以绘出焊点表面三维形貌,参考文献[10]就是通过此原理重构出的焊点表面三维图像。
从上述SFS原理分析可以看出，通过SFS原理重构出的图像中，点亮，灰度值大，则此点高度高。但对于一些不可接受焊点，如焊料过少或是焊点焊接错误等图像，由于焊盘暴露出来，这些点反射的亮度相比被覆有焊料的点要高，重构后的点高度相对要高，而焊点表面的高度却比较低,重构出的图像效果并不令人满意。
3 改进的SFS算法及实现
    在本文的研究过程中，汲取已有SFS算法的原理优势，结合smt的技术特点，针对上述不可接受焊点三维重构的结果不理想的缺陷，设计了一种改进的根据单幅smt焊点图像进行焊点表面三维重构的算法。
通过公式2.1计算出某一点表面法向矢量沿x, y 方向上的导数Ex，Ey，由公式2.2和2.3得到图像中某一点的倾角αs和偏角βs，我们得到的在光源坐标下求得的表面法向量矢量，需要让其转换到焊点的坐标系。转换后计算出每个点的表面法向矢量。为了得到表面法向矢量高度坐标值，先通过计算所有点的表面法向矢量的灰度值，得到灰度大值和小值。判断灰度大值的位置，此点坐标不在图像中心或分布在图像边缘,则些图片为焊盘暴露点，则对此点及周边的点做特殊处理，灰度值越大，数值转换得到图像中各点对应的相对高度值越小，对于其它的点灰度大，则此点高度高。数值转换后得到图像中各点对应的相对高度值，循环算出各点的相对高度值之后，即完成了焊点图像的三维重构。
改进目的有二点：
(1)区分出焊盘暴露点的和焊点表面上的点；
(2)对焊盘暴露点及周边点的高度重构时进行相应处理，按一定比例缩短化处理。
改进算法具体流程如下步骤：
(1)读取焊点图像，取得图像的长、宽为:L,W，用于判断大灰度值点的相对位置；
(2)获取图像的大的灰度值，并求出大的灰度值对应的x,y坐标，通过与W，H的对比，标记是否为焊盘暴露点，同时求出周边8个相邻点的坐标；
(3)计算光源倾角α和偏角β,计算出旋转矩阵R，维数为size*size;初始化col=0,row=0；
(4)当col<size时转到(5)否则转到(12)；
(5)当row<size时转到(6)否则转到(11)；
(6)计算在x,y方向上的局部微分；
(7)计算光源三维坐标；
(8)转换成物体三维坐标；
(9)计算当前点的高度，对于标记为焊盘暴露点及周围的8个点点进行高度转化处理；
(10)row=row+1；转到(5) ；
(11)col=col+1；转到(4)；
(12)输出输出3D图像；
(13)算法结束。
4 改进的smt焊点三维重构方法实现与比较
我们以上述经过图像处理后得到的焊点图3（b）为例，分别利用传统方法SFS方法和本文描述的改进的SFS方法重构出焊点图3（b）的三维图像，分别得到结果下图所示。
由图4与图5比较可得，重构结果图5优于图4，利用改进后的算法重构出的图像结果比较令人满意。
利用改进后的算法，对可接受焊点进行三维重构，检验对其它类型的焊点重构的效果，对图3（a）进行重构，结果如下图所示：

 
可见，对于可接受焊点，利用改进后的算法重构出的图像不受影响,算法改进基本合理。
5 总结
smt焊点3D重构对焊点的检测具有重要的帮助作用，同时根据重构后的smt焊点3D图像，我们可通过数学形态学的方法得到焊点的面积、周长和焊点边缘等一些信息，对smt焊点做更多的研究。同时将重构后的图像引入3D测量技术，提取smt焊点质量信息，对改善smt焊点质量及其焊接工艺有一定的指导意义和参考价值。本文对基于SFS原理结合图像处理技术的对smt焊点2D图像重构3D图像的方法进行改进，是对SFS原理重构3D图像的一个新的应用拓展。通过与传统方法重构smt焊点表面的三维图像比较，重构效果要优于传统方法的结果，并解决了传统方法对smt焊点 
中由于焊盘暴露出来而引起的重构出的三维图像不理想的问题，后利用改进后的方法对其它可接受焊点表面图像进行三维重构结果也比较令人满意。