opencv cascade.xml在安卓APP中的使用

充电站项目mavic pro自动控制app源码
在上一篇文章中写了怎样训练出cascade.xml文件，这一篇讲解怎样在android app里使用级联分类器进行多目标检测。

首先要做的是在app中导入opencv4android的SDK。opencv4android SDK

配置环境：OpenCV On Android环境配置指南

本项目采用动态链接库，免去安装额外的OpenCV Manager App。

图像处理与识别部分在src的application下的PictureHandle里。

使用步骤：

1.把cascade.xml文件放入res下的raw文件夹里。

2.在activity里加载opencv库：

@Override

    protected void onResume() {

        super.onResume();

        //load OpenCV engine and init OpenCV library

        if(!OpenCVLoader.initDebug()) {

            OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION, getApplicationContext(), mLoaderCallback);

            Log.d(TAG, "Internal OpenCV library not found. Using Opencv Manager for initialization");

        }else {

            Log.d(TAG, "OpenCV library found inside package. Using it!");

            mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);

        }

    }

3.设置链接到opencv库的回调函数mLoaderCallback。在该回调函数里，我们加载cascade.xml文件，并对CascadeClassifier做初始化：

@Override
public void onManagerConnected(int status) {
    switch (status) {
        case LoaderCallbackInterface.SUCCESS:
            isInit = true;
            try {
                // load cascade file from application resources
                InputStream is = context.getResources().openRawResource(R.raw.cascade1);
                File cascade1Dir = context.getDir("cascade1", Context.MODE_PRIVATE);
                mCascade1File = new File(cascade1Dir, "cascade1.xml");
                FileOutputStream os = new FileOutputStream(mCascade1File);

                byte[] buffer = new byte[4096];
                int bytesRead;
                while ((bytesRead = is.read(buffer)) != -1) {
                    os.write(buffer, 0, bytesRead);
                }
                is.close();
                os.close();

                // load cascade file from application resources
                InputStream ise = context.getResources().openRawResource(R.raw.cascade2);
                File cascade2Dir = context.getDir("cascade2", Context.MODE_PRIVATE);
                mCascade2File = new File(cascade2Dir, "cascade2.xml");
                FileOutputStream ose = new FileOutputStream(mCascade2File);

                while ((bytesRead = ise.read(buffer)) != -1) {
                    ose.write(buffer, 0, bytesRead);
                }

                ise.close();
                ose.close();

                mJavaDetector1 = new CascadeClassifier(mCascade1File.getAbsolutePath());
                if (mJavaDetector1.empty()) {
                    Log.e(TAG, "Failed to load cascade classifier");
                    mJavaDetector1 = null;
                } else
                    Log.i(TAG, "Loaded cascade classifier from " + mCascade1File.getAbsolutePath());

                mJavaDetector2 = new CascadeClassifier(mCascade2File.getAbsolutePath());
                if (mJavaDetector2.empty()) {
                    Log.e(TAG, "Failed to load cascade classifier");
                    mJavaDetector2 = null;
                } else {
                    Log.i(TAG, "Loaded cascade classifier from " + mCascade2File.getAbsolutePath());
                }

                cascade1Dir.delete();
                cascade2Dir.delete();
            } catch (IOException e) {
                e.printStackTrace();
                Log.e(TAG, "Failed to load cascade. Exception thrown: " + e);
            }
            break;
        default:
            isInit = false;
            super.onManagerConnected(status);
            break;
    }
}

4.新建的Picture_Detector1类。mavic pro的摄像头传回到app上的预览画面使用安卓texture，我们先从texture里取出一帧图片，保存到bitmap类的变量里。然后将bitmap转为opencv的mat类型数据，接着将图片转为灰度图像，传入detectMultiScale方法里检测目标。
下面是新建的Picture_Detector1类，开一个线程处理图像：

public class Picture_Detector1 implements Runnable{
    private Bitmap bitmap;
    private Handler UIHandler;
    private Rect[] result;

    public void begin() {
        new Thread(this).start();
    }
    public Picture_Detector1(Bitmap bitmap,Handler UIHandler){
        this.bitmap = bitmap;
        this.UIHandler = UIHandler;
    }

    @Override
    public void run() {
        Mat srcimg = new Mat();
        Utils.bitmapToMat(bitmap, srcimg);
        Imgproc.cvtColor(srcimg, srcimg,Imgproc.COLOR_RGBA2GRAY);
        result = detector1(srcimg);
        Message msg = new Message();
        Bundle b = new Bundle();// 存放数据
        b.putSerializable("picturedetector1", result);
        msg.setData(b);
        UIHandler.sendMessage(msg);
    }
}

图像处理函数为 result = detector1(srcimg);
函数代码如下：

public Rect[] detector1(Mat srcimg) {
    if (mAbsoluteTargetSize == 0) {
        int height = srcimg.rows();
        if (Math.round(height * mRelativeTargetSize) > 0) {
            mAbsoluteTargetSize = Math.round(height * mRelativeTargetSize);
        }
    }
    MatOfRect targets = new MatOfRect();
    if (mDetectorType == JAVA_DETECTOR) {
        if (mJavaDetector1 != null)
            mJavaDetector1.detectMultiScale(srcimg, targets, 1.1, 6, 2, // TODO: objdetect.CV_HAAR_SCALE_IMAGE
                    new Size(mAbsoluteTargetSize, mAbsoluteTargetSize), new Size());
    }
    else {
        Log.e(TAG, "Detection method is not selected!");
    }
    return targets.toArray();
}

CascadeClassifier为级联分类器检测类，使用Adaboost的方法，提取LBP\HOG\HAAR特征进行目标检测，加载traincascade进行训练的分类器。
detectMultiscale函数为多尺度多目标检测：
detectMultiScale能够实现多尺度检测，但多尺度检测是通过缩放图像来完成的。多尺度：通常搜索目标的模板尺寸大小是固定的，但是不同图片大小不同，所以目标对象的大小也是不定的，所以多尺度即不断缩放图片大小（缩放到与模板匹配），通过模板滑动窗函数搜索匹配；同一副图片可能在不同尺度下都得到匹配值，所以多尺度检测函数detectMultiscale是多尺度合并的结果。
多目标：通过检测符合模板匹配对象，可得到多个目标，均输出到objects向量里面。
detectMultiScale函数参数解释：
const Mat, —Mat类型的图像，待检测图片，一般为灰度图像加快检测速度。
Rect[],—检测得到的被检测物体的矩形框向量组；为输出量
doublescaleFactor, —图像缩放因子，必须大于1，表示在前后两次相继的扫描中，搜索窗口的比例系数。默认为1.1即每次搜索窗口依次扩大10%;一般设置为1.1 。
intminNeighbors,—构成检测目标的相邻矩形的最小个数(默认为3个)。如果组成检测目标的小矩形的个数和小于 min_neighbors - 1 都会被排除。
如果min_neighbors 为 0, 则函数不做任何操作就返回所有的被检候选矩形框，
这种设定值一般用在用户自定义对检测结果的组合程序上。
int flags, —要么使用默认值，要么使用CV_HAAR_DO_CANNY_PRUNING，如果设置为CV_HAAR_DO_CANNY_PRUNING，那么函数将会使用Canny边缘检测来排除边缘过多或过少的区域。
Size minObjectSize, —最小检测窗口大小
Size maxObjectSize)—最大检测窗口大小（默认是图像大小）
5.在activity里调用Picture_Detector:
新建myhandler，用于处理从线程中接收的数据：

private Rect[] targets1Array = null;
 private Rect[] targets2Array = null;
 private MyHandler1 myHandler1;
 private MyHandler2 myHandler2;
 @Override
 protected void onCreate(Bundle savedInstanceState) {
     setContentView(R.layout.activity_camera);
     super.onCreate(savedInstanceState);
     initUI();
     myHandler1 = new MyHandler1();
     myHandler2 = new MyHandler2();
 }


 class MyHandler1 extends Handler {
     public MyHandler1() {
     }

     public MyHandler1(Looper L) {
         super(L);
     }
     // 子类必须重写此方法，接受数据
     @Override
     public void handleMessage(Message msg) {
         // TODO Auto-generated method stub
         super.handleMessage(msg);
         // 此处可以更新UI
         Bundle b = msg.getData();
         targets1Array = (Rect[]) b.getSerializable("picturedetector1");
         if(targets1Array.length > 0){
             CameraActivity.this.runOnUiThread(new Runnable() {
                 @Override
                 public void run() {
                     mTrackingImage1.setX(targets1Array[0].x);
                     mTrackingImage1.setY(targets1Array[0].y);
                     mTrackingImage1.getLayoutParams().width = targets1Array[0].width;
                     mTrackingImage1.getLayoutParams().height = targets1Array[0].height;
                     mTrackingImage1.requestLayout();
                     mTrackingImage1.setVisibility(View.VISIBLE);
                 }
             });
         }else {
             CameraActivity.this.runOnUiThread(new Runnable() {
                 @Override
                 public void run() {
                     mTrackingImage1.setVisibility(View.INVISIBLE);
                 }
             });
         }
     }
 }

重写onSurfaceTextureUpdated回调函数，用于实时图像处理

@Override
public void onSurfaceTextureUpdated(SurfaceTexture surface) {
    super.onSurfaceTextureUpdated(surface);
    Bitmap bitmap = mVideoSurface.getBitmap();
    picturehandle.new Picture_Detector1(bitmap,myHandler1).begin();
    picturehandle.new Picture_Detector2(bitmap,myHandler2).begin();
}