Android用surface直接显示yuv数据（三）

本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据（yv12），开发环境为Android 4.4，全志A23平台。

package com.example.myyuvviewer;  

import java.io.File;
import java.io.FileInputStream;
import android.app.Activity;
import android.os.Bundle;
import android.os.Environment;
import android.util.Log;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceHolder.Callback;
import android.view.SurfaceView;  

public class MainActivity extends Activity {  

    final private String TAG = "MyYUVViewer";
    final private String FILE_NAME = "yuv_320_240.yuv";
    private int width = 320;
    private int height = 240;
    private int size = width * height * 3/2;  

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        nativeTest();
        SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView);
        SurfaceHolder holder = surfaceview.getHolder();
        holder.addCallback(new Callback(){  

            @Override
            public void surfaceCreated(SurfaceHolder holder) {
                // TODO Auto-generated method stub
                Log.d(TAG,"surfaceCreated");
                byte[]yuvArray = new byte[size];
                readYUVFile(yuvArray, FILE_NAME);
                nativeSetVideoSurface(holder.getSurface());
                nativeShowYUV(yuvArray,width,height);
            }  

            @Override
            public void surfaceChanged(SurfaceHolder holder, int format,
                    int width, int height) {
                // TODO Auto-generated method stub  

            }  

            @Override
            public void surfaceDestroyed(SurfaceHolder holder) {
                // TODO Auto-generated method stub  

            }});
    }  

    private boolean readYUVFile(byte[] yuvArray,String filename){
        try {
            // 如果手机插入了SD卡，而且应用程序具有访问SD的权限
            if (Environment.getExternalStorageState().equals(
                    Environment.MEDIA_MOUNTED)) {
                // 获取SD卡对应的存储目录
                File sdCardDir = Environment.getExternalStorageDirectory();
                // 获取指定文件对应的输入流
                FileInputStream fis = new FileInputStream(
                        sdCardDir.getCanonicalPath() +"/" + filename);
                fis.read(yuvArray, 0, size);
                fis.close();
                return true;
            } else {
                return false;
            }
        }catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }
    private native void nativeTest();
    private native boolean nativeSetVideoSurface(Surface surface);
    private native void nativeShowYUV(byte[] yuvArray,int width,int height);
    static {
        System.loadLibrary("showYUV");
    }
}  

activity_main.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent"
    android:orientation="vertical" >    

    <SurfaceView
        android:id="@+id/surfaceView"
        android:layout_width="fill_parent"
        android:layout_height="360dp" />   

</LinearLayout>

JNI层，showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.

#include <jni.h>
#include <android_runtime/AndroidRuntime.h>
#include <android_runtime/android_view_Surface.h>
#include <gui/Surface.h>
#include <assert.h>
#include <utils/Log.h>
#include <JNIHelp.h>
#include <media/stagefright/foundation/ADebug.h>
#include <ui/GraphicBufferMapper.h>
#include <cutils/properties.h>
using namespace android;  

static sp<Surface> surface;  

static int ALIGN(int x, int y) {
    // y must be a power of 2.
    return (x + y - 1) & ~(y - 1);
}  

static void render(
        const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) {
    ALOGE("[%s]%d",__FILE__,__LINE__);
    sp<ANativeWindow> mNativeWindow = nativeWindow;
    int err;
    int mCropWidth = width;
    int mCropHeight = height;  

    int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间
    int bufWidth = (mCropWidth + 1) & ~1;//按2对齐
    int bufHeight = (mCropHeight + 1) & ~1;  

    CHECK_EQ(0,
            native_window_set_usage(
            mNativeWindow.get(),
            GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN
            | GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP));  

    CHECK_EQ(0,
            native_window_set_scaling_mode(
            mNativeWindow.get(),
            NATIVE_WINDOW_SCALING_MODE_SCALE_CROP));  

    // Width must be multiple of 32???
    //很重要,配置宽高和和指定颜色空间yuv420
    //如果这里不配置好，下面deque_buffer只能去申请一个默认宽高的图形缓冲区
    CHECK_EQ(0, native_window_set_buffers_geometry(
                mNativeWindow.get(),
                bufWidth,
                bufHeight,
                halFormat));  

    ANativeWindowBuffer *buf;//描述buffer
    //申请一块空闲的图形缓冲区
    if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(),
            &buf)) != 0) {
        ALOGW("Surface::dequeueBuffer returned error %d", err);
        return;
    }  

    GraphicBufferMapper &mapper = GraphicBufferMapper::get();  

    Rect bounds(mCropWidth, mCropHeight);  

    void *dst;
    CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程
                buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址  

    if (true){
        size_t dst_y_size = buf->stride * buf->height;
        size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小
        size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小  

        memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区
    }  

    CHECK_EQ(0, mapper.unlock(buf->handle));  

    if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf,
            -1)) != 0) {
        ALOGW("Surface::queueBuffer returned error %d", err);
    }
    buf = NULL;
}  

static void nativeTest(){
    ALOGE("[%s]%d",__FILE__,__LINE__);
}  

static jboolean
nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){
    ALOGE("[%s]%d",__FILE__,__LINE__);
    surface = android_view_Surface_getSurface(env, jsurface);
    if(android::Surface::isValid(surface)){
        ALOGE("surface is valid ");
    }else {
        ALOGE("surface is invalid ");
        return false;
    }
    ALOGE("[%s][%d]\n",__FILE__,__LINE__);
    return true;
}
static void
nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){
    ALOGE("width = %d,height = %d",width,height);
    jint len = env->GetArrayLength(yuvData);
    ALOGE("len = %d",len);
    jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0);
    render(byteBuf,len,surface,width,height);
}
static JNINativeMethod gMethods[] = {
    {"nativeTest",                  "()V",                              (void *)nativeTest},
    {"nativeSetVideoSurface",       "(Landroid/view/Surface;)Z",        (void *)nativeSetVideoSurface},
    {"nativeShowYUV",               "([BII)V",                          (void *)nativeShowYUV},
};  

static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity";  

// This function only registers the native methods
static int register_com_example_myyuvviewer(JNIEnv *env)
{
    ALOGE("[%s]%d",__FILE__,__LINE__);
    return AndroidRuntime::registerNativeMethods(env,
                kClassPathName, gMethods, NELEM(gMethods));
}  

jint JNI_OnLoad(JavaVM* vm, void* reserved)
{
    ALOGE("[%s]%d",__FILE__,__LINE__);
    JNIEnv* env = NULL;
    jint result = -1;  

    if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) {
        ALOGE("ERROR: GetEnv failed\n");
        goto bail;
    }
    assert(env != NULL);
    ALOGE("[%s]%d",__FILE__,__LINE__);
   if (register_com_example_myyuvviewer(env) < 0) {
        ALOGE("ERROR: MediaPlayer native registration failed\n");
        goto bail;
    }  

    /* success -- return valid version number */
    result = JNI_VERSION_1_4;  

bail:
    return result;
}  

Android.mk

LOCAL_PATH:= $(call my-dir)
include $(CLEAR_VARS)  

LOCAL_SRC_FILES:= \
    showYUV.cpp  

LOCAL_SHARED_LIBRARIES := \
    libcutils \
    libutils \
    libbinder \
    libui \
    libgui \
    libandroid_runtime \
    libstagefright_foundation  

LOCAL_MODULE:= libshowYUV  

LOCAL_MODULE_TAGS := tests  

include $(BUILD_SHARED_LIBRARY) 

生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下，没有就手动创建目录，

这样Eclipse会自动把so库打包进apk。

这种方式不通用

换一个手机 或者Android版本就不行了

就像以前ffmpeg提供过个基于OMX的H264硬解码一样

15楼 丧尽心 2016-08-27 10:42发表 [回复]

计算了下渲染时间，貌似只有10ms左右，帧率不可能知己十几帧，后来看了下是摄像头回来的数据就只有十几帧，看样子不是渲染的问题，用这个渲染速度应该可以达到60fps

14楼 丧尽心 2016-08-26 19:26发表 [回复]

博主你哈，你这个代码我编译通过了，在设备上看也能看到效果，不过图像是黑白的，还有帧率有点低，而且似乎没有了平台的移植性了，在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染，视频会一卡一卡的，有没有什么方法改善？

13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？

12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？

11楼 果子林里的一滴清水 2015-12-08 16:31发表 [回复]

楼主 链接已经无法访问，能再提供相关链接麽？还有楼主是在linux 下使用ndk编译的还是windows下编译的？？

10楼 长江很多号 2015-08-22 22:00发表 [回复]

嗯，在硬件公司干活，分分钟可以编译NDK。
嗯，楼主研究的还是蛮深的，不错！谢谢分享^_^

9楼 lishi_1991 2015-01-08 17:00发表 [回复]

您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目，所以就将您jni层的代码拷贝下来，用cygwin编译无法通过，后来下载了android源码，在Makefile里指定了jni层头文件在android源码的位置，然后就可以编译通过，但是生成apk运行时会报错，“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题，只能猜测可能因为需要链接到android源码下，不知道这个猜测对不对，不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。

8楼 lishi_1991 2014-12-23 15:51发表 [回复]

您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so" 
我查过有人说是因为 ndk版本太高的问题，请问您遇到过这个问题吗 是如何解决的呢

7楼 zhutoubenben 2014-12-19 16:51发表 [回复]

您好，我尝试过您的代码，没什么问题，但是当我要改为播放整个视频的时候，却发现，这里老是报错：ALOGW("Surface::queueBuffer returned error %d", err); 
修改的地方主要是，继承了surfaceview，并在ondraw里面调用了更新画面的代码：
readYUVFile(yuvArray, FILE_NAME); 
nativeSetVideoSurface(holder.getSurface()); 
nativeShowYUV(yuvArray,width,height); 
但是并没有成功，请问该怎么去播放整个视频呢？

Re: zhutoubenben 2014-12-19 16:54发表 [回复]

回复zhutoubenben：参考这个 修改的：
http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.html

Re: zhutoubenben 2014-12-26 23:00发表 [回复]

回复zhutoubenben：已经解决，去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放，主要的问题在于说，在播放视频的时候，我在android上层放大和移动坐标的时候发现抖动得厉害，用同样的算法操作图片没有任何问题，但是操作这个就很抖了，尝试，首次调用显示yuv后，后面再也不调用，但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢？

6楼 水木酱 2014-11-28 10:01发表 [回复]

博主您好，完整的android我已经编译过了，然后我该怎么设置环境来编译上面的代码呢？

5楼 liweiran0 2014-11-05 13:45发表 [回复]

编译成功，不过博主这个只读取了一帧数据吧，没有做一个循环所以只显示1帧图片？

Re: liweiran0 2014-11-05 13:45发表 [回复]

回复liweiran0：而且是ndk下编译的，没任何问题，除了需要拷贝几个.so文件

4楼 marmot18 2014-10-16 15:21发表 [回复]

只能显示一帧吗？显示了第一帧就停了呀，没有动画

3楼 marmot18 2014-10-16 10:11发表 [回复]

YUV数据下载不了

2楼 qq_21872707 2014-10-11 17:40发表 [回复]

您好，将摄像头的一帧yv12的数据显示出来，是黑白色的，您遇到这个问题嘛？可否把您的测试数据上传一帧上来，之前的失效了。

1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]

您好，我按照你的编译，出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'

Re: _缥缈孤鸿影_ 2014-08-05 19:51发表 [回复] [引用] [举报]

回复小刚3：说实话，我觉得NDK下编译应该是编译不过的。至于你这个错误，你可以参考一下http://www.cnblogs.com/soniclq/archive/2012/07/05/2577213.html。