Android用surface直接显示yuv数据(三)
本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据(yv12),开发环境为Android 4.4,全志A23平台。
package com.example.myyuvviewer; import java.io.File;
import java.io.FileInputStream;
import android.app.Activity;
import android.os.Bundle;
import android.os.Environment;
import android.util.Log;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceHolder.Callback;
import android.view.SurfaceView; public class MainActivity extends Activity { final private String TAG = "MyYUVViewer";
final private String FILE_NAME = "yuv_320_240.yuv";
private int width = 320;
private int height = 240;
private int size = width * height * 3/2; @Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
nativeTest();
SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView);
SurfaceHolder holder = surfaceview.getHolder();
holder.addCallback(new Callback(){ @Override
public void surfaceCreated(SurfaceHolder holder) {
// TODO Auto-generated method stub
Log.d(TAG,"surfaceCreated");
byte[]yuvArray = new byte[size];
readYUVFile(yuvArray, FILE_NAME);
nativeSetVideoSurface(holder.getSurface());
nativeShowYUV(yuvArray,width,height);
} @Override
public void surfaceChanged(SurfaceHolder holder, int format,
int width, int height) {
// TODO Auto-generated method stub } @Override
public void surfaceDestroyed(SurfaceHolder holder) {
// TODO Auto-generated method stub }});
} private boolean readYUVFile(byte[] yuvArray,String filename){
try {
// 如果手机插入了SD卡,而且应用程序具有访问SD的权限
if (Environment.getExternalStorageState().equals(
Environment.MEDIA_MOUNTED)) {
// 获取SD卡对应的存储目录
File sdCardDir = Environment.getExternalStorageDirectory();
// 获取指定文件对应的输入流
FileInputStream fis = new FileInputStream(
sdCardDir.getCanonicalPath() +"/" + filename);
fis.read(yuvArray, 0, size);
fis.close();
return true;
} else {
return false;
}
}catch (Exception e) {
e.printStackTrace();
return false;
}
}
private native void nativeTest();
private native boolean nativeSetVideoSurface(Surface surface);
private native void nativeShowYUV(byte[] yuvArray,int width,int height);
static {
System.loadLibrary("showYUV");
}
}
activity_main.xml
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
android:orientation="vertical" > <SurfaceView
android:id="@+id/surfaceView"
android:layout_width="fill_parent"
android:layout_height="360dp" /> </LinearLayout>
JNI层,showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.
#include <jni.h>
#include <android_runtime/AndroidRuntime.h>
#include <android_runtime/android_view_Surface.h>
#include <gui/Surface.h>
#include <assert.h>
#include <utils/Log.h>
#include <JNIHelp.h>
#include <media/stagefright/foundation/ADebug.h>
#include <ui/GraphicBufferMapper.h>
#include <cutils/properties.h>
using namespace android; static sp<Surface> surface; static int ALIGN(int x, int y) {
// y must be a power of 2.
return (x + y - 1) & ~(y - 1);
} static void render(
const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) {
ALOGE("[%s]%d",__FILE__,__LINE__);
sp<ANativeWindow> mNativeWindow = nativeWindow;
int err;
int mCropWidth = width;
int mCropHeight = height; int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间
int bufWidth = (mCropWidth + 1) & ~1;//按2对齐
int bufHeight = (mCropHeight + 1) & ~1; CHECK_EQ(0,
native_window_set_usage(
mNativeWindow.get(),
GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN
| GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP)); CHECK_EQ(0,
native_window_set_scaling_mode(
mNativeWindow.get(),
NATIVE_WINDOW_SCALING_MODE_SCALE_CROP)); // Width must be multiple of 32???
//很重要,配置宽高和和指定颜色空间yuv420
//如果这里不配置好,下面deque_buffer只能去申请一个默认宽高的图形缓冲区
CHECK_EQ(0, native_window_set_buffers_geometry(
mNativeWindow.get(),
bufWidth,
bufHeight,
halFormat)); ANativeWindowBuffer *buf;//描述buffer
//申请一块空闲的图形缓冲区
if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(),
&buf)) != 0) {
ALOGW("Surface::dequeueBuffer returned error %d", err);
return;
} GraphicBufferMapper &mapper = GraphicBufferMapper::get(); Rect bounds(mCropWidth, mCropHeight); void *dst;
CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程
buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址 if (true){
size_t dst_y_size = buf->stride * buf->height;
size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小
size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小 memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区
} CHECK_EQ(0, mapper.unlock(buf->handle)); if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf,
-1)) != 0) {
ALOGW("Surface::queueBuffer returned error %d", err);
}
buf = NULL;
} static void nativeTest(){
ALOGE("[%s]%d",__FILE__,__LINE__);
} static jboolean
nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){
ALOGE("[%s]%d",__FILE__,__LINE__);
surface = android_view_Surface_getSurface(env, jsurface);
if(android::Surface::isValid(surface)){
ALOGE("surface is valid ");
}else {
ALOGE("surface is invalid ");
return false;
}
ALOGE("[%s][%d]\n",__FILE__,__LINE__);
return true;
}
static void
nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){
ALOGE("width = %d,height = %d",width,height);
jint len = env->GetArrayLength(yuvData);
ALOGE("len = %d",len);
jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0);
render(byteBuf,len,surface,width,height);
}
static JNINativeMethod gMethods[] = {
{"nativeTest", "()V", (void *)nativeTest},
{"nativeSetVideoSurface", "(Landroid/view/Surface;)Z", (void *)nativeSetVideoSurface},
{"nativeShowYUV", "([BII)V", (void *)nativeShowYUV},
}; static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity"; // This function only registers the native methods
static int register_com_example_myyuvviewer(JNIEnv *env)
{
ALOGE("[%s]%d",__FILE__,__LINE__);
return AndroidRuntime::registerNativeMethods(env,
kClassPathName, gMethods, NELEM(gMethods));
} jint JNI_OnLoad(JavaVM* vm, void* reserved)
{
ALOGE("[%s]%d",__FILE__,__LINE__);
JNIEnv* env = NULL;
jint result = -1; if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) {
ALOGE("ERROR: GetEnv failed\n");
goto bail;
}
assert(env != NULL);
ALOGE("[%s]%d",__FILE__,__LINE__);
if (register_com_example_myyuvviewer(env) < 0) {
ALOGE("ERROR: MediaPlayer native registration failed\n");
goto bail;
} /* success -- return valid version number */
result = JNI_VERSION_1_4; bail:
return result;
}
Android.mk
LOCAL_PATH:= $(call my-dir)
include $(CLEAR_VARS) LOCAL_SRC_FILES:= \
showYUV.cpp LOCAL_SHARED_LIBRARIES := \
libcutils \
libutils \
libbinder \
libui \
libgui \
libandroid_runtime \
libstagefright_foundation LOCAL_MODULE:= libshowYUV LOCAL_MODULE_TAGS := tests include $(BUILD_SHARED_LIBRARY)
生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下,没有就手动创建目录,
这样Eclipse会自动把so库打包进apk。
- 这种方式不通用
换一个手机 或者Android版本就不行了
就像以前ffmpeg提供过个基于OMX的H264硬解码一样
- 15楼 丧尽心 2016-08-27 10:42发表 [回复]
- 计算了下渲染时间,貌似只有10ms左右,帧率不可能知己十几帧,后来看了下是摄像头回来的数据就只有十几帧,看样子不是渲染的问题,用这个渲染速度应该可以达到60fps
- 14楼 丧尽心 2016-08-26 19:26发表 [回复]
- 博主你哈,你这个代码我编译通过了,在设备上看也能看到效果,不过图像是黑白的,还有帧率有点低,而且似乎没有了平台的移植性了,在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染,视频会一卡一卡的,有没有什么方法改善?
- 13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]
- 楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!
第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?
第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
- 12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]
- 楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!
第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?
第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
- 9楼 lishi_1991 2015-01-08 17:00发表 [回复]
- 您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目,所以就将您jni层的代码拷贝下来,用cygwin编译无法通过,后来下载了android源码,在Makefile里指定了jni层头文件在android源码的位置,然后就可以编译通过,但是生成apk运行时会报错,“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题,只能猜测可能因为需要链接到android源码下,不知道这个猜测对不对,不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。
- 8楼 lishi_1991 2014-12-23 15:51发表 [回复]
- 您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so"
我查过有人说是因为 ndk版本太高的问题,请问您遇到过这个问题吗 是如何解决的呢
- 7楼 zhutoubenben 2014-12-19 16:51发表 [回复]
- 您好,我尝试过您的代码,没什么问题,但是当我要改为播放整个视频的时候,却发现,这里老是报错:ALOGW("Surface::queueBuffer returned error %d", err);
修改的地方主要是,继承了surfaceview,并在ondraw里面调用了更新画面的代码:
readYUVFile(yuvArray, FILE_NAME);
nativeSetVideoSurface(holder.getSurface());
nativeShowYUV(yuvArray,width,height);
但是并没有成功,请问该怎么去播放整个视频呢?
- Re: zhutoubenben 2014-12-19 16:54发表 [回复]
- 回复zhutoubenben:参考这个 修改的:
http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.html
- Re: zhutoubenben 2014-12-26 23:00发表 [回复]
- 回复zhutoubenben:已经解决,去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放,主要的问题在于说,在播放视频的时候,我在android上层放大和移动坐标的时候发现抖动得厉害,用同样的算法操作图片没有任何问题,但是操作这个就很抖了,尝试,首次调用显示yuv后,后面再也不调用,但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢?
- 2楼 qq_21872707 2014-10-11 17:40发表 [回复]
- 您好,将摄像头的一帧yv12的数据显示出来,是黑白色的,您遇到这个问题嘛?可否把您的测试数据上传一帧上来,之前的失效了。
- 1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]
- 您好,我按照你的编译,出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'
- Re: _缥缈孤鸿影_ 2014-08-05 19:51发表 [回复] [引用] [举报]
- 回复小刚3:说实话,我觉得NDK下编译应该是编译不过的。至于你这个错误,你可以参考一下http://www.cnblogs.com/soniclq/archive/2012/07/05/2577213.html。
Android用surface直接显示yuv数据(三)的更多相关文章
- Android使用surface直接显示yuv数据(三)
在本文中,Java创建UI和关节JNI经营层surface直接显示yuv数据(yv12).发展环境Android 4.4,驰A23平台. package com.example.myyuvviewer ...
- Android用surface直接显示yuv数据(二)
上一篇文章主要是參照AwesomePlayer直接用SoftwareRenderer类来显示yuv,为了能用到这个类,不惜依赖了libstagefright.libstagefright_color_ ...
- Android上使用OpenGLES2.0显示YUV数据
在Android上用OpenGLES来显示YUV图像,之所以这样做,是因为: 1.Android本身也不能直接显示YUV图像,YUV转成RGB还是必要的: 2.YUV手动转RGB会占用大量的CPU资源 ...
- 每天进步一点点------入门视频采集与处理(显示YUV数据)
做视频采集与处理,自然少不了要学会分析YUV数据.因为从采集的角度来说,一般的视频采集芯片输出的码流一般都是YUV数据流的形式,而从视频处理(例如H.264.MPEG视频编解码)的角度来说,也是在原始 ...
- Android TextView里直接显示图片的三种方法
方法一:重写TextView的onDraw方法,也挺直观就是不太好控制显示完图片后再显示字体所占空间的位置关系.一般假设字体是在图片上重叠的推荐这样写.时间关系,这个不付源代码了. 方法二:利用Tex ...
- 使用DirectDraw直接显示YUV视频数据
最近在编写一个进行视频播放的ActiveX控件,工作已经接近尾声,现将其中显示YUV数据的使用DirectDraw的一些经验总结如下:(解码部分不是我编写的,我负责从网络接收数据,将数据传给解码器,并 ...
- Android显示YUV图像
需要流畅显示YUV图像需要使用Opengl库调用GPU资源,网上在这部分的资料很少.实际上Android已经为我们提供了相关的Opengl方法 主体过程如下: 1.建立GLSurfaceView 2. ...
- Android应用开发基础之三:数据存储和界面展现(三)
生成XML文件备份短信 创建几个虚拟的短信对象,存在list中 备份数据通常都是备份至sd卡 使用StringBuffer拼接字符串 把整个xml文件所有节点append到sb对象里 sb.appen ...
- Android初级教程理论知识(第三章测试&数据存储&界面展现)
首先介绍单元测试,我在javaweb部分有详细介绍单元测试框架的一篇文章. 可以先看在javaweb中的单元测试详解篇http://blog.csdn.net/qq_32059827/article/ ...
随机推荐
- hdu 1000&hdu1001
1001 #include<iostream> #include<stdio.h> using namespace std; int main() { long long n; ...
- CSRF学习笔记之CSRF的攻击与防御以及审计【00x3】
Hight.php完整代码如下: <?php if (isset($_GET['Change'])) { // Turn requests into variables $pass_curr = ...
- C#中的事件介绍
什么是事件?事件有哪些?怎么用事件? 一.什么是事件? 事件(Event) 基本上说是一个用户操作,如按键.点击.鼠标移动.输入值改变等等,或者是一些出现,如系统生成的通知.应用程序需要在事件发生时响 ...
- 5plus
http://124.173.121.89/wx/index.html?1410766859789
- js 播放声音文件
from:http://hi.baidu.com/xykking/item/7f64a04364e43ce4bdf45127 我在做项目的时候,也遇到了这个问题,可以灵活的使用下面的这两种方法,我使用 ...
- 几款 ping tcping 工具总结
本文转载至:http://www.cnblogs.com/kerrycode/p/8092942.html ping 命令以前是一个很好用并且常用的网络测试工具,它是基于 ICMP 协议,但是出于网络 ...
- 对hibernate的延迟加载如何理解,在实际应用中,延迟加载与session关闭的矛盾是如何处理的?
对hibernate的延迟加载如何理解,在实际应用中,延迟加载与session关闭的矛盾是如何处理的? 解答:延迟加载就是并不是在读取的时候就把数据加载进来,而是等到使用时再加载.那么Hibernat ...
- Wise 打包细节
细节 说明 添加卸载快捷方式 缺省的安装程序快捷方式中没有卸载项:只能通过控制面板删除,或者主程序目录下的UnWise.exe来卸载.实际上,该文件就可以作为卸载程序. 可以复制一个快捷方式,将程序名 ...
- 使用JMAP dump及分析dump文件
查看整个JVM内存状态 jmap -heap [pid]要注意的是在使用CMS GC 情况下,jmap -heap的执行有可能会导致JAVA 进程挂起 查看JVM堆中对象详细占用情况jmap -his ...
- AndroidManifest.xml文件详解(activity)(五)
android:taskAffinity 这个属性用于跟Activity有亲缘关系的任务.带有相同亲缘关系的Activity,在概念上是属于相同任务的(从用户的角度看,它们是属于同一应用程序的).任务 ...