Android平台原生音视频编解码MediaCodec介绍

MediaCodec介绍

MediaCodec是Android平台上的一个多媒体编解码器，它可以用于对音频和视频进行编解码。通过MediaCodec，开发者可以直接访问底层的编解码器，实现更高效的音视频处理。同时，MediaCodec也支持硬件加速，可以利用设备的硬件资源来提高编解码的性能。MediaCodec主要应用于以下几个方面：

MediaCodec在Android平台上提供了强大的音视频编解码功能，可以用于多媒体应用的开发和优化。

MediaCodec编解码流程

MediaCodec的编解码流程包括创建对象、配置参数、启动、处理输入数据、处理输出数据以及停止和释放资源等步骤。

图片

图片

各个阶段对应的 API 如下：

// 获取可用的输入缓冲区的索引
public int dequeueInputBuffer (long timeoutUs)
// 获取输入缓冲区
public ByteBuffer getInputBuffer(int index)
// 将填满数据的inputBuffer提交到编码队列
public final void queueInputBuffer(int index,int offset, int size, long presentationTimeUs, int flags)
// 获取已成功编解码的输出缓冲区的索引
public final int dequeueOutputBuffer(BufferInfo info, long timeoutUs)
// 获取输出缓冲区
public ByteBuffer getOutputBuffer(int index)
// 释放输出缓冲区
public final void releaseOutputBuffer(int index, boolean render)

MediaCodec生命周期

图片

在实际使用中，可以根据需要重复配置、启动、编解码和停止的步骤，直到不再需要使用MediaCodec时再释放资源。

MediaCodec使用

import android.media.MediaCodec;
import android.media.MediaCodecInfo;
import android.media.MediaFormat;
import android.os.Bundle;
import android.support.v7.app.AppCompatActivity;
import android.view.Surface;
import android.widget.VideoView;

import java.io.IOException;
import java.nio.ByteBuffer;

public class MainActivity extends AppCompatActivity {
    private MediaCodec mediaCodec;
    private Surface surface;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        VideoView videoView = findViewById(R.id.videoView);
        surface = videoView.getHolder().getSurface();

        try {
            // 创建一个MediaCodec实例
            mediaCodec = MediaCodec.createDecoderByType("video/avc");
            // 配置MediaFormat
            MediaFormat format = MediaFormat.createVideoFormat("video/avc", 1920, 1080);
            // 配置解码器
            mediaCodec.configure(format, surface, null, 0);
            // 启动解码器
            mediaCodec.start();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private void decodeFrame(byte[] data) {
        int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
        if (inputBufferIndex >= 0) {
            ByteBuffer inputBuffer = mediaCodec.getInputBuffer(inputBufferIndex);
            inputBuffer.clear();
            inputBuffer.put(data);
            mediaCodec.queueInputBuffer(inputBufferIndex, 0, data.length, 0, 0);
        }
        // 从解码器中获取解码后的数据
        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
        int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
        while (outputBufferIndex >= 0) {
            // 处理解码后的数据
            mediaCodec.releaseOutputBuffer(outputBufferIndex, true);
            outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
        }
    }

    @Override
    protected void onDestroy() {
        super.onDestroy();
        // 停止解码器
        if (mediaCodec != null) {
            mediaCodec.stop();
            mediaCodec.release();
        }
    }
}

示例代码使用MediaCodec来解码视频流，并将解码后的视频渲染到Surface上。在示例中，我们创建了一个MediaCodec对象，配置了视频格式和Surface，然后开始解码视频帧。在decodeFrame方法中，我们将视频帧数据传递给解码器进行解码，并将解码后的数据渲染到Surface上。最后，在Activity销毁时释放MediaCodec资源。