Android MediaCodec异步编码实战：从Camera预览到H.264/H.265参数集提取

1. Android视频编码基础与MediaCodec入门在移动端视频处理中H.264和H.265是最常用的视频编码标准。Android系统通过MediaCodec API为开发者提供了硬件加速的编解码能力这比传统的软件编码效率高出3-5倍。我曾在多个项目中实测使用MediaCodec进行1080P视频编码时CPU占用率能控制在15%以下而软件编码通常需要占用40%以上的CPU资源。MediaCodec的工作流程可以类比为工厂流水线输入缓冲区就像原材料入口编码器是加工车间输出缓冲区则是成品出口。异步模式相当于给这条流水线配备了智能调度系统当原材料到达时会自动通知我们onInputBufferAvailable当成品完成时也会主动提醒onOutputBufferAvailable。这种机制避免了轮询检查的资源浪费在实际项目中能减少约30%的编码延迟。选择H.264还是H.265需要权衡几个关键因素压缩效率H.265比H.264节省约50%码流但编码复杂度高2-3倍设备兼容性H.264支持率接近100%H.265需要Android 5.0且硬件支持实时性要求直播场景建议H.264点播存储可考虑H.2652. Camera预览与编码器配置实战2.1 Camera2 API数据获取现在主流设备都推荐使用Camera2 API它提供了更精细的控制能力。配置时需要注意几个关键点// 创建CameraCaptureSession时设置预览Surface val surfaces listOf(encoderSurface, previewSurface) // 同时输出到预览和编码 cameraDevice.createCaptureSession(surfaces, object : CameraCaptureSession.StateCallback() { override fun onConfigured(session: CameraCaptureSession) { val request cameraDevice.createCaptureRequest( CameraDevice.TEMPLATE_RECORD).apply { addTarget(encoderSurface) addTarget(previewSurface) } session.setRepeatingRequest(request.build(), null, null) } })这里有个坑我踩过多次必须正确设置ImageFormat。YUV_420_888是最通用的格式但某些设备可能只支持NV21。建议在初始化时检查设备支持情况val map characteristics.get( CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP) val outputFormats map?.outputFormats ?: intArrayOf()2.2 编码器参数调优MediaFormat的配置直接影响视频质量和性能。以下是一个经过实战验证的配置模板fun createVideoFormat(mimeType: String, width: Int, height: Int): MediaFormat { return MediaFormat.createVideoFormat(mimeType, width, height).apply { setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface) setInteger(MediaFormat.KEY_BIT_RATE, width * height * 5) // 5bps/pixel setInteger(MediaFormat.KEY_FRAME_RATE, 30) setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2) // 关键帧间隔(秒) // H.265专属配置 if (mimeType MediaFormat.MIMETYPE_VIDEO_HEVC) { setInteger(MediaFormat.KEY_PROFILE, MediaCodecInfo.CodecProfileLevel.HEVCProfileMain) setInteger(level-idc, 153) // Level 4.1 } } }关键参数经验值比特率普通场景用宽度×高度×3运动场景用×5关键帧间隔直播建议2-3秒本地录制可设5-10秒Profile选择Baseline兼容性最好High质量最优3. 异步编码核心实现3.1 回调机制深度解析MediaCodec.Callback是异步编码的核心其工作流程如下图所示伪代码表示onInputBufferAvailable - 填充YUV数据 - queueInputBuffer onOutputBufferAvailable - 处理编码数据 - releaseOutputBuffer onOutputFormatChanged - 获取新的输出格式含关键参数集在真实项目中我发现输出数据的顺序可能有以下三种情况先触发onOutputFormatChanged再输出视频帧70%设备先输出配置帧VPS/SPS/PPS再触发onOutputFormatChanged25%设备两者同时到达5%设备因此必须做好状态同步建议使用AtomicBoolean标记是否已收到配置数据。3.2 参数集提取的两种方法方法一首帧解析适用于所有Android版本但需要处理NAL单元分割fun parseFirstFrame(buffer: ByteBuffer, info: MediaCodec.BufferInfo) { val type when(mimeType) { MediaFormat.MIMETYPE_VIDEO_AVC - buffer[4].toInt() and 0x1F MediaFormat.MIMETYPE_VIDEO_HEVC - (buffer[4].toInt() and 0x7E) shr 1 else - -1 } when { type 7 || type 8 - { // H.264 SPS/PPS val data ByteArray(info.size).also { buffer.get(it) } Log.d(SPS, data.sliceArray(4..8).toHex()) } type 32 || type 33 || type 34 - { // H.265 VPS/SPS/PPS val data ByteArray(info.size).also { buffer.get(it) } val vpsEnd findNextNal(data, 32) // 自定义查找函数 Log.d(VPS, data.sliceArray(4..vpsEnd).toHex()) } } }方法二从MediaFormat获取更可靠但需要API 21override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) { when(mimeType) { MediaFormat.MIMETYPE_VIDEO_AVC - { val sps format.getByteBuffer(csd-0)!!.array() val pps format.getByteBuffer(csd-1)!!.array() Log.d(CSD, SPS: ${sps.toHex()} PPS: ${pps.toHex()}) } MediaFormat.MIMETYPE_VIDEO_HEVC - { val csd0 format.getByteBuffer(csd-0)!!.array() val vps extractVps(csd0) // 自定义提取函数 Log.d(CSD, VPS: ${vps.toHex()}) } } }两种方法对比特性首帧解析法CSD提取法兼容性全版本支持需API 21可靠性依赖设备实现官方标准实时性可能更快获取可能稍有延迟数据完整性需要手动拼接已预分割4. 高级技巧与性能优化4.1 编码延迟优化在直播场景中我通过以下方法将端到端延迟从500ms降到200ms内输入缓冲复用预分配YUV缓冲区池避免频繁内存分配val bufferPool Array(3) { ByteArray(width * height * 3 / 2) } var currentBuffer 0 fun getInputBuffer(): ByteArray { currentBuffer (currentBuffer 1) % bufferPool.size return bufferPool[currentBuffer] }动态比特率调整根据网络状况实时调整fun adjustBitrate(newBitrate: Int) { val params Bundle().apply { putInt(MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, newBitrate) } mediaCodec.setParameters(params) }4.2 参数集缓存策略由于SPS/PPS可能发生变化如分辨率切换建议实现以下逻辑class ParamSetCache { private var cachedSps: ByteArray? null private var cachedPps: ByteArray? null fun update(sps: ByteArray, pps: ByteArray): Boolean { val changed !sps.contentEquals(cachedSps) || !pps.contentEquals(cachedPps) if (changed) { cachedSps sps.copyOf() cachedPps pps.copyOf() } return changed } }4.3 异常处理经验在华为P30等设备上遇到过编码器突然重置的问题解决方案是监听onError回调立即重启编码器保存最后的关键帧用于恢复编码添加重试计数器避免死循环private var errorCount 0 override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) { if (errorCount 3) { resetEncoder() } else { postError(Encoder failed 3 times) } }5. 实战构建完整编码流水线5.1 架构设计要点一个健壮的编码模块应该包含以下组件数据采集层Camera2 API ImageReader预处理层格式转换如YUV转NV21、旋转镜像处理编码核心MediaCodec异步封装参数管理器处理SPS/PPS/VPS的存储与更新输出控制器封装MP4或发送到网络5.2 完整示例代码以下是经过多个项目验证的核心代码框架class VideoEncoder( private val width: Int, private val height: Int, private val mime: String ) : MediaCodec.Callback() { private lateinit var mediaCodec: MediaCodec private val bufferQueue LinkedBlockingQueueFrameData() private var isRunning AtomicBoolean(false) fun start() { mediaCodec MediaCodec.createEncoderByType(mime).apply { configure(createFormat(), null, null, CONFIGURE_FLAG_ENCODE) setCallback(thisVideoEncoder) start() } isRunning.set(true) } fun feedData(data: FrameData) { if (isRunning.get()) bufferQueue.put(data) } override fun onInputBufferAvailable(codec: MediaCodec, index: Int) { if (!isRunning.get()) return val buffer codec.getInputBuffer(index)!! val frame bufferQueue.poll(50, TimeUnit.MILLISECONDS) ?: return codec.queueInputBuffer(index, 0, 0, 0, 0) buffer.put(frame.data) codec.queueInputBuffer(index, 0, frame.size, frame.timestamp, 0) } override fun onOutputBufferAvailable( codec: MediaCodec, index: Int, info: MediaCodec.BufferInfo ) { val buffer codec.getOutputBuffer(index)!! // 处理编码数据... codec.releaseOutputBuffer(index, false) } }5.3 性能监控指标建议监控以下关键指标以确保编码稳定性输入队列深度超过3帧说明处理能力不足单帧编码耗时持续33ms会导致30fps丢帧关键帧间隔检查是否按配置周期生成I帧温度阈值超过45℃应降低编码复杂度