音视频进阶（三）｜实现直播间的自定义视频渲染

/**
 * 自定义视频渲染配置
 *
 * 当需要使用自定义渲染功能时需要将该类的实例作为参数设置给 [ZegoEngineConfig] 实例的对应参数。
 */
public class ZegoCustomVideoRenderConfig {

    /** 自定义视频渲染视频帧数据类型 */
    public ZegoVideoBufferType bufferType;

    /** 自定义视频渲染视频帧数据格式 */
    public ZegoVideoFrameFormatSeries frameFormatSeries;

    /** 是否在自定义视频渲染的同时，引擎也渲染 */
    public boolean enableEngineRender;

}

ZegoCustomVideoRenderConfig videoRenderConfig = new ZegoCustomVideoRenderConfig();
// 选择 RAW_DATA 类型视频帧数据
videoRenderConfig.bufferType = ZegoVideoBufferType.RAW_DATA;
// 选择 RGB 色系数据格式
video服务器托管网RenderConfig.frameFormatSeries = ZegoVideoFrameFormatSeries.RGB;
// 指定在自定义视频渲染的同时引擎也渲染
videoRenderConfig.enableEngineRender = true;

/**
 * 开始或停止自定义视频渲染
 *
 * 必须在引擎启动前设置，即在调用 [startPreview]、[startPublishing]、[startPlayingStream] 之前设置；且在引擎停止之后才能修改配置
 * 当开发者开启自定义渲染时，通过调用 [setCustomVideoRenderHandler] 可设置接收本地以及远端的视频帧数据以用于自定义渲染
 *
 * @param enable 是否开启
 * @param config 自定义渲染配置
 */
public void enableCustomVideoRender(boolean enable, ZegoCustomVideoRenderConfig config);

ZegoCustomVideoRenderConfig videoRenderConfig = new ZegoCustomVideoRenderConfig();
// 选择 RAW_DATA 类型视频帧数据
videoRenderConfig.bufferType = ZegoVideoBufferType.RAW_DATA;
// 选择 RGB 色系数据格式
videoRenderConfig.frameFormatSeries = ZegoVideoFrameFormatSeries.RGB;
// 指定在自定义视频渲染的同时引擎也渲染
videoRenderConfig.enableEngineRender = true;
engine.enableCustomVideoRender(true, videoRenderConfig);

/**
 * 设置外部渲染器对象, 用户传入自己构造的渲染器对象 IZegoCustomVideoRenderHandler
 *
 * @param handler 渲染器对象, 开发者须自行实现渲染器对象须实现的方法并自行渲染视频到UI上
 */
public void setCustomVideoRenderHandler(IZegoCustomVideoRenderHandler handler)

public abstract class IZegoCustomVideoRenderHandler {

    /**
    * 本地预览视频帧裸数据回调
    *
    * @param data 视频帧的裸数据（例：RGBA 只需考虑 data[0]，I420 需考虑 data[0,1,2]）
    * @param dataLength 数据的长度（例：RGBA 只需考虑 dataLength[0]，I420 需考虑 dataLength[0,1,2]）
    * @param param 视频帧参数
    * @param flipMode 视频帧翻转模式
    * @param channel 推流通道
    */
    public void onCapturedVideoFrameRawData(ByteBuffer[] data, int[] dataLength, ZegoVideoFrameParam param, ZegoVideoFlipMode flipMode, ZegoPublishChannel channel){

    }

    /**
    * 远端拉流视频帧裸数据回调，通过 streamID 区分不同的流
    *
    * @param data 视频帧的裸数据（例：RGBA 只需考虑 data[0]，I420 需考虑 data[0,1,2]）
    * @param dataLength 数据的长度（例：RGBA 只需考虑 dataLength[0]，I420 需考虑 dataLength[0,1,2]）
    * @param param 视频帧参数
    * @param streamID 拉流的流 ID
    */
    public void onRemoteVideoFrameRawData(ByteBuffer[] data, int[] dataLength, ZegoVideoFrameParam param, String streamID){

    }

}

// 设置自定义视频渲染回调并实现抛出视频数据的方法

engine.setCustomVideoRenderHandler(new IZegoCustomVideoRenderHandler(){

    public void onCapturedVideoFrameRawData(ByteBuffer[] data, int[] dataLength, ZegoVideoFrameParam param, ZegoVideoFlipMode flipMode, ZegoPublishChannel channel){
        // 在采集端的回调里通过 data, dataLength, param 等参数实现将本地采集的视频数据渲染到View的逻辑, 所抛出的数据格式参考 param.format
        ...;
    }

    public void onRemoteVideoFrameRawData(ByteBuffer[] data, int[] dataLength, ZegoVideoFrameParam param, String streamID){
        // 在拉流端的回调里通过 data, dataLength, param 等参数实现将所拉的流的视频数据渲染到View的逻辑, 所抛出的数据格式参考 param.format
        ...;
    }
});

/**
 * 视频帧的参数对象
 *
 * 包括视频帧的格式、宽高等
 */
public class ZegoVideoFrameParam {

    /** 视频帧的格式 */
    public ZegoVideoFrameFormat format;

    /** 每个平面一行字节数（此参数为 int 数组，数组长度为4，RGBA 只需考虑 strides[0]，I420 需考虑 strides[0,1,2]） */
    final public int[] strides = new int[4];

    /** 视频帧的画面宽 */
    public int width;

    /** 视频帧的画面高 */
    public int height;

}

// 如需在自定义视频渲染同时内部也渲染，可将 `ZegoCustomVideoRenderConfig` 的 `enableEngineRender` 参数设为 `true`，然后在预览时传入内部渲染的 View
ZegoCanvas previewCanvas = new ZegoCanvas(textureViewLocalPreview);// textureViewLocalPreview为UI界面上的 TextureView 对象
ZegoExpressEngine服务器托管网.getEngine().startPreview(previewCanvas);

// 如仅需自定义视频渲染，可将 `ZegoCustomVideoRenderConfig` 的 `enableEngineRender` 参数设为 `false`，`canvas` 参数传空即可，但也必须调用此接口，否则自定义视频渲染将不会回调预览视频帧数据
ZegoExpressEngine.getEngine().startPreview(null);

// 开始预览后，此时将会收到自定义视频渲染预览视频帧数据回调

// 开始推流
ZegoExpressEngine.getEngine().startPublishingStream(streamid);// streamid为开发者定义的流id

// 如需在自定义视频渲染同时内部也渲染，可将 `ZegoCustomVideoRenderConfig` 的 `enableEngineRender` 参数设为 `true`，然后在拉流时传入内部渲染的 View
ZegoCanvas playCanvas = new ZegoCanvas(textureViewLocalPreview);// textureViewLocalPreview为UI界面上的 TextureView 对象
ZegoExpressEngine.getEngine().startPlayingStream(streamID, playCanvas);

// 如仅需自定义视频渲染，可将 `ZegoCustomVideoRenderConfig` 的 `enableEngineRender` 参数设为 `false`，`canvas` 参数传空即可
egoExpressEngine.getEngine().startPlayingStream(streamID, null);

// 开始拉流后，此时将会收到拉的这条流的自定义视频渲染视频帧数据回调