MediaSync

public final class MediaSync
extends Object

MediaSync类可用于同步播放音频和视频流。 它也可以用来播放纯音频或纯视频流。

MediaSync通常是这样使用的：

 MediaSync sync = new MediaSync();
 sync.setSurface(surface);
 Surface inputSurface = sync.createInputSurface();
 ...
 // MediaCodec videoDecoder = ...;
 videoDecoder.configure(format, inputSurface, ...);
 ...
 sync.setAudioTrack(audioTrack);
 sync.setCallback(new MediaSync.Callback() {
     @Override
     public void onAudioBufferConsumed(MediaSync sync, ByteBuffer audioBuffer, int bufferId) {
         ...
     }
 }, null);
 // This needs to be done since sync is paused on creation.
 sync.setPlaybackParams(new PlaybackParams().setSpeed(1.f));

 for (;;) {
   ...
   // send video frames to surface for rendering, e.g., call
   // videoDecoder.releaseOutputBuffer(videoOutputBufferIx, videoPresentationTimeNs);
   // More details are available as below.
   ...
   sync.queueAudio(audioByteBuffer, bufferId, audioPresentationTimeUs); // non-blocking.
   // The audioByteBuffer and bufferId will be returned via callback.
   // More details are available as below.
   ...
     ...
 }
 sync.setPlaybackParams(new PlaybackParams().setSpeed(0.f));
 sync.release();
 sync = null;

 // The following code snippet illustrates how video/audio raw frames are created by
 // MediaCodec's, how they are fed to MediaSync and how they are returned by MediaSync.
 // This is the callback from MediaCodec.
 onOutputBufferAvailable(MediaCodec codec, int bufferId, BufferInfo info) {
     // ...
     if (codec == videoDecoder) {
         // surface timestamp must contain media presentation time in nanoseconds.
         codec.releaseOutputBuffer(bufferId, 1000 * info.presentationTime);
     } else {
         ByteBuffer audioByteBuffer = codec.getOutputBuffer(bufferId);
         sync.queueAudio(audioByteBuffer, bufferId, info.presentationTime);
     }
     // ...
 }

 // This is the callback from MediaSync.
 onAudioBufferConsumed(MediaSync sync, ByteBuffer buffer, int bufferId) {
     // ...
     audioDecoder.releaseBuffer(bufferId, false);
     // ...
 }

 

对于视频来说，客户端需要调用 createInputSurface()来获取它将渲染视频帧的表面。

对于音频，客户端需要正确设置音轨，例如使用MODE_STREAM 。 音频缓冲区直接通过queueAudio(ByteBuffer, int, long)发送到MediaSync，并通过异步方式onAudioBufferConsumed(MediaSync, ByteBuffer, int)返回给客户端。 客户端在返回之前不应该修改音频缓冲区。

客户端可以通过将播放速率设置为0.0来预先填充音频/视频缓冲区，然后将音频/视频缓冲区提供给相应的组件。 这可以减少可能的初始欠载。

Summary

Inherited methods

From class java.lang.Object Object clone() 创建并返回此对象的副本。 boolean equals(Object obj) 指示其他某个对象是否“等于”这一个。 void finalize() 当垃圾收集确定没有更多对该对象的引用时，由对象上的垃圾回收器调用。 final Class<?> getClass() 返回此 Object的运行时类。 int hashCode() 返回对象的哈希码值。 final void notify() 唤醒正在等待该对象监视器的单个线程。 final void notifyAll() 唤醒在该对象监视器上等待的所有线程。 String toString() 返回对象的字符串表示形式。 final void wait(long millis, int nanos) 导致当前线程等待，直到另一个线程为此对象调用方法 notify()或方法 notifyAll() ，或者某个其他线程中断当前线程或经过一定的实时时间。 final void wait(long millis) 导致当前线程等待，直到另一个线程调用此对象的 notify()方法或 notifyAll()方法或经过了指定的时间量。 final void wait() 导致当前线程等待，直到另一个线程调用此对象的方法 notify()或方法 notifyAll() 。

Constants

int MEDIASYNC_ERROR_AUDIOTRACK_FAIL

int MEDIASYNC_ERROR_SURFACE_FAIL

Public constructors

MediaSync ()

Public methods

Surface createInputSurface ()

void flush ()

PlaybackParams getPlaybackParams ()

SyncParams getSyncParams ()

MediaTimestamp getTimestamp ()

void queueAudio (ByteBuffer audioData, 
                int bufferId, 
                long presentationTimeUs)

void release ()

void setAudioTrack (AudioTrack audioTrack)

void setCallback (MediaSync.Callback cb, 
                Handler handler)

void setOnErrorListener (MediaSync.OnErrorListener listener, 
                Handler handler)

void setPlaybackParams (PlaybackParams params)

void setSurface (Surface surface)

void setSyncParams (SyncParams params)

Protected methods

void finalize ()