MediaSync Classe

Definição

[Android.Runtime.Register("android/media/MediaSync", ApiSince=23, DoNotGenerateAcw=true)]
public sealed class MediaSync : Java.Lang.Object

[<Android.Runtime.Register("android/media/MediaSync", ApiSince=23, DoNotGenerateAcw=true)>]
type MediaSync = class
    inherit Object

Herança

Object

JavaObject

Object

MediaSync

Atributos

RegisterAttribute

Comentários

A classe MediaSync pode ser usada para reproduzir fluxos de áudio e vídeo de forma síncrona. Ele também pode ser usado para reproduzir fluxo somente áudio ou somente vídeo.

O MediaSync geralmente é usado assim:

MediaSync sync = new MediaSync();
            sync.setSurface(surface);
            Surface inputSurface = sync.createInputSurface();
            ...
            // MediaCodec videoDecoder = ...;
            videoDecoder.configure(format, inputSurface, ...);
            ...
            sync.setAudioTrack(audioTrack);
            sync.setCallback(new MediaSync.Callback() {
                {@literal @Override}
                public void onAudioBufferConsumed(MediaSync sync, ByteBuffer audioBuffer, int bufferId) {
                    ...
                }
            }, null);
            // This needs to be done since sync is paused on creation.
            sync.setPlaybackParams(new PlaybackParams().setSpeed(1.f));

            for (;;) {
              ...
              // send video frames to surface for rendering, e.g., call
              // videoDecoder.releaseOutputBuffer(videoOutputBufferIx, videoPresentationTimeNs);
              // More details are available as below.
              ...
              sync.queueAudio(audioByteBuffer, bufferId, audioPresentationTimeUs); // non-blocking.
              // The audioByteBuffer and bufferId will be returned via callback.
              // More details are available as below.
              ...
                ...
            }
            sync.setPlaybackParams(new PlaybackParams().setSpeed(0.f));
            sync.release();
            sync = null;

            // The following code snippet illustrates how video/audio raw frames are created by
            // MediaCodec's, how they are fed to MediaSync and how they are returned by MediaSync.
            // This is the callback from MediaCodec.
            onOutputBufferAvailable(MediaCodec codec, int bufferId, BufferInfo info) {
                // ...
                if (codec == videoDecoder) {
                    // surface timestamp must contain media presentation time in nanoseconds.
                    codec.releaseOutputBuffer(bufferId, 1000 * info.presentationTime);
                } else {
                    ByteBuffer audioByteBuffer = codec.getOutputBuffer(bufferId);
                    sync.queueAudio(audioByteBuffer, bufferId, info.presentationTime);
                }
                // ...
            }

            // This is the callback from MediaSync.
            onAudioBufferConsumed(MediaSync sync, ByteBuffer buffer, int bufferId) {
                // ...
                audioDecoder.releaseBuffer(bufferId, false);
                // ...
            }

O cliente precisa configurar o coletor correspondente definindo o Surface e/ou AudioTrack com base no tipo de fluxo que será reproduzido.

Para vídeo, o cliente precisa chamar #createInputSurface para obter uma superfície na qual renderizará quadros de vídeo.

Para áudio, o cliente precisa configurar a faixa de áudio corretamente, por exemplo, usando AudioTrack#MODE_STREAM. Os buffers de áudio são enviados diretamente ao MediaSync por meio #queueAudioe são retornados para o cliente de forma Callback#onAudioBufferConsumed assíncrona. O cliente não deve modificar um buffer de áudio até que ele seja retornado.

Opcionalmente, o cliente pode pré-preencher buffers de áudio/vídeo definindo a taxa de reprodução como 0,0 e, em seguida, alimentar buffers de áudio/vídeo para componentes correspondentes. Isso pode reduzir a possível subexecução inicial.

Java documentação para android.media.MediaSync.

Partes desta página são modificações baseadas no trabalho criado e compartilhado pelo Project Open Source do Open Source e usadas de acordo com os termos descritos na Creative Commons 2.5.