Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Esta página descreve as quotas predefinidas do Zerobus Ingest no Lakeflow Connect, bem como a forma como funciona com as suas tabelas Delta, esquemas e tipos de dados.
Availability
O Zerobus Ingest só está disponível em algumas regiões. Para uma lista de regiões suportadas, consulte Disponibilidade de Ingestão de Dados.
Todas as regiões disponíveis oferecem disponibilidade de serviço multizonal, exceto westus e northcentralus que oferecem disponibilidade de uma única zona.
Latency
A latência reflete tanto o reconhecimento da durabilidade como o tempo para materializar os registos na tabela Delta alvo. Os tempos reais variam consoante o alinhamento da região e as características da carga de trabalho.
- Tempo para a durabilidade
- Aproximadamente 150 ms
- Tempo para a tabela
- Aproximadamente 5 segundos
Quotas
A tabela seguinte apresenta os limites predefinidos do Zerobus Ingest.
| Item | Quota padrão | Precisa de mais? |
|---|---|---|
| Taxa de transferência por stream (gRPC) | 100 MB/segundo (comparado com mensagens de 1 KB) | Adjustable |
| Taxa de transferência por tabela de destino (gRPC) | 10 GB/segundo | Adjustable |
| Registos por segundo por fluxo | 100 000 (avaliado com base em mensagens de 1 KB) | Adjustable |
| Pedidos REST por segundo | 10,000 | Adjustable |
| Fluxos concorrentes por espaço de trabalho | Unlimited | N/A |
Estas são as taxas de processamento predefinidas com que o Zerobus Ingest vem configurado, e podem ser ampliadas para dar resposta a cargas de trabalho mais elevadas. Para colocar qualquer uma dessas questões, contacte o seu gestor de conta da Databricks. Para maximizar o rendimento, mantenha a sua aplicação cliente e o endpoint na mesma região geográfica.
Podes abrir tantos fluxos concorrentes quanto a tua carga de trabalho precisar e escrever em tantas tabelas alvo. Abrir mais fluxos é a forma pretendida de escalar, para que o número de fluxos concorrentes seja ilimitado.
As APIs compatíveis com Kafka estão em Beta, com uma quota padrão de 50.000 mensagens por segundo por espaço de trabalho. Para solicitar uma quota Beta mais elevada, contacte o seu representante de conta Databricks.
Garantias de entrega
O Zerobus Ingest oferece garantias pelo menos uma vez.
Retenção de dados em buffer
Se o serviço Zerobus Ingest não conseguir descarregar os dados em memória intermédia na sua tabela Delta, mantém os dados num armazenamento persistente gerido pelo serviço e, ocasionalmente, emite eventos de aviso para cada fluxo.
Se os dados permanecerem sem serem descarregados durante 28 dias, o serviço elimina os dados em memória intermédia e emite, para cada fluxo, um evento de descarte que regista o número de registos e bytes descartados. Não podes recuperar os dados após a eliminação.
Comportamento em tabelas
De que forma o Zerobus Ingest funciona com as suas tabelas Delta.
Tabelas particionadas
Ao escrever em tabelas particionadas, o Zerobus Ingest não suporta a escrita em mais de 100 partições em qualquer intervalo de 5 segundos. Para melhor rendimento, minimize o número de partições em cada intervalo de 5 segundos.
O Databricks recomenda usar tabelas cluster líquidas com Zerobus Ingest em vez de particionamento.
Espaço de trabalho e tabela alvo
A ingestão funciona com base na seguinte configuração do espaço de trabalho e da tabela de destino.
- O Zerobus Ingest suporta a escrita em tabelas Delta geridas.
- O Zerobus Ingest não suporta a recriação de uma tabela de alvo.
- O Zerobus Ingest só suporta nomes de tabelas com letras, dígitos e sublinhaduras ASCII.
- Tanto o espaço de trabalho como a tabela de destino têm de estar numa das regiões disponíveis.
Tabelas clusterizadas líquidas (Beta)
Ao usar o Zerobus Ingest com tabelas clusterizadas líquidas , recomenda-se manter a otimização preditiva ativada para a tabela alvo. O Zerobus Ingest escreve os dados na tabela, mas o agrupamento ótimo de dados é aplicado de forma assíncrona pelo serviço de otimização preditiva. Desativar a otimização preditiva pode resultar num desempenho de consulta subótimo nos dados ingeridos.
Esquema e tipos de dados
Tamanho do registo
Cada mensagem tem um tamanho máximo de 10 MB. O tamanho máximo do registo é de 10.485.760 bytes. Os cabeçalhos necessários para comunicação ocupam 19 bytes.
Para saber como o Zerobus Ingest valida registos contra o seu esquema de tabela, incluindo a evolução do esquema e as regras de esquema Protobuf, veja Gestão de esquemas. Para os tipos de dados Delta e Protobuf suportados, veja Tipos de dados suportados.