Pular para o conteúdo
Sistemas próprios. Conhecimento aplicado.
Agência A2CRConte seu projeto
Dados

DuckDB e Parquet: analise arquivos grandes antes de montar outra infraestrutura

Monte uma análise reproduzível sobre arquivos, compare CSV e Parquet e verifique tipos, filtros, memória e qualidade antes de ampliar a infraestrutura.

DuckDB e Parquet: analise arquivos grandes antes de montar outra infraestrutura

Uma equipe recebe exportações de vendas, cadastros e movimentações. As planilhas deixam de abrir com conforto, e a primeira proposta é criar vários serviços de dados. Entretanto, o problema inicial pode ser mais delimitado: consultar arquivos conhecidos, aplicar regras de conferência e produzir um resultado reproduzível.

DuckDB e Parquet podem participar dessa solução. Eles cumprem funções distintas: um é um mecanismo de consulta; o outro, um formato de arquivo. A escolha deve ser feita a partir da rotina analítica, da governança e dos limites do ambiente. Este manual apresenta um roteiro de avaliação com SQL didático e critérios para decidir quando essa abordagem basta e quando outra arquitetura é necessária.

1. Declare a pergunta e o recorte dos dados

Comece descrevendo a decisão que a análise deve apoiar. “Precisamos trabalhar com arquivos grandes” não informa quais filtros, relações e agregações serão necessários. “Conferir vendas por categoria e dia antes da reunião comercial” oferece um recorte verificável.

Liste arquivos, responsáveis, período e frequência. Defina se cada arquivo contém posições atuais, movimentações ou um histórico completo. Somar exportações semanais de posições pode contar o mesmo fato várias vezes. A consulta será tecnicamente correta e empresarialmente errada se essa diferença não estiver clara.

Registre também a definição do resultado. O total deve representar pedidos emitidos, itens entregues ou recebimentos? Uma ferramenta rápida não resolve uma métrica ambígua. Ela apenas permite reproduzir a ambiguidade com maior velocidade.

2. Entenda a função de CSV, Parquet e DuckDB

CSV é um formato textual de intercâmbio. Parquet organiza dados em formato colunar. DuckDB executa consultas e pode ler arquivos sem que a equipe precise criar antes um serviço de banco remoto. A visão geral oficial do Apache Parquet descreve o formato e seu ecossistema de implementações.

ComponenteFunçãoAtenção principal
CSVTroca textual de linhas e camposSeparador, codificação e interpretação dos tipos
ParquetArmazenamento colunar tipadoCompatibilidade de tipos e organização dos arquivos
DuckDBExecução de consultas analíticasPlano, memória, disco e forma de uso
Banco operacionalRegistro de transações da aplicaçãoConcorrência, permissões e integridade das operações

Não apresente a troca de CSV por Parquet como uma transformação automática de qualidade. Datas erradas e cadastros duplicados podem ser preservados de maneira eficiente no novo formato. A conversão precisa fazer parte de um processo de validação.

3. Crie uma camada de entrada controlada

Preserve o arquivo recebido e registre sua origem, data e identificador. Trabalhe em uma cópia ou em uma área de processamento separada. Essa prática permite demonstrar qual entrada produziu um relatório e investigar mudanças entre duas execuções.

Declare os tipos esperados. Um código de produto pode precisar permanecer como texto para conservar zeros iniciais. Um campo numérico com vírgula decimal não deve ser interpretado por tentativa sem conferência. Datas precisam de uma regra conhecida, principalmente quando o mesmo valor admite leituras diferentes.

Separe registros aceitos e rejeitados. Uma linha inválida não deve desaparecer silenciosamente da soma. O relatório de ingestão deve informar quantas linhas foram recebidas, aceitas e recusadas, além dos motivos que exigem revisão na origem.

4. Leia somente o que a pergunta exige

A documentação de Parquet do DuckDB apresenta leitura direta, escrita e mecanismos de seleção de colunas e filtros durante a varredura. No projeto, isso significa evitar uma consulta que carrega tudo para depois descartar quase todos os campos.

Selecione colunas explicitamente e aplique filtros coerentes. Se a pergunta utiliza dia, categoria e valor, não há motivo para trazer descrições extensas e anexos associados. Essa disciplina também reduz a exposição de informações que não são necessárias ao trabalho.

Verifique o plano e meça o comportamento no conjunto real autorizado. A organização dos arquivos e de seus metadados influencia o que pode ser evitado na leitura. Não prometa um fator fixo de aceleração apenas porque o formato é colunar.

5. Caso fictício: uma base com resultado conhecido

A empresa fictícia Rumo Analítico quer validar seu primeiro processo de análise. O ensaio utiliza 10.000 vendas inteiramente sintéticas. Os identificadores vão de zero a 9.999; números pares pertencem à categoria A e ímpares à B. Cada registro possui valor de R$ 10.

O resultado esperado é simples: 5.000 registros e R$ 50.000 por categoria, totalizando R$ 100.000. Essa base não representa faturamento de um cliente. Sua finalidade é oferecer um gabarito antes de utilizar arquivos empresariais mais complexos.

O SQL abaixo é um exemplo de preparação para ambiente de estudo. Execute em um diretório de teste e confira a sintaxe e as permissões na versão adotada. O comando de exportação cria um arquivo local.

CREATE TABLE vendas AS
SELECT
  i AS id,
  DATE '2026-11-01' + CAST(i % 10 AS INTEGER) AS dia,
  CASE WHEN i % 2 = 0 THEN 'A' ELSE 'B' END AS categoria,
  CAST(10 AS DECIMAL(12, 2)) AS valor
FROM range(10000) AS t(i);

COPY vendas TO 'vendas.parquet' (FORMAT PARQUET);

SELECT categoria, COUNT(*) AS quantidade, SUM(valor) AS total
FROM read_parquet('vendas.parquet')
GROUP BY categoria
ORDER BY categoria;

6. Confira cardinalidade antes de relacionar arquivos

Uma venda pode possuir vários eventos de entrega. Se o arquivo de vendas for ligado diretamente ao histórico de eventos e o valor for somado depois, a receita pode aparecer repetida. A falha está no nível de detalhe da combinação, não no formato do arquivo.

Descreva a unidade de cada tabela ou arquivo. Identifique quais chaves são únicas e quais relações são um para muitos. Quando a consulta precisa de um atributo agregado, produza esse agregado antes de relacioná-lo à medida principal.

No exemplo, acrescente duas ocorrências de acompanhamento para cada venda. Uma ligação sem controle produziria 20.000 linhas e poderia duplicar o total para R$ 200.000. O teste deve detectar essa alteração e recuperar o resultado esperado de R$ 100.000, preservando o histórico em sua própria granularidade.

7. Organize partições e arquivos sem pulverizar o acervo

Separar dados por período ou outra dimensão recorrente pode ajudar a localizar o recorte necessário. Entretanto, criar uma quantidade enorme de arquivos pequenos também produz trabalho de administração e leitura de metadados.

Escolha a organização a partir das consultas mais frequentes. Um arquivo por cliente pode dificultar análises globais e criar milhares de objetos. Uma partição mensal pode ser suficiente para uma rotina que raramente consulta intervalos menores. O piloto deve comparar opções com dados representativos.

Defina um contrato de publicação. O processo não deve consultar um diretório enquanto arquivos ainda estão sendo gravados sem saber quais estão completos. Use uma etapa de conclusão ou um manifesto que identifique o conjunto pronto para consumo.

8. Planeje memória e disco temporário

Ser capaz de ler dados maiores que a memória não significa executar qualquer consulta sem limites. A orientação de ajuste de cargas do DuckDB descreve processamento com uso de disco e limitações de determinadas operações e combinações.

Avalie o espaço de trabalho, não apenas o tamanho do arquivo original. Ordenações, agrupamentos e relações podem criar resultados intermediários relevantes. Configure diretórios de processamento e limites compatíveis com a máquina, mantendo margem para outros serviços.

Em um computador compartilhado, uma consulta pesada pode prejudicar outras atividades. Em uma aplicação web, múltiplas execuções simultâneas exigem controle adicional. Defina fila, cancelamento, tempo máximo e limites por tarefa antes de expor consultas analíticas a vários usuários.

9. Preserve segurança e reprodutibilidade

Um arquivo local não é automaticamente privado. Ele pode estar em uma pasta sincronizada, em um computador compartilhado ou em um diretório temporário com acesso inadequado. O projeto deve definir onde as entradas e saídas ficam e quem pode consultá-las.

Não aceite caminhos e instruções SQL arbitrários de usuários sem um modelo específico de autorização. Um relatório empresarial pode utilizar consultas parametrizadas e conjuntos de arquivos previamente autorizados. A liberdade de exploração de um analista não deve ser replicada indiscriminadamente para todos os perfis.

Para reproduzir a análise, registre versão das regras, arquivos utilizados e parâmetros. A exportação final deve informar o período e as condições relevantes. O manual de exportação e portabilidade de dados complementa esse planejamento.

10. Saiba quando outra infraestrutura é necessária

Uma rotina individual de análise difere de um sistema operacional com muitas pessoas alterando dados. Não utilize a simplicidade da consulta local como justificativa para dispensar requisitos transacionais, controle de acesso e coordenação de escrita.

Se o trabalho exige atualização contínua, múltiplas fontes, histórico governado e consumo por muitas equipes, uma camada compartilhada de dados pode ser necessária. A análise com arquivos ainda pode participar do processo, mas não precisa concentrar todas as responsabilidades.

Compare também a alternativa de melhorar o banco atual. O guia de diagnóstico de consultas lentas em PostgreSQL atende outro problema: uma operação que já está no banco e precisa de investigação. Copiar tudo para arquivos antes desse diagnóstico pode apenas deslocar o custo.

11. Oficina de comparação e checklist

Prepare a base sintética com resultados conhecidos. Execute uma consulta completa e outra que utiliza apenas duas colunas e um período. Registre tempo total, memória observada, espaço temporário e quantidade de linhas produzidas. Não apresente essas medições como benchmark universal.

Depois, introduza uma data inválida, um identificador duplicado e uma relação que multiplica linhas. O processo deve mostrar a diferença, explicar o motivo e manter o gabarito das medidas que não deveriam mudar.

  • A pergunta de negócio e o período estão definidos.
  • Cada arquivo possui origem e versão identificáveis.
  • Tipos e codificações foram conferidos explicitamente.
  • Linhas rejeitadas possuem contagem e motivo.
  • A unidade de cada arquivo está documentada.
  • Relações não multiplicam medidas sem uma regra conhecida.
  • Filtros e colunas foram limitados ao necessário.
  • Os arquivos publicados estão completos antes da leitura.
  • Memória, disco temporário e concorrência foram avaliados.
  • A saída pode ser reproduzida com as mesmas entradas.
  • As permissões cobrem arquivos de entrada, temporários e exportações.

Perguntas frequentes

Parquet substitui um banco de dados?

Parquet é um formato de arquivo. Ele pode compor uma arquitetura analítica, mas não assume sozinho as responsabilidades de um serviço de banco, como coordenação de acesso, regras transacionais e administração de usuários.

Converter CSV sempre deixa a consulta mais rápida?

Não existe um resultado garantido para toda carga. O benefício depende da consulta, dos tipos, da organização dos arquivos e do ambiente. Faça a comparação com um resultado de negócio conhecido e observe o trabalho total, incluindo a conversão.

Posso usar DuckDB dentro de uma aplicação empresarial?

Sim, se a forma de uso respeitar o perfil da carga e os requisitos da aplicação. É necessário limitar tarefas, proteger arquivos e avaliar concorrência e recuperação. Uma prova de conceito individual não demonstra automaticamente capacidade para atender muitos usuários simultâneos.

Estruture uma análise antes de ampliar a plataforma

Para discutir dashboards e Business Intelligence com a Agência A2CR, reúna uma amostra autorizada de arquivos, a pergunta de gestão e os totais esperados. Isso permite avaliar uma solução analítica proporcional ao problema, com critérios para crescer quando a operação realmente exigir.

Modelo para aplicar na sua empresa

Baixar o checklist de DuckDB e Parquet para análise de dados. Use-o para registrar evidências, responsáveis e pendências da avaliação.

Fontes consultadas

Revisão documental: 18/11/2026. Cenários e números didáticos não representam resultados medidos de clientes. A aplicação exige conferir a documentação e as condições do projeto.

Compartilhar