top of page
sparked-master-data-manager.png

Gerenciamento da qualidade dos dados no Data Lakehouse com Spark

O MD2 Sparked Master Data Manager é uma solução poderosa que utiliza o processamento escalável do Spark para integrar dados de pessoas provenientes de diversas fontes em formato batch e streaming, proporcionando uma visão completa e qualificada dos dados corporativos. 

Com uma arquitetura bem definida e estruturada em camadas, o MD2 Sparked Master Data Manager oferece uma abordagem completa para a governança de dados pessoais ao mesmo tempo em que apoia programas de privacidade a partir de uma visão consolidada e confiável dos dados de pessoas. 

O modelo de dados do MD2 Sparked Master Data Manager é projetado para contemplar a privacidade de dados em todas as camadas da arquitetura de medalhas sugerida para data lakehouses. A arquitetura de medalhas é uma abordagem recomendada para organizar e melhorar a qualidade dos dados em um data lakehouse, permitindo que os dados fluam progressivamente por diferentes camadas de qualidade e estrutura, como bronze, prata e ouro.

 

Cada camada na arquitetura de medalhas possui critérios de qualidade de dados específicos, com a camada de bronze contendo dados brutos e não processados, a camada de prata contendo dados limpos e organizados, e a camada de ouro contendo dados refinados e de alta qualidade.

A arquitetura em camadas se subdivide em: 

moeda-bronze.png
moeda-ouro.png

Camanda Bronze

Responsável por armazenar os dados das fontes de origem, preservando sua formatação original; 

 

Camada Prata

Integra, enriquece e qualifica os dados provenientes da camada Bronze. Através dessa etapa, a solução já entrega indicadores de qualidade sobre o nível de registro de pessoa, entregando uma visão da qualidade dos dados provenientes das origens e as ações de qualificação aplicadas para enriquecimento das informações. Além disso, através dessa camada é possível aplicar a execução da automação de enquadramentos legais, correlacionando os dados de cada fonte de origem com processos e tratamentos de dados. Com isso, a equipe de privacidade de dados e/ou DPO passam a enxergar informações e indicadores associados as normativas estabelecidas pela Lei Geral de Proteção de Dados (LGPD), como uma visão de registros de pessoas na companhia sem definição de finalidade de uso ou hipóteses legais, vigência dos dados e alertas quanto a necessidade de anonimização de dados, levantamento de riscos associados a não conformidade frente aos princípios da lei, entre outros. 

Camada Ouro 

Realiza a unificação dos registros qualificados e integrados na camada Prata, a partir da adoção de algoritmos de Machine Learning para matching e consolidação de registros, entregando uma visão 360 graus das pessoas que lidam com a corporação, com seus melhores dados cadastrais e informações complementares associadas a transações/registros de negócio, além da consolidação dos indicadores de privacidade e gestão de consentimento.

medalha-sparked-v4.png

Tratamento de qualidade de dados merece profissionalismo, métodos e artefatos performáticos e específicos para cada camada.

Com o MD2 Sparked Master Data Manager, é possível garantir que os dados sejam gerenciados de forma segura e privada em todas as camadas da arquitetura de medalhas. Isso inclui o uso de técnicas de criptografia e segurança de dados para garantir a privacidade dos dados, bem como recursos de gerenciamento de dados para garantir a conformidade com regulamentações e políticas de privacidade.

Performance, regra de padronização, enriquecimento, gestão de enquadramento legal, ciclo de vidas e unificação de pessoas para garantir dados de qualidade para bons negócios e garantir diligência à LGPD.

databricks_logo.png

O MD2 Sparked Master Data Manager possui suporte completo para integração com a plataforma Databricks Data Lakehouse, uma plataforma de dados, análises e Inteligência Artificial que revoluciona o mundo de gestão e análise de dados

degrade.png

Gostou da solução?

O Time de Especialistas da MD2 está pronto para ajudar você na escolha das mais adequadas e melhores ferramentas para que a sua empresa se destaque no mercado.

Sparked
bottom of page