Desde a muito mantemos diagramas de bancos de dados em arquivos lógicos, que são utilizados pelos DBAs e desenvolvedores para criação de aplicações e recentemente de outras funções para dashboards.

Porem com o avanço de leis de compliance como GDPR e LGPD conhecer quem tem acesso e como acessa dados sensíveis se tornou um recurso essencial.

Muitas ferramentas de DLP já fazem com o uso de conectores esse mapeamento, como por exemplo o Security Center pode estender para SQL Server nos planos pagos.

Mas e se possuimos multiplas bases de dados em diferentes produtos, plataformas e serviços?   Neste caso temos o Azure Purview.

O que o Purview oferece?

Com o catálogo de conectores você poderá incluir diversas fontes de dados que vão de SQL e Oracle a AWS S3 e Azure BLOB e descobrir o que está sendo disponibilizado e automaticamente mapear classificações e sensibilidade dos dados.

Por exemplo, quem são os usuários que consomem no Power BI uma determinada base de dados que contem cartões de crédito?    Quais storage accounts possuem dados não estruturados contendo documentos pessoais dos clientes ou exames médicos?

Nessa linha de atuação é que teremos o Purview atuando, tanto para catalogar dados sensiveis como funcionar como um dicionário de dados e mapeamento de acesso aos dados da empresa pelo Power BI, por exemplo.

Requisitos do Purview

Para utilizar o Purview será necessário criar uma instancia de execução (começa com C1 de 4 “unidades”), um Hub de Eventos e uma Storage Account

O custo do Purview é computado pelas unidades e tambem pelos scans que são efetuados, sendo que alguns ainda estão em preview e com custo zero até 02/Agosto quando escrevo este artigo Pricing - Azure Purview | Microsoft Azure

Acessando o Purview Studio

Toda a administração é feita pelo Studio, onde criamos os conectores e realizamos os scans.

Importante: O acesso aos dados é utilizado a managed account com o nome do recurso que você criou e seguindo os passos para cada tipo de recurso que irá mapear.

Registrando as Fontes de Dados

O Purview já traz uma série de conectores:

O passo a passo abaixo é a conexão com a fonte de dados SQL Database. Primeiro definimos a fonte de dados e a coleção, que nada mais é do que antes da conexão criar agrupamentos como podem ser visto na tela anterior.

Na sequencia definimos como será acessado os dados, pois na configuração acima vemos o servidor e banco de dados mas ainda não fizemos o acesso. Para isso será definido o tipo de identidade, sendo que no exemplo utilizei a managed account dando as permissões de read no SQL Server Management Studio (link no see more):

Essa configuração de acesso são os SCANS, onde vão as definições do que será acessado, no exemplo por ser uma conexão SQL Server o database. Na sequencia verá que selecionei as tabelas e quais classificações quero mapear (note que são as mesmas do Office 365):

Uma vez configurados os scans você poderá definir se ele será executado uma unica vez ou de forma recorrente, sendo que isso pode ser feito abrindo os objetos abaixo da coleção, onde podem ser visto a lista, acessados os diferentes processos e os detalhes:

Classificando e detalhando os dados mapeados

Uma vez os scans executados, automaticamente o Purview irá criar os assets como pode ser visto na função Browse Assets como a sequencia abaixo:

Uma vez aberta uma base de dados mapeada podemos definir detalhes, por exemplo criar uma classificação de dados para a base inteira, definindo quem são os donos/arquitetos dos dados e até definir para cada coluna um tipo especifico:

Nessa sequencia de telas podemos ver que os contatos são importantes para identificar quem conhece e mapeou aquela base de dados. Tambem vemos como definir descrição e classificação de dados individualmente, alem das que o Purview automaticamente já detectou.

Ainda nos assets posso vizualizar uso de dados, por exemplo quais bases de dados estão sendo usadas no Power BI de usuários PRO?   O Purview permitirá que vc tenha essa visualização como abaixo:

Customizando dados sensíveis e criando o glossário

Nos exemplos acima e na interface do Purview podem ser vistos dois itens, um já conhecido que é a classificação automática de sensibilidade e outra que é o glossário.

A classificação já tem pré-carregados os dados do Office 365 que são padrão dos compliances que a Microsoft já fornece, mas você poderá customizar novos assim como é feito no Compliance do Office 365:

Alem disso poderá criar termos de glossário que nada mais são do que um dicionário de dados para consulta. É importantíssimo que isso seja feito, pois será uma base de dados para que administradores e outros especialistas consigam saber por exemplo, de bases de dados especificas.

Uma vez criado os verbetes do glossário, em cada fonte de dados, tabela e coluna será possivel identificar essa classificação como já mostrado na tela de dados da tabela.

Interessante que para os itens é possível incluir atributos, ou seja indicar que se classificar uma tabela ou coluna como confidencial indicar um atributo obrigatório para escrever o motivo:

CONCLUSÃO

Uma vez mapeados com o Purview é possivel ter visibilidade de uso dos dados sensiveis, classificação dos dados em geral e montar um dicionario de dados moderno.

A algumas semanas atrás publiquei o artigo sobre o uso do Azure Purview como Ferramenta de Compliance (marcelosincic.com.br) e recebi varios questionamentos sobre auditoria no acesso a dados sensiveis.

Essa é uma duvida comum, pois o Purview identifica dados sensiveis nas diversas fontes de dados mas ele não faz auditoria do acesso a estes dados com log das consultas.

Para auditar o acesso é necessário usar as ferramentas de cada fonte de dados, uma vez que são diferentes. Por exemplo acesso a arquivos ou troca de dados é feito pelo DLP do Office 365 (Information Protection), acesso no SQL Server, etc.

Azure SQL Data Discovery & Classification

Parte da solução do Log Analytics, uma vez configurado terá acesso a estatisticas e detalhamento dos acessos.

As duas primeiras capturas abaixo são o meu painel do LAW com os 6 quadros do Solution onde posso identificar quem foram os IPs, usuários e dados acessados.

E ao clicar em qualquer um dos quadros terá acesso a consulta que gerou os dados, o que irá incluir um dado muito importante que é o SQL utilizado para acessar os dados, permitindo visualizar em detalhes o que foi visto pela sintaxe do comando!

Configurando o SQL Data Discovery & Classification

A configuração do recurso não é complexa e pode ser feita em poucos minutos através do próprio portal do Azure.

Existem duas formas de classificar os dados, a primeira é manual. Para isso acesse a opção Classification no painel acima e inclua manualmente as tabelas e respectivas colunas.

A fazer isso irá identificar o grupo e a criticidade dos dados da coluna para serem categorizados.

A segunda forma de categorizar dados é utilizando as regras de classificação automáticas que ainda está em Preview mas já é possivel visualizar os resultados.

Clique no botão Configure no painel do recurso e terá acesso aos labels de criticidade, que são os mostrados quando no modo manual incluimos as colunas.

Veja que no exemplo acima eu criei a minha própria classificação como “LGPD” e nela inclui alguns nomes de colunas que entendo serem necessárias (apenas como exemplo).

Para criar os conteudos que irão fazer parte automática da classificação, clique no botão Manage information types e verá os tipos já criados e poderá incluir novos tipos. No exemplo abaixo inclui RG, CPF e CNPJ mas poderia ter colocado alias como, por exemplo “raz%soci%” ou outros com coringas (%).

Importante: Aqui estamos classificando NOMES DE COLUNAS e não DADOS.

Log Analytics Solutions

Uma vez definidas as regras ou colunas com dados sensiveis, o Log Analytics ao qual o banco de dados está mapeado irá mostrar a solução instalada para gerar os gráficos que inclui no inicio deste artigo.

Porem, notará que no painel de monitoração irá aparecer uma mensagem dizendo que este tipo de painel (View) está sendo depreciado e que vc deveria criar um Workbook com as consultas. Isso não é necessário fazer agora, pois o recurso da solução irá funcionar normalmente.

Mas se desejar criar um workbook, clique nos quadros de recurso abrindo as consultas e as copie em um workbook customizado.

Segue uma lista útil de documentações e treinamentos online recentes.

• Guia de PoC do Azure para desenvolvedores
  Esse guia se destaca por ser um passo a passo para integrar com GitHub, criar bots, conceitos e criação de grupos de trabalho
  Mesmo equipes já formadas e que utilizam o Azure no desenvolvimento podem se beneficias pelas dicas desse ebook
  https://clouddamcdnprodep.azureedge.net/gdc/gdcq9scPU/original?wt.mc_id=AZ-MVP-4029139

• Práticas recomendadas para gerenciamento de risco interno
  Guia que aborda o IRM disponível nos planos Office 365 E3 e superiores destacando a importância de implementar rotulagem e proteção de documentos
  https://clouddamcdnprodep.azureedge.net/gdc/gdc1g7ZM4/original?wt.mc_id=AZ-MVP-4029139

• Windows Virtual Desktop Quickstart Guide
  Com a adoção do Home Office para funcionários, a solução de VDI como serviço (SaaS) cresceu muito
  Esse guia mostra os conceitos e requisitos para uma arquitetura de WVD SaaS no Azure
  Windows Virtual Desktop E-book | Microsoft Azure

• Zero Trust Deployment Guide
  O conceito de Zero Trust é bem interessante “nunca confie, sempre verifique”
  Esse guia aborda tanto conceitual quanto prático (produto) como implementar as diferentes camadas de proteção
  https://docs.microsoft.com/en-us/security/zero-trust?wt.mc_id=AZ-MVP-4029139

• SQL Server for Beginners
  Uma série de vídeos para abordar o produto, os vídeos são em inglês
  https://www.youtube.com/playlist?list=PLlrxD0HtieHi5c9-i_Dnxw9vxBY-TqaeN&wt.mc_id=AZ-MVP-4029139

• SQL Server on-premisse e Azure SQL Server Workshops
  O conteúdo dos workshops que a Microsoft entrega aberto para ser utilizado nas empresas ou individualmente
  É necessário um esforço de setup, mas o conteúdo é bem rico e valioso
  sqlworkshops | SQL Server Workshops (microsoft.github.io)