Um dos programas que a Microsoft disponibiliza a MVPs e parceiros é participar de previews privados para funcionalidades de Cloud Security.

Um destes recursos liberados para Public Preview recentemente foi o Log Search and Restore onde pode-se estender o tempo de log do Analytics alem de utilizar o próprio Sentinel para ler os dados destes logs armazenados.

Limitação Atual

Na versão GA o Sentinel guarda os logs por até 2 anos, sendo que pela interface visual é possivel configurar 90 dias e via PowerShell para até 755 dias.

Alem disso, ao configurar para 2 anos o log acaba gerando um custo mais alto por estar vinculado ao preço de armazenamento do Log Analytics que é por Giga.

Novos Limites e Custo

Neste Preview o log agora poderá ser guardado por 7 anos (2520 dias) alem de ter um custo menor que será divulgado no GA, porem muito menor que o atual.

Assim como no GA atual, a alteração pode ser feita via PowerShell para os 7 anos.

Mas para ajudar, vc pode usar o aplicativo disponibilizado no GitHub onde poderá escolher as tabelas e o tempo de arquivo para operação. Ou seja você pode colocar a tabela de alertas por 5 anos e a tabela de incidentes por 2 anos.

Link para o aplicativo de configuração: Azure-Sentinel/Tools/Archive-Log-Tool/ArchiveLogsTool-PowerShell at master · Azure/Azure-Sentinel · GitHub

Usando o Recurso

Vou demonstrar com prints abaixo do meu Preview como fiz o processo de Restore, Search e o resultado final.

Executando um Restore com o nome da tabela que desejo, a data inicial e final:

Na sequencia executei uma consulta abordando o tempo que configurei do Restore da tabela SecurityEvents com o nome do meu servidor:

Por fim, o resultado é uma nova Custom Table no Log Analytics com o nome indicado acima e os mais de 3 anos de eventos restaurados!!!

Anuncio do Preview: What's New: Search, Basic Ingestion, Archive, and Data Restoration are Now in Public Preview - Microsoft Tech Community

Desde a muito mantemos diagramas de bancos de dados em arquivos lógicos, que são utilizados pelos DBAs e desenvolvedores para criação de aplicações e recentemente de outras funções para dashboards.

Porem com o avanço de leis de compliance como GDPR e LGPD conhecer quem tem acesso e como acessa dados sensíveis se tornou um recurso essencial.

Muitas ferramentas de DLP já fazem com o uso de conectores esse mapeamento, como por exemplo o Security Center pode estender para SQL Server nos planos pagos.

Mas e se possuimos multiplas bases de dados em diferentes produtos, plataformas e serviços?   Neste caso temos o Azure Purview.

O que o Purview oferece?

Com o catálogo de conectores você poderá incluir diversas fontes de dados que vão de SQL e Oracle a AWS S3 e Azure BLOB e descobrir o que está sendo disponibilizado e automaticamente mapear classificações e sensibilidade dos dados.

Por exemplo, quem são os usuários que consomem no Power BI uma determinada base de dados que contem cartões de crédito?    Quais storage accounts possuem dados não estruturados contendo documentos pessoais dos clientes ou exames médicos?

Nessa linha de atuação é que teremos o Purview atuando, tanto para catalogar dados sensiveis como funcionar como um dicionário de dados e mapeamento de acesso aos dados da empresa pelo Power BI, por exemplo.

Requisitos do Purview

Para utilizar o Purview será necessário criar uma instancia de execução (começa com C1 de 4 “unidades”), um Hub de Eventos e uma Storage Account

O custo do Purview é computado pelas unidades e tambem pelos scans que são efetuados, sendo que alguns ainda estão em preview e com custo zero até 02/Agosto quando escrevo este artigo Pricing - Azure Purview | Microsoft Azure

Acessando o Purview Studio

Toda a administração é feita pelo Studio, onde criamos os conectores e realizamos os scans.

Importante: O acesso aos dados é utilizado a managed account com o nome do recurso que você criou e seguindo os passos para cada tipo de recurso que irá mapear.

Registrando as Fontes de Dados

O Purview já traz uma série de conectores:

O passo a passo abaixo é a conexão com a fonte de dados SQL Database. Primeiro definimos a fonte de dados e a coleção, que nada mais é do que antes da conexão criar agrupamentos como podem ser visto na tela anterior.

Na sequencia definimos como será acessado os dados, pois na configuração acima vemos o servidor e banco de dados mas ainda não fizemos o acesso. Para isso será definido o tipo de identidade, sendo que no exemplo utilizei a managed account dando as permissões de read no SQL Server Management Studio (link no see more):

Essa configuração de acesso são os SCANS, onde vão as definições do que será acessado, no exemplo por ser uma conexão SQL Server o database. Na sequencia verá que selecionei as tabelas e quais classificações quero mapear (note que são as mesmas do Office 365):

Uma vez configurados os scans você poderá definir se ele será executado uma unica vez ou de forma recorrente, sendo que isso pode ser feito abrindo os objetos abaixo da coleção, onde podem ser visto a lista, acessados os diferentes processos e os detalhes:

Classificando e detalhando os dados mapeados

Uma vez os scans executados, automaticamente o Purview irá criar os assets como pode ser visto na função Browse Assets como a sequencia abaixo:

Uma vez aberta uma base de dados mapeada podemos definir detalhes, por exemplo criar uma classificação de dados para a base inteira, definindo quem são os donos/arquitetos dos dados e até definir para cada coluna um tipo especifico:

Nessa sequencia de telas podemos ver que os contatos são importantes para identificar quem conhece e mapeou aquela base de dados. Tambem vemos como definir descrição e classificação de dados individualmente, alem das que o Purview automaticamente já detectou.

Ainda nos assets posso vizualizar uso de dados, por exemplo quais bases de dados estão sendo usadas no Power BI de usuários PRO?   O Purview permitirá que vc tenha essa visualização como abaixo:

Customizando dados sensíveis e criando o glossário

Nos exemplos acima e na interface do Purview podem ser vistos dois itens, um já conhecido que é a classificação automática de sensibilidade e outra que é o glossário.

A classificação já tem pré-carregados os dados do Office 365 que são padrão dos compliances que a Microsoft já fornece, mas você poderá customizar novos assim como é feito no Compliance do Office 365:

Alem disso poderá criar termos de glossário que nada mais são do que um dicionário de dados para consulta. É importantíssimo que isso seja feito, pois será uma base de dados para que administradores e outros especialistas consigam saber por exemplo, de bases de dados especificas.

Uma vez criado os verbetes do glossário, em cada fonte de dados, tabela e coluna será possivel identificar essa classificação como já mostrado na tela de dados da tabela.

Interessante que para os itens é possível incluir atributos, ou seja indicar que se classificar uma tabela ou coluna como confidencial indicar um atributo obrigatório para escrever o motivo:

CONCLUSÃO

Uma vez mapeados com o Purview é possivel ter visibilidade de uso dos dados sensiveis, classificação dos dados em geral e montar um dicionario de dados moderno.

A algumas semanas atrás publiquei o artigo sobre o uso do Azure Purview como Ferramenta de Compliance (marcelosincic.com.br) e recebi varios questionamentos sobre auditoria no acesso a dados sensiveis.

Essa é uma duvida comum, pois o Purview identifica dados sensiveis nas diversas fontes de dados mas ele não faz auditoria do acesso a estes dados com log das consultas.

Para auditar o acesso é necessário usar as ferramentas de cada fonte de dados, uma vez que são diferentes. Por exemplo acesso a arquivos ou troca de dados é feito pelo DLP do Office 365 (Information Protection), acesso no SQL Server, etc.

Azure SQL Data Discovery & Classification

Parte da solução do Log Analytics, uma vez configurado terá acesso a estatisticas e detalhamento dos acessos.

As duas primeiras capturas abaixo são o meu painel do LAW com os 6 quadros do Solution onde posso identificar quem foram os IPs, usuários e dados acessados.

E ao clicar em qualquer um dos quadros terá acesso a consulta que gerou os dados, o que irá incluir um dado muito importante que é o SQL utilizado para acessar os dados, permitindo visualizar em detalhes o que foi visto pela sintaxe do comando!

Configurando o SQL Data Discovery & Classification

A configuração do recurso não é complexa e pode ser feita em poucos minutos através do próprio portal do Azure.

Existem duas formas de classificar os dados, a primeira é manual. Para isso acesse a opção Classification no painel acima e inclua manualmente as tabelas e respectivas colunas.

A fazer isso irá identificar o grupo e a criticidade dos dados da coluna para serem categorizados.

A segunda forma de categorizar dados é utilizando as regras de classificação automáticas que ainda está em Preview mas já é possivel visualizar os resultados.

Clique no botão Configure no painel do recurso e terá acesso aos labels de criticidade, que são os mostrados quando no modo manual incluimos as colunas.

Veja que no exemplo acima eu criei a minha própria classificação como “LGPD” e nela inclui alguns nomes de colunas que entendo serem necessárias (apenas como exemplo).

Para criar os conteudos que irão fazer parte automática da classificação, clique no botão Manage information types e verá os tipos já criados e poderá incluir novos tipos. No exemplo abaixo inclui RG, CPF e CNPJ mas poderia ter colocado alias como, por exemplo “raz%soci%” ou outros com coringas (%).

Importante: Aqui estamos classificando NOMES DE COLUNAS e não DADOS.

Log Analytics Solutions

Uma vez definidas as regras ou colunas com dados sensiveis, o Log Analytics ao qual o banco de dados está mapeado irá mostrar a solução instalada para gerar os gráficos que inclui no inicio deste artigo.

Porem, notará que no painel de monitoração irá aparecer uma mensagem dizendo que este tipo de painel (View) está sendo depreciado e que vc deveria criar um Workbook com as consultas. Isso não é necessário fazer agora, pois o recurso da solução irá funcionar normalmente.

Mas se desejar criar um workbook, clique nos quadros de recurso abrindo as consultas e as copie em um workbook customizado.