Categorias
Azure SQL Database How To Troubleshooting

Azure SQL Database – Transparent Data Encryption with bring your own key

[bing_translator]

Transparent Data Encryption (TDE) vem por padrão habilitado quando você cria um novo database no Azure SQL Database.  

TDE não é mais uma novidade porem eu tenho visto que é pouco explorada (minha percepção). Se predente usar TDE on-premise vale a pena a leitura no post anterior. 

Habilitar ou desabilitar TDE no Azure SQL Database é simplesmente um click para ON ou OFF e a Microsoft faz tudo para você! Simples né, porem algumas perguntas vinham em relação a esse gerenciamento, por exemplo, como é realizado o gerenciamento de chaves ou porque apenas certificado poderiam ser usados.   

Com isso em mente a Microsoft disponibilizou uma nova opção: Bring Your Own Key. Com certeza isso faz muita diferença uma vez que posso ter o controle maior sobre as minhas chaves e posso aplicar a política definida pela minha empresa. Sendo assim agora eu posso estar cumprindo as conformidades de órgãos regulamentadores com mais transparência.  

https://azure.microsoft.com/en-us/blog/transparent-data-encryption-with-customer-managed-keys-in-azure-sql-database-generally-available/

Bring Your Own Key 

A minha primeira tentativa foi utilizar o Azure Portal para criar todos os passos necessários desde a criação de um novo servidor, key vault e key. 

Key Vault 

Na blade para criar o key vault começaram meus problemas.  

Ao tentar adicionar um acesso para o meu “logical server” eu não pude encontra-lo. Mas a pergunta era, porque não?! 

Voltei a ler a documentação e tentei entender melhor como TDE suporta BYOK. 

https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption-byok-azure-sql?view=azuresqldb-current 

O servidor logico precisa gerar e assinar uma identidade no Azure Active Directory, mas o Azure Portal não me dá essa opção quando estou criando o servidor.  

Não tem problema, vamos para o PowerShell. 

Set-AzureRmSqlServer `
-ResourceGroupName TDE `
-ServerName tdebalabuch `
-AssignIdentity

Eu não precisei apagar e criar novamente o servidor. 

Depois de executar o comando voltei ao Azure Portal e agora o meu servidor estava disponível para adicionar acesso.

Adicionei as permissões necessárias: GET, WRAP e UNWRAP.

Key 

Agora que a key vault está criado falta apenas a key.

3 importantes atributos que a Key deve ter: 

  • No expiration date 
  • Not disabled 
  • Permissão de get, wrap key, unwrap key  

Habilitar TDE com BYOK 

Agora seria a hora de apertar o botão salvar e tudo funcionar perfeito. Seria, mas não foi! 

Recebi o erro:  

Failed to save Transparent Data Encryption settings for server: {serverName}. Error message: The provided Key Vault uri ‘https://keyvaulttde.vault.azure.net/keys/KeyForTDE/633a6b1fad6941cb96449599df0382c0’ is not valid. Please ensure the vault has the right Recovery Level other than ‘Purgeable’. 

Ok. Fiz algo de erro, vou refazer tudo e vai dar certo! #sqn 

Boa notícia, refiz algumas vezes e pude perceber o que mesmo sem atribuir uma identidade para o servidor quando clico em salvar a etapa de atribuir uma identidade e conceder as permissões o Azure Portal está fazendo 🙂 

Mas ainda falta algo que ele não faz. Então nesse momento apenas é possível utilizar PowerShell e CLI.  

Quebrando os passos 

Aqui eu comecei a quebrar os passos da criação de todos os recursos envolvidos. 

Lendo a documentação novamente me deparo com essa informação 

https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption-byok-azure-sql?view=azuresqldb-current 

Depois de ler mais documentação percebi que essa funcionalidade era o que estava me causando problema.  

https://docs.microsoft.com/en-us/azure/key-vault/key-vault-ovw-soft-delete 

https://docs.microsoft.com/en-us/azure/key-vault/key-vault-soft-delete-powershell 

Eu tive que executar um comando em PowerShell:

($resource = Get-AzureRmResource -ResourceId (Get-AzureRmKeyVault -VaultName "KeyVaultTDE").ResourceId).Properties | Add-Member -MemberType "NoteProperty" -Name "enableSoftDelete" -Value "true" 

Set-AzureRmResource -resourceid $resource.ResourceId -Properties $resource.Properties  

Get-AzureRmKeyVault -VaultName "KeyVaultTDE"

Voltei ao Azure Portal e pude finalizar o processo. 

Investigando um pouco mais, quando entrei na Key Vault me apareceu a seguinte mensagem! 

OK! Meu entendimento é que Soft Delete ainda está em “Preview” e minha pergunta é: Porque a Microsoft liberou um recurso (TDE com BYOK) que depende de outro recurso que ainda está em “Preview”? 

Enquanto o Azure Portal não tem todas as opções disponíveis o melhor jeito é utilizar o PowerShell.  

https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption-byok-azure-sql 

https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption-byok-azure-sql-configure

https://azure.microsoft.com/en-us/blog/transparent-data-encryption-with-customer-managed-keys-in-azure-sql-database-generally-available/ 

https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption-azure-sql 

https://azure.microsoft.com/en-us/blog/preview-sql-transparent-data-encryption-tde-with-bring-your-own-key-support/ 

 

Categorias
Azure SQL Database Virtual PASS BR

Azure SQL Database – Vulnerability Assessment

[bing_translator]

O Vulnerability Assessment (VA) primeiramente introduzido no Azure SQL Database e depois entregue na versão do SQL Server Management Server (SSMS) 17.4 é um recurso que pode ajudar a descobrir, rastrear e corrigir potencias vulnerabilidades no seu database.

“To gain the benefits of a Vulnerability Assessment on your database, all you need to do is run a Scan, which will scan your database for vulnerabilities.”

Essa simples frase resume exatamente o que você deve fazer para utilizar esse recurso, nada além disso. Na minha visão o principal motivo para isso é a grande preocupação que a Microsoft está tendo em relação a segurança da informação. O Vulnerability Assessment é de fácil interpretação e principalmente é feito para não especialistas em segurança da informação assim como eu. Com esse recurso eu posso proteger melhor o meu ambiente porem isso pode não ser o suficiente caso a sua empresa tenha uma especialista em segurança e ele te direcione para qual caminho seguir.

Eu acredito que o recurso irá evoluir e iremos ganhar mais facilidades como por exemplo automatização de scan!

Hoje o Vulnerability Assessment faz parte do Advanced Threat Protection for Azure SQL Database.

A única configuração que você precisara fazer é escolher onde irá armazenar o resultado e nesse caso será uma “storage account”

Pronto! Agora basta executar o scan e aguardar pelo resultado.

Pude notar que as validações que estavam em preview foram modificadas na versão General availability (GA). O último preview, que eu utilizei, existiam 77 validações e agora só existem 48. Não sei o motivo porque algumas foram retiradas, mas espero que a lista aumente.

Para cada verificação existem detalhes que trazem informações complementares importantíssimas como por exemplo como remediar (resolver) o problema.

É possível criar uma baseline para cada database e assim você pode customizar o que é importante para seu ambiente. No relatório, o status da regra irá mostrar como aceito por baseline customizada.

Com o GA agora é exportar o resultado para Excel através do botão: Export Scan Results. Dessa maneira você pode ter um relatório offline e distribuir dentro da sua equipe ou até mesmo enviar para outras pessoas.

Com o Scan History é possível ver como estava as vulnerabilidades em cada scan. Isso facilita a auditoria e principalmente podemos ver o progresso das correções. Também é possível exportar para Excel qualquer histórico.

Eu espero que em breve possamos criar nossas próprias validações dando assim flexibilidade para cada cliente customizar com suas necessidades.

A versão do SSMS para on-premise tem as mesmas funcionalidades e é tão simples quanto a versão do Azure SQL Database.

https://www.mssqltips.com/sqlservertip/5297/sql-server-security-vulnerability-assessment-tool-in-ssms-174/

Jan Rokicki escreveu um excelente post falando sobre VA

https://www.datasic.com/post/ssms-va-assessment/

Referencias:

https://azure.microsoft.com/en-us/blog/introducing-sql-vulnerability-assessment-for-azure-sql-database-and-on-premises-sql-server/

https://blogs.technet.microsoft.com/dataplatforminsider/2017/12/11/whats-new-in-ssms-17-4-sql-vulnerability-assessment/

https://docs.microsoft.com/en-us/azure/sql-database/sql-vulnerability-assessment

https://docs.microsoft.com/en-us/sql/relational-databases/security/sql-vulnerability-assessment?view=sql-server-2017

https://docs.microsoft.com/en-us/azure/sql-database/sql-advanced-threat-protection

https://docs.microsoft.com/en-us/azure-advanced-threat-protection/what-is-atp

Categorias
Azure SQL Database Virtual PASS BR

GDPR – Principle of least privilege

[bing_translator]

Principle of least privilege – Principio do menor privilegio é a prática de limitar os direitos de acesso dos usuários às permissões mínimas necessárias para realizar seu trabalho. Apenas os direitos mínimos necessários devem ser atribuídos a um indivíduo que solicita acesso a um recurso e deve estar em vigor pelo menor tempo necessário. Esse conceito pode ser aplicado a usuários, programas ou processos que interagem de alguma forma com acesso a dados.

Algumas atribuições de privilégios podem ser baseadas em funções ou unidades de negócios como marketing, recursos humanos ou TI.

Como implementar o POLP

  • Realização de auditorias de privilégios, verificando todos os processos, programas e contas existentes para garantir que eles tenham apenas as permissões necessárias para realizar seu trabalho.
  • Iniciando todas as contas com o menor privilégio, definindo o padrão para todos os novos privilégios de conta o mais baixo possível e adicionando privilégios de nível superior somente conforme necessário para executar as tarefas.
  • Implementando a separação de privilégios, separando as contas administrativas das contas padrão e as funções do sistema de nível superior das contas inferiores.
  • Atribuir privilégios just-in-time restringindo os privilégios de nível superior apenas ao momento em que eles são realmente necessários.
  • Acompanhar e rastrear ações individuais usando credenciais de uso único, monitoramento e auditoria automática para facilitar o rastreamento das ações do usuário, permitindo que as organizações limitem os danos

Esses passos podem ser utilizados por diversas áreas além de banco de dados.

Vou mostrar como eu implementei esse processo de POLP e já adianto que foi a tarefa mais demorada de toda a implementação do GDPR (General Data Protection Rules).

Nesse processo foi fundamental o auxílio de uma ferramenta grátis, dbatools, que eu acredito que todos que trabalham com SQL Server deveriam conhecer. Eu gostaria de agradecer o Claudio Silva (blog/twitter) por me ajudar prontamente com as dúvidas!

Revisar membros da role sysadmin

$sqllist =  "sql01","sql02","sql03"
$sqllist |  Get-DbaUserLevelPermission -Database master -Verbose | Where-Object {$_.RoleSecurableClass -eq "sysadmin"} | Out-GridView #| Export-Csv "c:\temp\Audit-SQL-sysadmin-permission.csv"

Com um simples comando eu pude exportar uma lista completa de todos os sysadmin das minhas instancias.

Obs.: Esses simples exemplos são suficientes para iniciar uma análise.

Revisar permissões de CONTROL SERVER

$sqllist =  "sql01","sql02","sql03"
$sqllist |  Get-DbaUserLevelPermission -Database master -Verbose | Where-Object {$_.Permission -eq "CONTROL SERVER"} | Out-GridView #| Export-Csv "c:\temp\Audit-SQL-sysadmin-permission.csv"

http://www.sqlservercentral.com/blogs/brian_kelley/2009/03/06/control-server-vs-sysadmin-membership/

https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-server-permissions-transact-sql?view=sql-server-2017

Revisar permissões a nivel de servidor

$sqllist =  "sql01","sql02","sql03"
$sqllist |  Get-DbaUserLevelPermission -Database master |Where-Object {$_.RoleSecurableClass -eq "SERVER" -and $_.Permission -inotin "CONNECT SQL","CONTROL SERVER"   } | Out-GridView #| Export-Csv "c:\temp\Audit-SQL-server-side-permission.csv"

Usar a VIEW SERVER STATE

É normalmente usado para solução de problemas ou atividades relacionadas ao desempenho e é a melhor alternativa para não conceder permissão de sysadmin, especialmente para pessoas externas

Dynamic management views (DMV) retornam informações de estado do servidor que podem ser usadas para monitorar a integridade de uma instância do servidor, diagnosticar problemas e ajustar o desempenho

https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-server-permissions-transact-sql

Revisar todas as permissões para todos os usuarios

Esse comando mostra todos server logins, server level securable, database logins e database securables

$sqllist =  "sql01","sql02","sql03"
$sqllist |  Get-DbaUserLevelPermission -Database master |Where-Object {$_.RoleSecurableClass -inotin"sysadmin" -and $_.Permission -inotin "CONNECT SQL","CONTROL SERVER"   } | Out-GridView #  Export-Csv "c:\temp\Audit-SQL-server-side-permission.csv" 

Esse foi o ponto que mais gastou nosso tempo, pois rever permissões é sempre uma tarefa difícil. Não poderíamos simplesmente retirar permissões sem impactar o dia a dia dos usuários e por isso foi criado um documento para cruzar informações sobre a classificação de dados e as permissões de cada usuário.

https://docs.microsoft.com/en-us/dotnet/framework/data/adonet/sql/authorization-and-permissions-in-sql-server

Remover logins desabilitados ou não utilizados

Nos monitoramos os logins de duas formas:

  • Extended Event
CREATE EVENT SESSION [XE_Getting_Login]
ON SERVER
ADD EVENT sqlserver.login
( ACTION ( sqlserver.client_app_name
,sqlserver.client_hostname
,sqlserver.database_id
,sqlserver.database_name
,sqlserver.username )
WHERE ( [sqlserver].[database_id] > ( 4 )))
ADD TARGET package0.event_file
( SET filename = N'XE_Getting_Login' )
WITH ( MAX_MEMORY = 4096KB
,EVENT_RETENTION_MODE = ALLOW_SINGLE_EVENT_LOSS
,MAX_DISPATCH_LATENCY = 30 SECONDS
,MAX_EVENT_SIZE = 0KB
,MEMORY_PARTITION_MODE = NONE
,TRACK_CAUSALITY = OFF
,STARTUP_STATE = OFF );
GO
  • Audit
USE [master];
GO

CREATE SERVER AUDIT [Unused_Login]
TO FILE ( FILEPATH = N'S:\Audit\'
         ,MAXSIZE = 100MB
         ,MAX_ROLLOVER_FILES = 5
         ,RESERVE_DISK_SPACE = OFF )
WITH ( QUEUE_DELAY = 1000
      ,ON_FAILURE = CONTINUE
      ,AUDIT_GUID = '98c2b34e-aba9-4e4d-9691-dc315c057a70' );
GO

ALTER SERVER AUDIT [Unused_Login]
WITH ( STATE = ON );
GO

USE [master];
GO

CREATE SERVER AUDIT SPECIFICATION [ServerAuditSpecification_Unused_Login]
FOR SERVER AUDIT [Unused_Login]
  ADD ( AUDIT_CHANGE_GROUP )
 ,ADD ( SUCCESSFUL_LOGIN_GROUP )
WITH ( STATE = ON );
GO

Depois de 40 dias capturando as informações foi possível saber quais logins estavam sendo usados e facilmente excluímos os outros.

Criar windows group

Passamos a implantar essa pratica para facilitar a administração (inclusão e exclusão de usuário). Crie um windows group principalmente para os administradores do SQL Server. Eu fiquei espantado quando vi a resistência de algumas pessoas para criar grupos pelo simples fato que elas estavam acostumadas a apenas criar usuários.

https://www.mssqltips.com/sqlservertip/1831/using-windows-groups-for-sql-server-logins-as-a-best-practice/

Criar User-Defined Server Role e User-Defined Database Role

Uma maneira simples e fácil de gerenciar as permissões em seus bancos de dados e servidores. É possível você atribuir um conjunto de permissões a uma “role” ao invés de atribuir individualmente para cada usuário ou grupo de usuarios.

https://docs.microsoft.com/en-us/sql/relational-databases/security/authentication-access/server-level-roles

https://docs.microsoft.com/en-us/sql/relational-databases/security/authentication-access/database-level-roles

Criamos User-defined Server Role genéricas onde utilizamos a mesma estrutura (permissões) em todos as instancias, por exemplo, um grupo de usuários necessita ter a visibilidade de como está o estado na instancia. Nesse caso atribuímos a permissão de VIEW SERVER STATE.

Para cada database criamos “roles” de acordo com a necessidade deles. O que utilizamos foi a classificação dos dados que foi realizado para mandar tudo dentro do GDPR. Uma ideia que tivemos foi criar “tier” de acesso onde o “tier” mais básico tem acesso as informações públicas e o “tier” mais elevado tem acesso as informações confidencias.

Com isso tivemos um cruzamento assim: Classificação da informação X Usuário/Grupo de Usuário X Role (tier)

Forçar política de password

Nos literalmente forçamos todos os SQL Logins a utilizar essa política fazendo. E principalmente criamos auditoria para esse processo.

https://docs.microsoft.com/en-us/sql/relational-databases/security/password-policy

https://docs.microsoft.com/en-us/sql/relational-databases/security/strong-passwords

Replace user logins for databases contained

Isso de fato não foi um requerimento, mas é útil para que possamos realizar uma migração para Azure SQL Database. Achamos o momento oportuno, uma vez que estávamos revendo todas as permissões e tentamos utilizar contained database para a maioria das aplicações e usuários porem alguns sistemas “antigos”, não são legados pois ainda estão em uso, mas a manutenção é cara, não pudemos alterar.

https://docs.microsoft.com/en-us/sql/relational-databases/security/contained-database-users-making-your-database-portable?view=sql-server-2017

https://docs.microsoft.com/en-us/sql/relational-databases/databases/security-best-practices-with-contained-databases?view=sql-server-2017

https://docs.microsoft.com/en-us/sql/relational-databases/databases/migrate-to-a-partially-contained-database?view=sql-server-2017

Para finalizar todo nosso esforço criamos auditorias de acesso para saber se nosso trabalho estava correto e principalmente estar em conformidade com a nova regulamentação.

Eu irei falar de auditoria em breve 🙂

 

Categorias
Azure SQL Database Virtual PASS BR

Azure SQL Database – Data Discovery & Classification

[bing_translator]

“SQL Data Discovery & Classification is currently at an early phase, and the eco-system around it is expected to grow as we continue releasing new capabilities”

Gostaria de começar esse post com a frase acima que peguei de um comentário no post que anunciou esse recurso!

Atualmente esse recurso está em preview, porém já podemos saber que é apenas o início de algo maior que esta por vir.

Aqui na Europa o GDPR está fazendo com que empresas se adaptem ao novo modelo e esse recurso pode ajudar com o primeiro passo!

Eu tenho utilizado outros métodos para classificar meus dados (ferramentas de mercado e até mesmo uma ferramenta desenvolvida internamente) e posso dizer que para a primeira versão desse recurso tem me agradado.

É possível se beneficiar desse recurso em qualquer service tier quando estiver utilizando o Azure SQL Database, ou seja, mesmo que você tem um database com pouca utilização você pode utilizar esse recurso.

Para usar Data Discovery & Classification é bastante simples:

  • Acesse seu database através do portal Azure
  • Navegue até Data Discovery & Classification (preview) e uma blade aparecera com um overview
    • Caso seja a primeira vez que você acessa esse recurso, verá os gráficos vazios

Depois que você classificar seus dados essa uma possível visualização dizendo como seus dados estão classificados ou “categorizados”.

Nesse momento existem dois tipos de distribuição:

  • Information type: para simplificar o entendimento seria o que está sendo armazenado nesse dado. É informação pessoal como ID, nome ou data de nascimento ou é um dado contendo informações bancarias como credencias de acesso ou cartão de credito.
  • Label: podemos dizer que é o nível de segurança que esses dados devem ser tratados. Por exemplo: Highly confidencial – GDPR seria o nível segurança elevado onde poucas pessoas deveriam ter acesso a essa informação ou Public seria nível segurança baixo onde todos podem acessar a informação.

Obs.: Isso é apenas uma classificação e não impõe nenhum tipo de restrição de acesso! Para restringir acesso ou ofuscar os dados existem outros recursos como Dinamic Data Masking e Row-level security.

Ao acessar a classificação pela primeira vez a Microsoft recomenda para você algumas colunas para classificar.

Isso realmente é um bom começo e com certeza ira te ajudar. Porem eu compartilho da opinião de algumas pessoas como Thomas LaRock que nesse post fala sobre esse recurso, onde existem limitações nessa versão – e é assim mesmo como foi anunciado que esse recurso está em constante mudança.

O algoritmo de classificação precisa ser melhorado em alguns aspectos:

  • Apenas funciona para nomes em inglês
  • Problemas com case-sensitive collations

O que me deixou satisfeito com o algoritmo foi que no meu caso mais de 75% das colunas sugeridas faziam total sentido!

Você pode aceitar as recomendações, edita-las, ou pode classificar manualmente outras colunas.

  1. Clique em Add classification
  2. Escolha o schema e a tabela
  3. Escolha a coluna
  4. Defina o “tipo de informação” o e “rótulo de sensibilidade”

Repita esse processo para cada coluna que você deseja classificar.

Uma vez que tenha terminado de classificar as colunas, você terá uma visão parecida com a primeira imagem e podendo agora exportar seu relatório para Excel que hoje é o único método possível.

Minha primeira tentativa resultou em uma visualização não agradável. Eu estava utilizando o Office 2013 e os gráficos não estão disponíveis (não funcionam). 

Depois de atualizar para o Office 2016 tudo funcionou normalmente.

Essa funcionalidade esta disponivel para on-premise a partir do SSMS 17.5!

Podemos esperar melhorias para o próximo semestre e deixo dois links de feedbacks sobre esse recurso

https://feedback.azure.com/forums/217321-sql-database/suggestions/33772411-scripting-capabilities-to-do-ms-sql-discovery-and

https://feedback.azure.com/forums/217321-sql-database/suggestions/33870379-data-discovery-and-classification-information-ty

Referência:

https://blogs.technet.microsoft.com/dataplatforminsider/2018/02/20/whats-new-in-ssms-17-5-data-discovery-and-classification/

https://docs.microsoft.com/en-us/azure/sql-database/sql-database-data-discovery-and-classification

https://docs.microsoft.com/en-us/azure/security/how-to-discover-classify-personal-data-azure

 

Categorias
Azure SQL Database How To

GDPR – como eu me preparei

[bing_translator]

“The General Data Protection Regulation (GDPR) will come into force on the 25th May 2018, replacing the existing data protection framework under the EU Data Protection Directive”

“The aim of the GDPR is to protect all EU citizens from privacy and data breaches in an increasingly data-driven world that is vastly different from the time in which the 1995 directive was established”

Nos últimos meses estive envolvido em muitas mudanças nas aplicações que temos por conta dessa nova regulamentação que esta entrando em vigor na Europa. Muitas empresas como Facebook, Google, Microsft e Amazon (apenas para citar algumas) também estão se adequando ao GDPR e desde o inicio do ano eu venho recebendo avisos de como eles tem mudado suas policas de segurança/privacidade.

Na minha opinião essa mudança é importante para nós usuários dessas grandes corporações e a intenção é ter mais controle sobre nossos dados pessoais.

Mas o que isso afeta o meu trabalho e o meu dia a dia? Não são apenas as empresas globais (gigantes da internet) que devem se adequar, mas sim qualquer empresa dentro da união europeia deve seguir essa regulamentacao e por isso o meu trabalho é afetado. Se você pensa que por não morar/trabalhar na Europa você não deve seguir o GDRP acredito que não é bem assim, pois em algum momento sua empresa pode fazer operações na Europa e você terá que se adequar, ou ate mesmo, quanto tempo você acha que essa regulamentacao ou alguma outra sera aplicada onde voce está? Pense bem.

O meu intuito aqui não é falar sobre o que o GDPR é ou para que ele se propõe. Para isso deixarei links onde você pode entender melhor.

Eu irei mostrar como eu utilizei ferramentas e recursos nativos do SQL Server para fazer que meu ambiente esteja de acordo com a regulamentação. E para cada item farei um post sobre como implementei e minhas impressões, por isso esse post será atualizado sempre que necessário.

A maioria dos posts terá o foco no Azure SQL Database.

Primeiramente temos que conhecer melhor nossos dados, saber o que eles representam e principalmente qual a sua valia para a empresa.

Garantir o princípio do menor privilegio foi a fase do meu projeto que mais demorou, uma vez que temos que entender quem acessa a informação, para qual finalidade e porque eles acessam.

Para ajudar a proteger seus dados, o firewall impede todo o acesso ao seu servidor de banco de dados até que você especifique quais computadores têm permissão.

  • Authentication in Azure SQL Database using Azure Active Directory

Com a autenticação do Azure AD, você pode gerenciar centralmente as identidades dos usuários do banco de dados e de outros serviços da Microsoft em um local central.

É o processo de identificar, quantificar e priorizar (ou classificar) as vulnerabilidades.

Conhecido como criptografia de dados em repouso (data at rest) e executa criptografia e descriptografia de I/O em tempo real dos dados e arquivos de log.

Transparent Data Encryption and its tricks

Limita a exposição a dados confidenciais mascarando para usuários sem privilégios. O DDM ajuda a impedir o acesso não autorizado a dados confidenciais.

  • Row-Level Security

Permite que os clientes controlem o acesso a linhas em uma tabela de banco de dados com base nas características do usuário que está executando uma consulta, em outras palavras, o RLS permite implementar restrições no acesso ao registro de dados.

  • Group Managed Service Accounts

Fornece um gerenciamento automático de senhas e de SPN, incluindo delegação de gerenciamento a outros administradores.

  • Always Encrypted

É um recurso projetado para proteger dados confidenciais, como números de cartão de crédito ou números de identificação nacional. Permite que os clientes criptografem dados confidenciais em seus aplicativos e nunca revelem as chaves de criptografia ao banco de dados.

  • Business continuity in Azure SQL technologies
    • Point-time Restore
    • Backup Long-term retention
    • Active Geo-replication
  • Auditing & Threat Detection

Pode ajudar a compreender a atividade do banco de dados e obter insights sobre discrepâncias e anomalias que possam indicar preocupações comerciais ou suspeitas de violações de segurança.

  • SQL Server Audit

Permite criar auditorias que podem conter eventos no nível do servidor e no nível do banco de dados.

  • Temporal table

Fornece informações sobre os dados armazenados na tabela em qualquer momento, em vez de apenas os dados corretos no momento atual.

  • Azure SQL Analytics

Coleta e visualiza métricas importantes de desempenho do Azure SQL Database.

 

Todos os passos que eu segui foi baseado no guia da Microsoft referente ao GDPR.

https://docs.microsoft.com/en-us/sql/relational-databases/security/microsoft-sql-and-the-gdpr-requirements

References:

https://www.eugdpr.org/the-regulation.html

https://www.dataprotection.ie/docs/GDPR/1623.htm

Categorias
Azure SQL Database How To Virtual PASS BR

Azure SQL Database – Migration tools – part 3

[bing_translator]

Um outro metodo para migração de um database para o Azure SQL Database é através do uso de replicação. Não é o meu método favorito nem o tópico que eu mais gosto, na verdade eu evito o uso de replicação, porem esse tipo de migração pode ser útil em vários cenários.

Transactional Replication

Esse processo tem algumas particularidades como por exemplo:

  • Menor downtime
  • Perfeito para databases grandes
  • Suportado a partir do SQL Server 2012
  • Processo em múltiplos passos independentes
  • Requer chaves primarias em cada tabela presente no Publisher
  • Maior complexidade
  • Custos adicionais (setup distribution database, publisher e subscriber)
  • Exige mais conhecimento do DBA

Não esquece de validar se seu database está pronto para o Azure SQL Database através do Data Migration Assistant – Assessment

Configurar a replicação transacional para o Azure SQL Server não é nem um pouco diferente de configurar qualquer outro tipo de replicação para um servidor on-premise. Primeiro passo é criar um database vazio no Azure SQL Database pois é necessário que o database já exista para configurar a replicação.

Encontrei esse vídeo no channel9 explicando o passo a passo para utilizar a replicação transacional.
Para saber mais de como criar um Publisher utilizando replicação transacional acesse esse link.
Existem considerações que devemos ter e o time de suporte do Azure SQL Database descreve muito bem essas considerações nesse post.
O time do SQLCAT – SQL Server  Custumer Advisor Team também descreve como realizar esse procedimento nesse post.
Nesse outro link você pode ler sobre as restrições.

GO-NO-GO

Por ser um método que permite menor downtime existem alguns passos que devemos realizar:

  • Pare a aplicação e qualquer acesso que o database possa receber (Pacotes SSIS, integrações e etc.)
  • Monitore a replicação para que esteja completamente sincronizada
  • Reconfigure as connections strings (Aplicação, Pacotes SSIS, integrações e etc.)
  • Verifique se a aplicação está funcionando
  • Em caso de sucesso, exclua a replicação

 

Como eu disse, esse é um método extremamente complexo e trabalhoso, mas perfeitamente plausível para aplicações com downtime curtos.

Categorias
Azure SQL Database How To Virtual PASS BR

Azure SQL Database – Migration tools – part 2

[bing_translator]

Existem algumas ferramentas que ajudam a migrar seu database para o Azure SQL Database e eu já falei de algumas:

Export e Import manualmente

Mais uma vez o SQL Server Management Studio (SSMS) é a ferramenta que pode ser usada através do Export Data-tier Application.
Esse processo tem algumas diferenças quando comparado com o Migration Wizard

  • Suporta qualquer database a partir da versão SQL Server 2005
  • Excelente para database de tamanho pequeno, médio ou grande
  • .bacpad pode ser armazenado no Azure Storage ou localmente
  • Processo em múltiplos passos independentes
  • Maior controle sobre o export e import
  • Downtime é grande

Não esquece de validar se seu database está pronto para o Azure SQL Database através do Data Migration Assistant – Assessment

Para iniciar o seu processo de migração acesse o wizard através do SSMS.

Acesse Object Explorer –> Instance –> Database –> Botão direito –> Task –> Export Data-tier Application. Uma primeira janela de introdução será mostrada, avance para a próxima.

Nesse ponto você pode escolher entre salvar o .bacpac localmente ou no Azure Storage Account

  1.  Connect a sua storage account
  2. Indique o container onde o arquivo bacpac deverá ficar
  3. Nome do arquivo
  4. Um caminho local temporário deve ser indicado para que o processo tenha sucesso

Revise as informações, principalmente o espaço temporário disponível, e inicie a exportação do database. Através da janela de progresso podemos verificar o que o wizard está fazendo.

  1. Extrai o schema
  2. Valida o schema
  3. Exporta os dados (tabela por tabela)
  4. Upload do arquivo bacpac para o Azure Storage

Uma vez que o wizard terminou com sucesso não existe mais nada para fazer no SSMS e agora você tem o controle de quando e onde realizar o import. Acesse o Azure Portal e navegue até o seu servidor logico do SQL servers.

Acesse o item Overview e a opção Import database

 

 

  1. Indique sua subscription
  2. Local onde você fez o upload do arquivo bacpac

  1. Defina o service tier do database
  2. Escolha um nome para o database
  3. Collation que deseja utilizar
  4. Método de autenticação
  5. Login do administrador do servidor logico

 

 

 

 

Após revisar as informações e confirmar, o deploy deverá iniciar e uma notificação será apresentada no portal. Uma vez que sua requisição tenha sido completada seu database estará disponível para uso. Você pode verificar através do SSMS ou do Azure Portal.

O tempo total de deploy depende de alguns fatores como tamanho do seu database e service tier escolhido. Outra possibilidade é utilizar powershell para fazer o import do bacpac ao invés de usar o portal do Azure.

O código abaixo é um exemplo estático de como utilizar powershell.

#region connect to Azure
Login-AzureRmAccount
Get-AzureRmSubscription 
Select-AzureRmSubscription -SubscriptionName 'MSDN Platforms'

#list of commands 
Get-Command -Module AzureRM.Sql
#endregion

#region getting information and set variables

# Get the resource group name 
Get-AzureRmResourceGroup 
$resourcegroupname = "SQL-Database"

# Set an admin login and password for your server
$adminlogin = "admin"
$password = "yourpassword"

# Get server name - the logical server name has to be unique in the system
Get-AzureRmSqlServer -ResourceGroupName $resourcegroupname #| Select ServerName
$servername = "balabuchsqldb"

# The sample database name
$databasename = "AdventureWorks_Bacpac_PS"

# The storage account name and storage container name
Get-AzureRmStorageAccount -ResourceGroupName $resourcegroupname #| Select StorageAccountName
$storageaccountname = "sqldatabasemigration"

Get-AzureRmStorageAccount -ResourceGroupName $resourcegroupname | Get-AzureStorageContainer #| Select Name
$storagecontainername = "migration"

# BACPAC file name
Get-AzureRmStorageAccount -ResourceGroupName $resourcegroupname | Get-AzureStorageBlob -Container $storagecontainername #| Select Name
$bacpacfilename = "AdventureWorks.bacpac"

#endregion


#region importing bacpac

# Import bacpac to database with an S3 performance level
$importRequest = New-AzureRmSqlDatabaseImport -ResourceGroupName $resourcegroupname `
    -ServerName $servername `
    -DatabaseName $databasename `
    -AdministratorLogin $adminlogin `
    -AdministratorLoginPassword  (ConvertTo-SecureString -String $password -AsPlainText -Force)`
    -DatabaseMaxSizeBytes "5000000" `
    -StorageKeyType "StorageAccessKey" `
    -StorageKey (Get-AzureRmStorageAccountKey -ResourceGroupName $resourcegroupname -StorageAccountName $storageaccountname).Value[0] `
    -StorageUri "https://$storageaccountname.blob.core.windows.net/$storagecontainername/$bacpacfilename" `
    -Edition "Standard" `
    -ServiceObjectiveName "S3"


# Check import status and wait for the import to complete
$importStatus = Get-AzureRmSqlDatabaseImportExportStatus -OperationStatusLink $importRequest.OperationStatusLink
[Console]::Write("Importing")
while ($importStatus.Status -eq "InProgress")
{
    $importStatus = Get-AzureRmSqlDatabaseImportExportStatus -OperationStatusLink $importRequest.OperationStatusLink
    [Console]::Write(".")
    Start-Sleep -s 10
}
[Console]::WriteLine("")
$importStatus

#endregion

#region scale down database

# Scale down to Basic after import is completed
Set-AzureRmSqlDatabase -ResourceGroupName $resourcegroupname `
    -ServerName $servername `
    -DatabaseName $databasename  `
    -Edition "Basic" `
    -RequestedServiceObjectiveName "Basic"

#endregion

Referências:

https://docs.microsoft.com/en-us/azure/sql-database/scripts/sql-database-import-from-bacpac-powershell

https://docs.microsoft.com/en-us/azure/sql-database/sql-database-import

Categorias
Azure SQL Database How To Virtual PASS BR

Azure SQL Database – Migration tools – part 1

[bing_translator]

Escolher a ferramenta de migração nem sempre é uma tarefa fácil uma vez que devemos levar em conta todos os pré-requisitos estabelecidos pelo cliente. Por esse motivo temos que conhecer os principais métodos/ferramentas de migração e suas diferenças para fornecer uma melhor solução e é necessário uma preparação antes de iniciar sua migração. No post Azure SQL Database – Before you migrate você pode encontrar o que deve ser considerado para ter uma migração de sucesso.

A primeira ferramenta que podemos utilizar é o Data Migration Assistant e você pode verificar como utilizar essa ferramenta aqui!

Migration Wizard no SSMS

O SQL Server Management Studio (SSMS) é a ferramenta que pode ser usada através do Migration Wizard e é o método mais comum para migração de um database.

Por ser um método bastante comum, algumas características dessa ferramenta:

  • Suporta database a partir da versão SQL Server 2005
  • Excelente para database de tamanho pequeno e médio
  • .bacpac é criado apenas localmente
  • É um processo único – ou toda a migração é realizada com sucesso ou nada é feito
  • Manipula o export e import automaticamente
  • Downtime é grande

Não esquece de validar se seu database está pronto para o Azure SQL Database através do Data Migration Assistant – Assessment

Para iniciar o seu processo de migração acesse o wizard através do SSMS.

Acesse: Object Explorer –> Instance –> Databases –> Botão direito –> Task –> Deploy Database to Microsoft Azure SQL Database.

Uma primeira janela de introdução será mostrada, avance para a próxima.

  1. Conecte no seu servidor Azure SQL (link)
  2. Escolha um nome para o seu database, originalmente o wizard mantem o mesmo nome.
  3. Configurações do seu Azure SQL Database
    1. Escolha o nível de serviço (service tiers): Basic, Standard, Premium ou PremiumRS (no momento apenas essas estão disponíveis)
    2. Tamanho máximo do database depende de cada nível de serviço.
    3. Service Objective: Dentro de cada service tier temos diferentes níveis de performance e limite de storage, as DTU
  4. Local de armazenamento do arquivo .bacpac

 

Revise as informações, principalmente o espaço temporário disponível, e inicie a migração.

Através da janela de progresso podemos verificar o que o wizard está fazendo e posso citar alguns passos:

  1. Extrai o schema
  2. Valida o schema
  3. Exporta os dados (tabela por tabela)
  4. Cria o database no Azure
  5. Verifica e analisa o deploy do novo database
  6. Inicia o processo de importação do pacote (schema e dados)
  7. Desabilita os índices
  8. Importa os dados (tabela por tabela)
  9. Habilita os índices

Uma vez que o wizard tenha completado a tarefa seu database estará disponível para uso. Você pode verificar através do SSMS ou do Azure Portal.

Algumas configurações que eu sento falta no wizard que e que por sua vez utiliza a opção default:

  • Location
  • Resource Group
  • Subscription

Apenas a configuração da região não é possível alterar depois que o database é criado.
O tempo total de deploy depende de alguns fatores como tamanho do seu database e service tier escolhido.

Concluindo, esse é o metodo mais utilizado e mais facil porem é demorado. Recomendo que teste esse metodos assim como marque o tempo total gasto e verifique se é aceitavel para sua migração. Duvidas do que fazer antes de migrar seu database? Não deixe de ler o post Azure SQL Database – Before you migrate

Referencia:
https://docs.microsoft.com/en-us/azure/sql-database/sql-database-migrate-your-sql-server-database

Pluralsight – Azure SQL Database for the SQL Server DBA

Categorias
Azure SQL Database Virtual PASS BR

Azure SQL Database – Before you migrate

[bing_translator]

A migração para o Azure SQL Database exige um grande preparo e testes devem ser feitos para que se tenha êxito no resulto final. Esse preparo se deve ao fato de que o Azure SQL Database é um serviço na nuvem e existem limitações ou a forma que você está acostumado a utilizar um recurso muda.

Para se ter sucesso nessa migração devemos levar em conta alguns fatores:

  • Identificar os benefícios: Temos que identificar todos os benefícios e melhorias que iremos tirar proveito. Enumerar um por um e criar um roadmap para implementação de cada um deles é sempre uma boa estratégia. Nunca migre para a nuvem apenas para ser “fancy”.
  • Identificar bloqueios: O Data Migration Assistant ajuda nesse requisito. Identificar cada um deles e criar uma lista com prioridades de cada item auxiliará o processo de migração, porem existem bloqueios que impedem a migração como por exemplo SQL CLR que nesse momento ainda não é suportado.

 

  • Identificar o modelo de serviço: Se você pretende migrar um único database então Single Mode é perfeito para sua solução porem se pretende migrar mais de um database Elastic Pool deve ser avaliado.
  • Identificar o nível de serviço (service tier): Nesse ponto você irá verificar a capacidade de CPU/IO/Storage entre outros requisitos que seu database pode utilizar e lembre que quanto maior a capacidade maior será o valor pago pelo serviço.

 

 

  • Identificar Azure Region: Muitas pessoas esquecem de verificar qual a melhor região do Azure Datacenter para alocar seu database e principalmente qual a melhor região para alocar seu disaster recovey.
    Cada região tem serviços disponibilizados individualmente que outras regiões podem não contem e para saber melhor sobre o que cada região disponibiliza acesse o link.
  • Identificar a melhor ferramenta de migração: Existem algumas ferramentas que podemos utilizar para migrar um database e identificar qual é a melhor para o seu cenário pode ajudar a ter sucesso.

Algumas ferramentas de migração:

Obs.: Irei escrever sobre cada uma delas.

Cada uma delas tem suas particularidades e seus benefícios, entretanto a escolha da ferramenta é apenas mais uma etapa para ter sucesso na migração. Posso citar outros fatores como:

  • SLA – Garantir que o Service Level Agreement seja cumprido é um fato chave para o negócio e a escolha da ferramenta de migração vem de encontro com esse critério uma vez que podemos ter um downtime curto ou longo e cada uma das ferramentas proporciona um tempo necessário para completar a migração.
  • Aplicação – Garantir que sua aplicação não tem incompatibilidades, erros ou problemas com o Azure SQL Database é fundamental e isso é um fator que não podemos controlar pois dependemos dos desenvolvedores ou fornecedores.
  • Performance – Os usuários finais sempre esperam que a aplicação continue com a performance atual ou que tenham uma experiencia melhor na performance depois da migração. Nesse critério o nível de serviço escolhido é um grande potenciador ou impedidor de performance. Outro fator que deve ser revisto são as queries que consomem mais recursos e começar um trabalho otimizar seu código.
  • Documentação – Documentar cada etapa da migração é fundamental para o sucesso pois dessa forma você terá controle do que está acontecendo e principalmente estime o tempo gasto em cada etapa.
  • Testes – Antes de migrar seu database para o ambiente de produção realize testes de migração para um ambiente de teste onde você é capaz de documentar cada etapa, marcar o tempo gasto em cada etapa e verificar se a aplicação está funcionando com a performance aceitável e sem erros. Repita esse passo quantas vezes achar necessário para não ter surpresas no momento da migração para produção.

Para concluir eu acredito que o preparo é a chave fundamental para obter sucesso na migração para o Azure SQL Database. Estude, crie laboratórios, faça testes, simule erros para todas as alternativas e principalmente esteja confiante  em você mesmo!

Referencia:

https://docs.microsoft.com/en-us/azure/sql-database/sql-database-migrate-your-sql-server-database

Pluralsight – Azure SQL Database for the SQL Server DBA