Num processo de migração, depois de definida a estratégia a seguir e planeado o projeto de migração, iremos dispor-nos a “operar”: estabeleçamos uma analogia, entre uma operação de transplante e um processo de migração:
O cirurgião é o especialista com grandes habilidades, que utiliza uma série de instrumentos e técnicas específicas e que tem um grande conhecimento em áreas científicas, anatómicas e fisiológicas. Além disso, ajuda e comunica com todos os interessados, tanto o doente como o resto das equipas médicas.
O “migrador” é esse especialista que, de forma semelhante ao cirurgião, trabalha com instrumentos e técnicas específicas, deve ter um elevado conhecimento na matéria a migrar e ajuda e comunica o resto à equipa.
A migração é uma operação de transplante: é extraída a informação de um sistema e passada para outro sistema, de forma que tudo continue a trabalhar.
A informação, tal como os órgãos que se transplantam, são vitais, fazem parte do ser. Sem ela, na imensa maioria das ocasiões, é difícil continuar.
Num transplante de um órgão, tanto o conhecimento do cirurgião, como as técnicas usadas, são cruciais. Isto também ocorre numa migração: tanto o conhecimento como as ferramentas são muito importantes.
Neste artigo, vamos centrar-nos nas técnicas. Tecnologicamente, há que contar com os instrumentos necessários, que nos permitem chegar às profundidades dos dados, dando toda a informação para poder tomar decisões e, sobretudo, minimizar os riscos inerentes às migrações.
Umas das técnicas mais usadas são os processos ETL: extrair, transformar e carregar (load). Este é um foco tradicional no que diz respeito à migração e, como o próprio nome indica, é composto por três passos:
- Extrair os dados dos diferentes sistemas de origem. Durante este passo, os dados são lidos e recolhidos, das diferentes fontes de dados origem: bases de dados, sistemas de ficheiros, aplicações, eventos…
- Transformar os dados. Serão realizadas aqui a validação, normalização, homogeneização dos dados, alteração de formatos, bem como os processos de ordenação e filtragem. Nesta fase, os dados extraídos são convertidos num formato aceite para que seja entendido pelo passo seguinte.
- Carregar os dados no sistema destino. Este passo pode ser levado a cabo por um processo automático, ou seja, é possível estandardizar o carregamento da informação.
Em cada um destes passos, devemos selecionar as ferramentas que nos ajudarão a levá-los a cabo. Há ferramentas de mercado, mas quando se trata de um processo de migração à medida, teremos de construir as nossas próprias ferramentas.
Tal como as ferramentas utilizadas pelo cirurgião, estas devem ter uma série de capacidades que nos permitam levar a cabo a intervenção com sucesso. Segundo um relatório publicado pela Gartner, destacam-se as seguintes capacidades:
- Capacidade para ligar e adaptar-se às diferentes fontes de dados.
- Capacidade para entregar os dados a outras bases de dados, aplicações ou processos.
- Capacidade para transformar os dados. Desde a conversão de dados, passando por cálculos simples até processos mais complexos.
- Capacidade para modelar dados, criar e manter modelos de dados, realizar o metadado e documentá-lo.
- Capacidade para conceber o meio de desenvolvimento.
- Capacidade para gerir os dados.
- Capacidade para adaptar-se às plataformas de hardware e sistemas operativos existentes.
- Capacidade de operação e administração, como são a gestão de erros, controlos de segurança, monitorização, etc.
- Capacidade de integração com os diferentes componentes que compõem a ferramenta.
- Por último, deve ser uma arquitetura orientada aos serviços.
A técnica ETL funciona na perfeição quando nos encontramos com fontes de dados estruturados, volumes de dados a tratar manuseáveis e processos de transformação intensos.
Nos últimos tempos, surgiu um novo foco: ELT: Extrair, carregar e transformar que atende as novas necessidades. Se com as técnicas ETL, os dados são movidos desde a fonte de dados até um armazenamento provisório, com as técnicas ELT aproveitamos o armazém de dados para realizar transformações básicas.
A aparição deste novo foco não significa que as técnicas ETL deixem de estar em vigor. Muito pelo contrário, ambos focos vão conviver e podem ser usados segundo as necessidades. Nos próximos artigos, aprofundaremos as diferenças entre ambas as técnicas.
Como conclusão e seguindo a nossa analogia, encontramo-nos perante um processo de transplante de informação, na qual usamos diferentes ferramentas. O nosso objetivo será transplantar a informação com sucesso e descobrir no caminho a informação que coloca em risco a nossa migração:
Seremos capazes de encontrar as células malignas que se encontram nos dados, arrancar as suas tripas e deitá-las fora?
