O crescimento implacável dos dados gerou uma necessidade ainda maior por armazenamento escalonável. De fato, sempre houve mais dados do que poderíamos manter. Temos a tendência de armazenar o máximo de dados possível. É por isso que até os primeiros sistemas de armazenamento de data center implementaram cotas, arquivos e sumarização de dados.
O novo desafio hoje é efetivamente extrair valor de negócios da enorme quantidade de dados úteis, vindo de todas as áreas de armazenamento de TI: bloco, arquivo, objeto e big data. Se as empresas quiserem permanecer competitivas, provavelmente terão que lidar com projetos de dimensionamento de armazenamento escalonável em breve.
Dimensionando o armazenamento escalonável
A primeira coisa a considerar em um armazenamento escalonável é a diferença entre as abordagens de aumento e expansão.
Os sistemas de armazenamento tradicionais são baseados no princípio de aumento de escala, no qual você aumenta gradativamente a capacidade adicionando mais discos em um número relativamente fixo de controladores de armazenamento. Se você exceder a capacidade do sistema ou o desempenho cair, você adiciona outro sistema ao lado dele.
As abordagens de armazenamento em expansão ainda são relevantes, especialmente em plataformas híbridas flash-first e high-end, onde a latência e o desempenho de IOPS são importantes.
Uma grande quantidade de flash denso pode atender a milhões de IOPS com uma pequena pegada. Ainda assim, implantações de aumento de capacidade podem criar desafios.
Implantar vários sistemas de aumento de escala tende a fragmentar o espaço de armazenamento, cria uma carga de gerenciamento e requer investimento CAPEX desigual.
Em resposta, muitos projetos de armazenamento escalonável adotaram uma abordagem de escalabilidade horizontal. Em projetos de scale-out, a capacidade e o rendimento do desempenho aumentam gradativamente, adicionando mais nós de armazenamento a um cluster de sistema em rede.
Projetos de aumento de escala são frequentemente interpretados como tendo crescimento vertical limitado, enquanto projetos de expansão implicam um crescimento horizontal relativamente irrestrito.
Cada nó geralmente pode atender às solicitações de E / S (entrada e saída) do cliente e, dependendo de como os dados são espalhados e replicados internamente, cada nó pode acessar quaisquer dados no cluster.
Como um único cluster pode crescer para uma escala muito grande, o gerenciamento do sistema permanece unificado (assim como o namespace na maioria dos casos).
Isso dá aos projetos de scale-out, visando o armazenamento escalonável, um caminho de crescimento de CapEx mais suave e uma curva de desempenho linear mais geral.
Milhões de arquivos, trilhões de objetos
Outra tendência que ajuda a lidar com a escalabilidade do armazenamento é uma mudança dos sistemas de arquivos hierárquicos para o armazenamento de objetos.
Os sistemas de arquivos foram desenvolvidos principalmente para fornecer uma maneira centrada no ser humano de navegar de forma inteligente por um grande número de arquivos.
Mas a maneira como muitos sistemas de arquivos são implementados baseia-se em restrições naturais à escalabilidade.
Os sistemas de arquivos requerem um meta banco de dados ativo para gerenciar e rastrear as localizações dos arquivos, segurança, bloqueio de leitura / gravação e informações de navegação (por exemplo, quando você lista o conteúdo de um diretório).
Isso limita a maioria dos sistemas de arquivos ao intervalo de milhões de arquivos. Existem alguns designs de armazenamento de arquivos escalonáveis compatíveis com abordagens em cluster e dimensionamento para atender a muitos cenários de provedores de serviços.
Mas no vasto mundo atual de construção em nuvem, vemos o armazenamento de objetos como a solução escalonável número um.
O armazenamento de objeto tem uma abordagem de design diferente do armazenamento de arquivo ou bloco bruto
Basicamente, limitando o E / S para apenas armazenar e recuperar blobs inteiros (ou seja, qualquer tamanho de objeto binário grande que você deseja armazenar como um objeto) em um namespace plano, ele pode facilmente escalar para bilhões e até trilhões de objetos.
Obviamente, um objeto pode ser um arquivo, mas, na verdade, é qualquer conjunto arbitrário de bits de dados brutos.
Alguns sistemas de armazenamento de objetos usam codificação de eliminação para proteção de dados, sendo basicamente RAID para objetos distribuídos.
Na maioria dos casos, entretanto, a proteção de dados é obtida por meio da replicação direta, o que diminui o custo dos nós de armazenamento, mas com alguma penalidade em relação à capacidade total de armazenamento.
Existem outras desvantagens no armazenamento de objetos:
- Os aplicativos clientes devem controlar as chaves de armazenamento exclusivas de seus objetos armazenados;
- Eles não podem editar arquivos no sistema de armazenamento;
- Nós não somos capazes de navegar diretamente pelo namespace.
Mas para aplicativos, especialmente aqueles orientados para a Web, o armazenamento de objetos fornece um grande alinhamento natural.
O armazenamento distribuído de objetos com replicação integrada também pode atuar como uma rede de distribuição de conteúdo.
Desta forma, o armazenamento de objetos fornece uma camada natural de dados para serviços de armazenamento massivo, global, distribuído e multilocatário e, portanto, é frequentemente associado à construção da nuvem.
O impacto de um sistema de armazenamento de objetos para um projeto de armazenamento escalonável
Existem sistemas de objetos que são construídos internamente sobre sistemas de arquivos que suportam APIs de armazenamento de objetos.
Na nuvem, por exemplo, existem serviços de arquivos distribuídos altamente escaláveis construídos sobre o armazenamento de objetos.
Vemos até mesmo esse armazenamento de objeto usado para E / S baseada em bloco quando suportado pelo aprovisionamento de objeto nativos.
Mas a conclusão aqui é que o armazenamento de objetos é uma parte fundamental da resposta para os requisitos de armazenamento escalonável cada vez maiores.
Se você deseja saber mais sobre armazenamento escalonável ou precisa contratar uma solução sob medida para comportar o crescimento acentuado de dados, entre em contato com a Portnet. Nossos especialistas estão à disposição para ajudá-lo e orientá-lo a encontrar a solução para sua necessidade.
Clique aqui e entre em contato!
Acelerando o crescimento dos negócios e empresas com Tecnologia da Informação.
