The google file system - Resumo

The Google File System

1. Introdução:
Google File System (GFS) é um sistema de arquivo escalável altamente distribuído para grandes aplicações de dados. Ele possui os mesmos objetivos dos outros sistemas de arquivos distribuidos como por exemplo: escalabilidade, performance, confiança e disponibilidade. De uma forma geral, ele consiste de centenas a milhares computadores comuns rodando Linux. É usado pela Google, como sendo a plataforma de armazenamento para a geração e processamento de dados bem como para pesquisa e desenvolvimento que necessitam de grandes conjuntos de dados. Vários clusters GFS são implantados simultaneamente para várias aplicações.
1. Arquitetura:
Por se tratar de uma rede com muitas máquinas, deve-se estar atento a questões como: detecção de erros, tolerância a falhas e a recuperação de dados. O sistema armazena grandes arquivos (> 1000MB). Pequenos arquivos são suportados, porém não são otimizados. Cada arquivo contém muitos objetos de aplicação como os web documentos. A maioria desses arquivos é modificada com a operação append (inserir no final). Escritas não sequenciais praticamente não existem. A largura de banda também deve ser tratada de forma especial, já que grandes dados são acessados e manipulados com frequência.
Sua arquitetura consiste de um único master e vários chunkservers que são acessados por vários clientes. O GFS master controla o cluster. Sua função é informar o cliente onde se localiza um chunk nos chunkservers. Para realizar tal tarefa o master atribui ao chunk um cabeçalho de 64 bits. Os arquivos são divididos em chunks de 64MB. A vantagem de se trabalhar com grandes arquivos é um número menor de interações cliente/servidor.
O master armazena informações do tipo metadata. Possui 3 tipos de metadados: os namespaces de arquivos e chunks, o mapeamento de arquivos em chunks e a localização de cada réplica nos chunks. Os metadados são armazenados na memória do master de forma que as operações implementadas