Relatório hadoop mini curso utfpr scampr 2012

Resumo do minicurso sobre Hadoop

O Hadoop foi criado pelo Yahoo em 2005 e pode ser considerada uma das maiores invenções de data management desde o modelo relacional. É um framework open source desenvolvido em Java, para rodar aplicações, que manipulem uma grande quantidade de dados, em ambientes “clusterizados” (vários computadores processando um conjunto de dados paralelamente ). Trabalha como um conjunto de ferramentas que trabalham em sintonia para basicamente resolver questões como: * Manipulação de big data (grandes massas de dados). Nenhuma massa de dados é muito grande, 1TB, 100TB, 1PB ou maior, muito maior; * Análise complexa de dados, e, em larga escala; * Processamento de grandes logs; * Análise de vídeos & imagens; * Computação avançada: inteligência artificial, “learning machines”, tomada de decisão.
É baseado no modelo de programação “Map Reduce”e em suas atividades, é o responsável por dividir os dados de entrada em blocos independentes, que são processados de forma completamente paralela, pelas chamadas map tasks (traduzindo ao pé da letra, tarefas de mapeamento). Ele ordena as saídas das map tasks, que são os dados de entrada das reduce tasks (traduzindo ao pé da letra, tarefas de redução). Normalmente tanto a entrada quanto a saída da tarefa são armazenadas no sistema de arquivo. O MadReduce se encarrega de agendar as tarefas, monitorar e “reexecutar” em caso de falha.
Esta “ferramenta” tem sido utilizada, em mundo real, para resolver problemas como os listados abaixo: * Análise de Terabytes de dados provido por milhares de sensores meteorológicos espalhados pelo mundo, no intuito de salvar vidas humanas, através da predição de desastres e catástrofes meteorológicas; * Análise de milhares de Terabytes de informações financeiras, completamente desorganizadas e desnormalizadas, oriundas: de blogs, jornais, revistas, bolsas de valores para ajudar corretoras de valores e bancos na compra e venda eficiente e