Big data

Páginas: 5 (1057 palavras) Publicado: 18 de março de 2014
Introdução ao conceito de big data

Com a evolução das aplicações e a necessidade do ser humano pelas informações, mais e mais aplicações vem surgindo, deixando o homem cada vez mais refém da informação. Para isso basta lembrar-nos da evolução da relação homem-computador em que num passado existiam muitas pessoas para uma máquina (como o mainframe), em seguida uma pessoa por máquina (o caso docomputador pessoal) e nos tempos atuais em que cada pessoa possui várias máquinas (notebook, ultrabook, PC, tablet, smartphone, no futuro óculos, geladores, etc.). Com tantos aplicativos surgindo, as informações são geradas exponencialmente, com isso a capacidade de gerenciar tantas informações se torna primordial para as aplicações atuais. Esse mesmo crescimento de dados acontece nosaplicativos empresariais com crescimento anual de 60%. Estima-se que uma empresa com mil funcionários gera anualmente 1000 terabytes, sem falar que essa quantidade tende a aumentar cinquenta vezes até 2020.

Com o recém surgimento do bigdata, a primeira dificuldade é encontrar o seu conceito. É possível vê-lo de maneiras totalmente divergentes em cada blog que se lê, ou seja, se você ler 10 materiaissobre bigdata, provavelmente cada um trará conceitos diferentes. Dentre as matérias, ao se tirar um mínimo comum se verá que o bigdata, na sua raiz, fala em tratar um grande volume de dados com grande velocidade. No entanto, se repara que essa definição é bastante abstrata pelo simples fato de que para uma pessoa A, por exemplo, um grande volume seja um gigabyte e para uma pessoa B um grande volumeseja um terabyte e o mesmo pode acontecer ao se referenciar a velocidade e o tempo de resposta de uma requisição.

Assim, o grande desafio do bigdata é estar administrando um grande volume de dados e minerando informações em um menor tempo de requisição. Com o grande volume de dados, fazer com que a aplicação cresça à medida que é necessário é uma ótima estratégia, assim, uma escalabilidadevertical (em que se aumenta o poder do hardware, como aumento de memória e de processamento de uma única máquina) ou horizontal (em que se aumenta a quantidade de máquinas) deve ser analisada. Apesar de ser mais complexa, a escalabilidade horizontal acaba sendo muito barata, sem falar de ser mais fácil de crescer ou diminuir os recursos por demanda.

Para armazenar as informações com aescalabilidade horizontal, os bancos NOSQL são uma ótima estratégia. Vale lembrar que o banco NOSQL significa não apenas not only e não SQL. Uma diferença entre os bancos NOSQL e SQL é que o primeiro possui uma grande variedade de bancos e cada um com características diferentes. Em termo de arquitetura, os bancos NOSQL podem ser distribuídos ou não, embora sejam mais populares do tipo distribuído. Sua formade armazenamento pode ser apenas em memória, apenas em disco rígido ou configurável (vale apena lembrar que banco apenas na memória são muito rápidos, no entanto são volúveis, já os somente no HD tem informações permanentes, porém o I/O é muito alto). Outra característica divergente entre os bancos NOSQL está na forma do armazenamento que são: chave-valor, documento, família de coluna e grafos.Os bancos NOSQL costumam ser muito rápidos na leitura e na escrita, no entanto, possuem uma grande deficiência por parte das buscas. Estas normalmente são feitas apenas pela chave, para isso usar um serviço para terceirizar o serviço pode ser uma boa ideia, como o framework Lucene.

Mesmo realizando estratégias de buscas terceirizadas ou buscando pelo id, se a informação não estiver na memóriaprincipal pode haver uma demora para recuperar essa informação. Assim, ter um dispositivo de acesso rápido pode ser uma melhor opção, entra aqui o uso do cache. Ao se optar pelo cache deve-se levar em conta os dois maiores desafios:

Ter informação: o ato de esquentar a informação é extremamente importante para esse mecanismo, já que não adianta existir um cache se o mesmo não possuir nenhuma...
Ler documento completo

Por favor, assinar para o acesso.

Estes textos também podem ser interessantes

  • Big Data
  • Big Data
  • Big Data
  • big data
  • Big Data
  • Big Data
  • Big Data
  • Big DAta

Seja um membro do Trabalhos Feitos

CADASTRE-SE AGORA!