Big data

Desafios e Oportunidades com Big Data
Um documento comunitário desenvolvido por pesquisadores líderes nos Estados Unidos
Sumário Executivo
A promessa de tomada de decisão dirigida por dados agora está sendo reconhecida amplamente, e há cada vez mais entusiasmo para a noção de “Big Data”. Embora a promessa de Big Data seja real - Por exemplo, estima-se que o Google sozinho contribuiu com 54 bilhões de dólares para a economia dos EUA em 2009 - não há atualmente uma grande diferença entre o seu potencial e sua realização.
Problemas com o Big Data de heterogeneidade, escala, pontualidade, complexidade e privacidade, impedem o progresso em todas as fases do pipeline que pode criar valor a partir de dados. Os problemas começam logo durante a aquisição de dados, quando o tsunami de dados nos obriga a tomar decisões, atualmente de forma ad hoc, sobre quais dados manter e quais descartar, e como armazenar o que mantemos de forma confiável com os metadados corretos. Muitos dados de hoje não estão nativamente num formato estruturado, por exemplo, tweets e blogs são partes fracamente estruturadas de texto, imagens e vídeo enquanto são estruturados para armazenamento e exibição, mas não por conteúdo semântico e pesquisa: transformar esse conteúdo em um formato estruturado para análise posterior é um grande desafio. O valor dos dados explode quando ele pode ser ligado com outros dados, assim a integração de dados é um criador de grande valor. Como a maioria dos dados é gerado diretamente em formato digital de hoje, temos a oportunidade e o desafio tanto para influenciar a criação de facilitar a ligação e depois vincular automaticamente os dados criados anteriormente. A análise dos dados, organização, recuperação e modelagem são outros desafios fundamentais. A análise dos dados é um gargalo claro em muitas aplicações, tanto devido à falta de escalabilidade dos algoritmos subjacentes e, devido à complexidade dos dados que necessitam de ser analisados. Finalmente, a