miniaturadaimagem|O abrange conjuntos de dados de grande volume, variedade e velocidade.|315x315px Big data (macrodados, megadados, ou grandes dados em português)IATE é a área do conhecimento que estuda como tratar, analisar e obter informações a partir de conjuntos de dados muito grandes. O termo surgiu em 1997, e foi inicialmente utilizado para nomear conjuntos de dados não ordenados em rápido crescimento. Nas últimas décadas, os conjuntos de dados têm crescido de forma exponencial.
Com o aparecimento da Internet, a quantidade de dados disponíveis aumentou abruptamente: da "era" do terabyte para o petabyte, e a desde 2015, a era do zettabyte. Atualmente são gerados mais de 2,5 quintilhões de bytes diariamente. Pela sua presença nas relações econômicas e sociais, representou uma evolução nos sistemas de mercado e na ciência. As ferramentas que fazem uso de são de grande importância, por exemplo, para definir estratégias de marketing, aumentar a produtividade, reduzir custos e tomar melhores decisões.
Um dos pontos essenciais do conceito de é o fato de ter sido capaz de gerar valor para empresas e para o mercado. No que diz respeito à ciência, o surgimento de big data levou à criação de um novo paradigma (4° paradigma), concebendo um novo método para ampliar as fronteiras do conhecimento. Graças às novas tecnologias, é possível recolher, manipular, analisar e exibir dados com mais eficácia, aumentando o valor agregado das análises geradas.
Definição
é um termo recente e, por isso, não existe na maior parte dos dicionários de estatística. São dados multivariados e de elevada dimensão, geralmente criados em tempo real, e apresentam um crescimento exponencial (na escala temporal), nomeados de megadados.
Quanto mais dados são gerados, maior é o esforço para extrair informações. Os centros de dados tiveram que aprender a lidar com o crescimento exponencial de dados gerados e desenvolver ferramentas que fossem para além de bancos de dados relacionais e sistemas paralelos de bancos de dados. Sendo assim, a velocidade para obter a informação faz parte do sucesso que o pode proporcionar em sua empresa. O conceito de foi definido inicialmente por 3'V, mas a literatura mostrou que seu conceito pode ser expandido para 5'V, representados pelos seguintes conceitos:
Volume: relacionado à grande quantidade de dados gerados, devido a extensa variedade de fontes de dados, onde as empresas coletam estes. Anos atrás, armazenar essa grande quantidade de dados e informações era um impasse, principalmente quando se tratava de processamento, armazenamento e organização, devido ao alto custo dos equipamentos e à pouca oferta. Até o ano 2000, aproximadamente 25% dos dados eram digitais. Muitas das informações/dados produzidos estavam em papéis, livros e outros tipos de armazenamento de informações físicas. Já nos anos de 2012 e 2014, este percentual passou para 98%. Isso se deve à queda dos preços dos computadores e celulares, que se tornaram mais acessíveis. Analisando a conjuntura social e tecnológica atual, percebe-se que cada pessoa em suas atividades cotidianas e rotineiras produz uma infinidade de dados e informações, desde preferências musicais, localização, meio de transportes, locais que visitou etc. Estima-se que a cada 18 meses, o volume de informações produzidas dobra. Variedade: as fontes de dados são muito variadas, o que aumenta a complexidade das análises. Essas fontes podem ser desde transações comerciais, redes sociais, radares, sensores, celulares, computadores, até sites de reclamações, “curtidas” nas redes sociais, coordenadas de GPS, drones, etc. Além das variedades das fontes, existem também os diferentes formatos e tipos de dados, desde dados estruturados, dados numéricos em bancos de dados tradicionais, até os dados não estruturados, como textos, e-mail, vídeos, áudios e dados de transações financeiras. Um dos maiores desafios do é gerenciar todos esses diferentes tipos de dados e fontes ao mesmo tempo. Velocidade: Devido ao grande volume e variedade de dados, todo o processamento deve ser ágil para gerar as informações necessárias. Os dados são cada vez mais demandados em tempo real, com o menor delay (tempo de espera) possível, devendo ser tratados em tempo hábil. Em 2012, aproximadamente 2,5 exabytes de dados e informações foram produzidos no planeta pela humanidade. Isso corresponde a aproximadamente 29 terabytes de dados por segundo. A tendência é que essa produção aumente com a disseminação da IoT (Internet das Coisas). Veracidade: A veracidade está ligada diretamente ao quanto uma informação é verídica. É a necessidade de garantir que os dados coletados sejam autênticos. Isso se aplica às fontes de dados que precisam ser confiáveis e aos dados e informações propriamente ditos. É importante lembrar que os sistemas também podem produzir dados com erros. Valor: Este conceito está relacionado com o valor obtido desses dados, ou seja, com a “informação útil”, sendo o ponto mais destacado em relação às aplicações do .
Histórico Construção do Conceito
O termo tem um conceito relativo, já que seu tamanho depende de quem está usando os dados. Neste contexto, o primeiro relato sobre uso de estatísticas para obter informações de grandes quantidades de dados data de 1663. Nesse ano, John Graunt utilizou uma grande quantidade de informações, de diferentes fontes, para estudar a epidemia da peste bubônica na Europa. Para Graunt, sua quantidade de dados poderia ser considerada
O uso dos primeiros equipamentos para processar dados são de 1890, durante a realização do Censo dos Estados Unidos, conduzido pelo U.S. Census Bureau. Na ocasião, a Máquina de Tabulação diminuiu o tempo de processamento dos dados para apenas seis semanas. Entretanto, somente no século XX que começaram a surgir os primeiros sistemas para armazenamento de informações. Em 1927, o engenheiro Fritz Pfleumer criou um método para guardar informações em fitas magnéticas.
Durante a Segunda Guerra Mundial, foi criada a primeira máquina digital de processamento de dados. Foi em 1943, quando os britânicos desenvolveram um sistema para decifrar códigos nazistas durante a Segunda Guerra Mundial. O nome da máquina era Colossus, que podia interceptar mensagens a uma taxa de 5000 caracteres por segundo. O primeiro órgão público criado especificamente para o processamento de dados, a Agência Nacional de Segurança (NSA) dos EUA, foi fundado em 1952, com o objetivo de processar dados automaticamente para obter informações relativas a inteligência durante a Guerra Fria.
Um dos primeiros Centros de Dados foi criado em 1965, também pelo governo americano, com o objetivo de controlar o pagamento de impostos e as impressões digitais dos americanos. Esse Centro de Dados possuía o mesmo padrão dos bancos de dados criados até a década de 1970. Eram bancos de dados centralizados, onde uma mesma máquina era responsável pelo uso, armazenamento e análise dos dados. Com o aumento da quantidade de dados, começaram a surgir novas arquiteturas de dados que permitissem processar e analisar esses dados. Na década de 80, começaram a surgir os Sistemas de Bancos de Dados Paralelos. Nesse caso, ao invés de um banco de dados centralizado, cada processador se comunica com os outros apenas enviando mensagens através de uma rede interconectada. Os primeiros bancos de dados paralelos possibilitaram a criação do primeiro banco de dados com capacidade em terabytes, pela KMART, em 1986.
Em 1989, o cientista britânico Tim Berners-Lee criou o World Wide Web, para facilitar a troca de informações entre as pessoas. O que Tim Berners-Lee não sabia era que sua invenção iria revolucionar a forma como os dados eram gerados e a quantidade de dados criados. A criação da Web 2.0 ajudou no aumento dos dados. O termo foi usado pela primeira vez em 1997. Entretanto, o nome começou a ser usado oficialmente em 2005, quando Roger Mougalas, da O’Reilly Media, publicou um artigo mencionando o tema.
Evolução Tecnológica de Armazenamento e Processamento
Os dados que agregam o conjunto do são provenientes de várias fontes. Desta maneira, normalmente não apresenta uma estrutura bem definida, ou seja, não pode ser armazenada nos sistemas padrões de banco de dados, como o Sistema Gerenciador de Banco de Dados Relacional (SGBDR), onde os dados são representados por meio de tabelas, com diversas linhas e colunas. Os cientistas de dados começaram a verificar que bancos de dados relacionais não conseguiriam suportar essa grande quantidade de dados não estruturados. Desta maneira, novas tecnologias e processos tiveram que ser desenvolvidos para permitir que esses dados não estruturados fossem analisados, já que os mesmos podem representar até 80% do total de dados. Foi quando a Google criou o MapReduce, em 2004, que é um modelo de programação que permite processar grandes quantidades de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes, geralmente executado em um cluster de computadores.
Posteriormente, foi desenvolvido o Hadoop, que é uma implementação em código aberto do MapReduce. O Hadoop foi criado pelo Yahoo em 2005, e pode ser considerado uma das maiores invenções de data management desde o modelo relacional. Entretanto, o Hadoop não é considerado uma base de dados como o SGBDR. Ele é um sistema de distribuição de arquivos utilizado para processar e armazenar uma grande quantidade de dados () por meio de clusters, onde os mesmos são processados paralelamente; e podendo ser executados em servidores sem muito esforço. Atualmente, esse tipo de processamento é o mais utilizado por empresas que trabalham com ; e diversas empresas vêm contribuindo com código para seu desenvolvimento, como a Yahoo, Facebook, Cloudera, IBM e outras.
Segundo a IBM, em 2008 foram produzidos cerca de 2,5 quintilhões de bytes todos os dias; e surpreendentemente 90% dos dados no mundo foram criados nos últimos dois anos, decorrente à adesão das grandes empresas à internet, como por exemplo as redes sociais, dados dos GPS, dispositivos embutidos e móveis, dentre outros.SPIEGEL ONLINE: Big Data Enables Companies and Researchers to Look into the Future - SPIEGEL ONLINE Atualmente, a Internet das Coisas mudou a forma como os dados são gerados, aumentando de forma abrupta a quantidade destes. Todos esses objetos físicos da Internet das Coisas são capazes de coletar e transmitir dados, gerando dados não estruturados que não podem ser armazenados e processados por bancos de dados comuns.
Mercado de trabalho As oportunidades de trabalho na área de estatística estão aumentando graças à proliferação de programas para análise de dados e seu uso, especialmente, na tomada de decisão com objetivos estratégicos como: políticas de governo, seleção de investimentos, gestão de empresas e negócios, etc. O permite trabalhar com grandes volumes de dados, por vezes, não aceites pelos grandes programas estatísticos. No Brasil existe a profissão de Estatístico, regulamentada pelo Decreto Federal nº 62497 de 1968. Este profissional é treinado para trabalhar com estruturas de dados, em seu manuseio para extração de informação estratégica, nos métodos estatísticos de análise e em programação para sua análise estatística, de modo a se obter conclusões com margens de erro controladas para a tomada de decisões com base nos dados disponíveis. A IBM criou a Big Data University, que fornece certo conhecimento do . Existem na Internet, sites que oferecem plataformas de ensino à distância, comummente conhecidas como MOOCs, com cursos nas áreas de e de ciência de dados (Data Science, no original em inglês), nos quais pode-se estudar o seu conteúdo de forma gratuita ou pagar pelo certificado do curso.