A Definição de Big Data

1 Maio, 2019 0 Por admin

O que é, exatamente, big data?

Para realmente compreender big data, é útil ter algum plano de fundo histórico. Aqui está a definição de Gartner, criada por volta de 2001 (que ainda é considerada a definição mais confiável): Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior. Isso é conhecido como os três Vs.

Simplificando, big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. Mas esses enormes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.

Os Três Vs do Big Data

1. Volume

A quantidade de dados importa. Com big data, você terá que processar grandes volumes de dados não estruturados de baixa densidade. Podem ser dados de valor desconhecido, como feeds de dados do Twitter, fluxos de cliques em uma página da web ou em um aplicativo para dispositivos móveis, ou ainda um equipamento habilitado para sensores. Para algumas empresas, isso pode utilizar dezenas de terabytes de dados. Para outras, podem ser centenas de petabytes.

2. Velocidade

Velocidade é a taxa mais rápida na qual os dados são recebidos e talvez administrados. Normalmente, a velocidade mais alta dos dados é transmitida diretamente para a memória, em vez de ser gravada no disco. Alguns produtos inteligentes habilitados para internet operam em tempo real ou quase em tempo real e exigem avaliação e ação em tempo real.

3. Variedade

Variedade refere-se aos vários tipos de dados disponíveis. Tipos de dados tradicionais foram estruturados e se adequam perfeitamente a um banco de dados relacional. Com o aumento de big data, os dados vêm em novos tipos de dados não estruturados. Tipos de dados não estruturados e semiestruturados, como texto, áudio e vídeo exigem um pré-processamento adicional para obter significado e dar suporte a metadados.

O Valor — e a Verdade — do Big Data

Mais dois Vs surgiram nos últimos anos: valor e veracidade.

Dados possuem valor intrínseco. Mas isso é inútil até que esse valor seja descoberto. Igualmente importante: Qual a veracidade dos seus dados — e quanto você podem confiar neles?

Atualmente, big data tornou-se essencial. Pense em algumas das maiores empresas de tecnologia do mundo. Uma grande parte do valor que eles oferecem vem de seus dados, que eles analisam constantemente para produzir mais eficiência e desenvolver novos produtos.

Recentes avanços tecnológicos reduziram exponencialmente o custo de armazenamento e computação de dados, tornando mais fácil e menos dispendioso armazenar mais dados do que nunca. Agora, com um volume de big data maior, mais barato e acessível, você pode tomar decisões de negócios mais precisas.

Encontrar valor em big data não é só uma questão de analisá-lo (que é um outro benefício). É um processo de descoberta completo que exige analistas perspicazes, usuários de negócios e executivos que fazem as perguntas certas, reconhecem padrões, fazem suposições informadas e preveem comportamentos.

Mas como chegamos até aqui?

A História do Big Data

Embora o conceito de big data em si seja relativamente novo, as origens de grandes conjuntos de dados remontam às décadas de 1960 e 1970, quando o mundo dos dados estava apenas começando, com os primeiros data centers e o desenvolvimento do banco de dados relacional.

Por volta de 2005, as pessoas começaram a perceber a quantidade de usuários de dados gerados pelo Facebook, YouTube e outros serviços on-line. O Hadoop (uma estrutura de código aberto criada especificamente para armazenar e analisar grandes conjuntos de dados) foi desenvolvido no mesmo ano. O NoSQL também começou a ganhar popularidade durante esse período.

O desenvolvimento de estruturas de código aberto, como o Hadoop, (e, mais recentemente, o Spark) foi essencial para o crescimento do big data, porque elas tornaram o trabalho com big data mais fácil e seu armazenamento mais barato. Nos anos seguintes, o volume de big data disparou. Usuários ainda estão gerando grandes quantidades de dados, mas não são somente humanos que estão fazendo isso.

Com o advento da Internet das Coisas (IoT), mais objetos e dispositivos estão conectados à internet, reunindo dados sobre padrões de uso do cliente e desempenho do produto. O surgimento do machine learning produziu ainda mais dados.

Apesar da evolução do big data, sua utilidade ainda está no começo. A computação em nuvem expandiu ainda mais as possibilidades do big data. A nuvem oferece uma escalabilidade verdadeiramente elástica, na qual os desenvolvedores podem simplesmente criar clusters ad hoc para testar um subconjunto de dados.

Benefícios do Big Data e da Análise Avançada de Dados:

Com big data, você obtém respostas mais completas, porque tem mais informações.
Respostas mais completas significam mais confiança nos dados, ou seja, uma abordagem completamente diferente para lidar com problemas.

Casos de Uso de Big Data

Big data pode ajudá-lo a lidar com diversas atividades de negócios, desde a experiência do cliente até a análise avançada. Aqui estão algumas. (Mais casos de uso podem ser encontrados no Oracle Big Data Solutions.)

Empresas
Desenvolvedoras de Produtos como Netflix e Procter & Gamble usam big data para antecipar a demanda dos clientes. Eles criam modelos preditivos para novos produtos e serviços, classificando os principais atributos de produtos ou serviços passados e atuais e modelando a relação entre esses atributos e o sucesso comercial das ofertas. Além disso, a P&G utiliza dados e análises de grupos de foco, mídias sociais, mercados de teste e lançamentos antecipados de lojas para planejar, produzir e lançar novos produtos.

Fatores de
Manutenção Preditiva que podem prever falhas mecânicas podem estar profundamente relacionados a dados estruturados, como o ano do equipamento, marca e modelo de uma máquina, bem como em dados não estruturados que abrangem milhões de entradas de log, dados do sensor, mensagens de erro e temperatura do motor. Ao analisar essas indicações de possíveis problemas antes que eles ocorram, as empresas podem implementar a manutenção de maneira mais econômica e maximizar o tempo de atividade de peças e equipamentos.

Experiência do Cliente:
A corrida por clientes começou. Uma visão mais clara da experiência do cliente nunca foi tão possível como agora. Big data permite que você reúna dados de mídias sociais, visitas da web, registros de chamadas e outras fontes de dados para aprimorar a experiência de interação e maximizar o valor fornecido. Comece a oferecer ofertas personalizadas, reduza a rotatividade de clientes e lide com problemas proativamente.

Fraude e Conformidade:
Quando se trata de segurança, não são apenas alguns hackers desonestos; você se depara com equipes de especialistas nesta área. Paisagens de segurança e requisitos de conformidade estão em constante evolução. Big data ajuda você a identificar padrões em dados que indicam fraudes e agregar grandes volumes de informações para tornar os relatórios regulamentares muito mais rápidos.

Machine Learning:
O machine learning é um tema interessante no momento. E dados, especificamente big data, é um dos motivos. Agora somos capazes de ensinar máquinas em vez de programá-las. A disponibilidade de big data para treinar modelos de machine learning faz com que isso aconteça.

Eficiência Operacional:
A eficiência operacional pode nem sempre ser notícia, mas é uma área na qual big data está tendo o maior impacto. Com big data, você pode analisar e avaliar a produção, feedbacks e retornos de clientes e outros fatores para reduzir interrupções e antecipar demandas futuras. Big data também pode ser usado para melhorar a tomada de decisões de acordo com a demanda atual do mercado.

Impulsionar a Inovação:
Big data pode ajudá-lo a inovar, estudando interdependências entre seres humanos, instituições, entidades e processos e, em seguida, determinando novas maneiras de usar essas percepções. Use informações de dados para aprimorar as decisões sobre considerações financeiras e de planejamento. Examine as tendências e o que os clientes desejam para oferecer novos produtos e serviços. Implemente preços dinâmicos. Existem infinitas possibilidades.

Desafios do Big Data

Embora big data seja uma grande promessa, apresenta seus desafios.

Para começar, big data é…grande. Apesar de novas tecnologias terem sido desenvolvidas para o armazenamento de dados, os volumes de dados estão dobrando em tamanho a cada dois anos. As empresas ainda se esforçam para acompanhar a evolução de seus dados e encontrar maneiras de armazená-los com eficiência.

Mas não basta apenas armazenar dados. Dados devem ser usados para terem valor e isso depende da curadoria. Dados limpos ou relevantes para o cliente e organizados de maneira que permita uma análise significativa exigem muito trabalho. Cientistas de dados gastam de 50 a 80 por cento de seu tempo curando e preparando dados antes de serem usados.

Por fim, a tecnologia de big data está mudando em ritmo acelerado. Há alguns anos, o Apache Hadoop era a tecnologia popular usada para lidar com big data. Em seguida, o Apache Spark foi introduzido em 2014. Hoje, uma combinação das duas estruturas parece ser a melhor abordagem. Manter-se atualizado com a tecnologia de big data é um desafio contínuo.

Como Big Data Funciona

Big data fornece novas informações que abrem novas oportunidades e modelos de negócios. Primeiros passos envolvem três ações principais:

Integrar
Gerenciar
Analisar

Integrar

Big data reúne dados de diversas fontes e aplicativos diferentes. Mecanismos tradicionais de integração de dados, como o ETL (extrair, transformar e carregar), geralmente não estão aptos à tarefa. Isso requer novas estratégias e tecnologias para analisar conjuntos de big data em terabytes ou até mesmo em escala de petabytes.

Durante a integração, você precisa inserir os dados, processá-los e verificar se estão formatados e disponíveis de forma que seus analistas de negócios possam começar a utilizá-los.

Melhores Práticas de Big Data

Para ajudá-lo em sua jornada de big data, incluímos algumas práticas recomendadas para você ter em mente. Aqui estão nossas diretrizes para criar uma base de big data bem-sucedida.


Alinhar Big Data com Objetivos Específicos de Negócios	Conjuntos de dados mais extensos permitem que você faça novas descobertas. Para esse fim, é importante basear novos investimentos em habilidades, organização ou infraestrutura com um forte contexto de negócios para garantir investimentos e financiamento contínuos de projetos. Para determinar se você está no caminho certo, pergunte como big data oferece suporte e habilita seus principais negócios e prioridades de TI. Exemplos incluem a compreensão de como filtrar registros da web para entender o comportamento do comércio eletrônico, derivar sentimentos das mídias sociais e interações de suporte ao cliente e compreender os métodos estatísticos de correlação e sua relevância para dados de clientes, produtos, manufatura e engenharia.
Facilitar a Escassez de Habilidades com Padrões e Governança	Um dos maiores obstáculos para big data é a escassez de habilidades. Você pode atenuar esse risco garantindo que as tecnologias, considerações e decisões de big data sejam adicionadas ao seu programa de governança de TI. A padronização da sua abordagem permitirá gerenciar custos e alavancar recursos. As empresas que implementam soluções e estratégias de big data devem avaliar seus requisitos de habilidades com antecedência e frequência, identificando proativamente quaisquer ausências de habilidades. Essas podem ser solucionadas por meio de treinamento cruzado de recursos existentes, contratação de novos recursos e aproveitamento de empresas de consultoria.
Otimize a Transferência de Conhecimento com um Centro de Excelência	Use uma abordagem de Centro de Excelência para compartilhar conhecimento, controlar a supervisão e gerenciar as comunicações do projeto. Se big data é um investimento novo ou em expansão, os custos flexíveis e difíceis podem ser compartilhados em toda a empresa. Aproveitar essa abordagem pode ajudar a aumentar os recursos de big data e a maturidade geral da arquitetura de informações de uma maneira mais estruturada e sistemática.
O Melhor Retorno é Alinhar Dados Estruturados com Não Estruturados	É importante analisar o big data sozinho. Mas você pode trazer ainda mais informações de negócios conectando e integrando big data de baixa densidade aos dados estruturados que você já estiver usando hoje. Quer você esteja capturando clientes, produtos, equipamentos ou big data ambiental, o objetivo será adicionar mais pontos de dados relevantes aos seus resumos analíticos e principais, obtendo melhores conclusões. Por exemplo, há uma diferença em distinguir o sentimento de todos os clientes daquele apenas dos seus melhores clientes. É por isso que muitos veem big data como uma extensão integral de seus recursos existentes de business intelligence, plataforma de data warehousing e arquitetura de informações. Lembre-se de que os processos e modelos analíticos de big data podem ser baseados em humanos e em máquinas. Os recursos analíticos de big data incluem estatísticas, análise espacial, semântica, descoberta interativa e visualização. Usando modelos analíticos, você pode correlacionar diferentes tipos e fontes de dados para fazer associações e descobertas significativas.
Planeje seu Laboratório de Descoberta para Desempenho	Descobrir o significado em seus dados nem sempre é simples. Às vezes, nem sabemos o que estamos procurando. Isso é esperado. A gerência e a TI precisam dar suporte a essa “falta de direção” ou “falta de requisitos claros.” Ao mesmo tempo, é importante que os analistas e cientistas de dados trabalhem em estreita colaboração com a empresa para entender as principais lacunas e requisitos de conhecimentos de negócios. Para acomodar a exploração interativa de dados e a experimentação de algoritmos estatísticos, você precisa de áreas de trabalho de alto desempenho. Certifique-se de que os ambientes de área restrita têm a importância de que precisam —e que sejam devidamente controlados.
Alinhe com o Modelo Operacional da Nuvem	Processos e usuários de big data exigem acesso a uma ampla variedade de recursos para experimentação iterativa e execução de tarefas de produção. Uma solução de big data inclui todos os domínios de dados, incluindo transações, dados mestre, dados de referência e dados resumidos. Áreas restritas analíticas devem ser criadas sob demanda. O gerenciamento de recursos é essencial para garantir o controle de todo o fluxo de dados, incluindo pré e pós-processamento, integração, resumo no banco de dados e modelagem analítica. Uma estratégia de segurança e provisionamento de nuvem pública e privada bem planejada desempenha um papel fundamental no suporte a esses requisitos em constante mudança.