A definição de Big Data, de maneira simples, é um conjunto de técnicas capazes de se analisar grandes quantidades de dados para a geração de resultados importantes que, em volumes menores, dificilmente seria possível.
Está todo mundo falando disso! ou “Vi que o Cientista de Dados é a profissão do futuro”, “Eu quero ser Cientista de Dados”. Existem perfis diferentes de trabalho em big data, mas encontramos : Engenheiros de Dados, Cientistas de Dados, Administradores de Big Data, etc.
Alguns DBAs e programadores migraram seus currículos instantaneamente de “Especialistas em Bancos de Dados” para “Especialistas em Big Data”, afinal de contas trabalhavam com bancos de dados de alguns Terabytes (TBs) e teoricamente isso é Big Data. Na verdade não é simplesmente o volume de dados que define o Big Data, o conceito é calcado em um pilar de 3 itens: velocidade, volume e variedade.
Ok, já sabemos o que é o termo, temos uma ideia do que ele faz, mas qual ferramenta devo escolher? Não quero desanimar ninguém, mas devem ter mais de umas 100 marcas diferentes em categorias de softwares diferentes também.
De acordo com o Professor Krish Krishnan, os dados oriundos do Big Data serão complementares ao Data Warehouse existente, visto que ainda existirão sistemas legados com dados estruturados e bancos de dados, da maneira que fazemos Business Inteligence (BI) hoje.
O grande desafio será integrar os dados das estratégias de BI com as de Big Data, analisar separadamente as informações não é complexo, medir Tweets, Likes do Facebook ou qualquer outro dado não estruturado individualmente.
Passará a ser um grande desafio quando cruzarmos esses dados com notas fiscais, pedidos, entregas, etc.
O profissional que tem interesse em trabalhar na área, deve possuir características tanto técnica como conhecimento em negócios. O caminho que recomendamos e adquirir conhecimento através das ferramentas utilizadas.
As áreas de atuação de um profissional em Big Data podem ser classificadas de 3 maneiras:
Responsável por manter os ambientes e ferramentas funcionando. Um profissional mais técnico que necessita de conhecimento em sistemas operacionais, principalmente em Linux, arquitetura de hardware e redes, a fim de garantir a melhor performance das ferramentas.
Responsável por desenvolver os processos de captura, transformação e carga de dados. O perfil do profissional tende a exigir conhecimentos de programação e das ferramentas utilizadas nos processos. Além disso, desenvolve novas rotinas e processos relacionados as necessidades de negócio.
Responsável por atender as demandas das áreas de negócio ou planejamento da empresa. Está mais ligada as áreas de negócios devendo ter o conhecimento das ferramentas de consulta e acesso aos dados, como noções de estatística.
Precisa de uma ajuda em relação a Big Data? A Datafy é uma consultoria especializada em criar previsões de negócios através de estatística aplicada, ciência de dados (I.A., análise preditiva, machine learning), big data analytics, automação de processos com capacidade preditiva, além de oferecer mentoria e treinamento em ciência de dados.
Para mais detalhes, cliqui aqui.
Foto: Franki Chamaki.
Brasil tem "pré-sal verde" na Amazônia: 210 bilhões de litros/ano de biocombustível em áreas degradadas…
A Baita Aceleradora celebra uma década de sucesso, destacando-se por seu portfólio diversificado e compromisso…
GFANZ e BNDES lançam iniciativas para financiar projetos climáticos no Brasil. Plataforma de Transição Climática…