Técnicas para processamento de big data

by Ana Tiessi, Nicksson Freitas

Overview

A Série Universitária foi desenvolvida pelo Senac São Paulo com o intuito de preparar profissionais para o mercado de trabalho. Os títulos abrangem diversas áreas, abordando desde conhecimentos teóricos e práticos adequados às exigências profissionais até a formação ética e sólida.
Técnicas para processamento de big data tem como objetivo principal oferecer ao leitor um panorama das técnicas e ferramentas para a análise de dados; para isso, é apresentada uma visão geral do ciclo de ciência de dados e do ecossistema Hadoop e suas soluções para big data, relacionando conceitos de modelagem, ingestão, armazenamento e processamento de grandes volumes de dados complexos, bem como emprego do business intelligence na tomada de decisão baseada em dados. Além disso, são analisadas as características, as vantagens e as desvantagens de data warehouse, data lake e data discovery, e as ferramentas que auxiliam o processo de automatização, orquestração de fluxos de dados, análises e visualização de dados. Neste livro, o leitor encontrará também os conceitos de sistemas de recomendação, bancos de dados com texto, técnicas de machine learning, modelagem e previsão de séries temporais e recursos para a análise de dados do mercado financeiro.

Product Details

ISBN-13:	9788539635436
Publisher:	Editora Senac São Paulo
Publication date:	06/13/2023
Series:	Série Universitária
Sold by:	Bookwire
Format:	eBook
Pages:	148
File size:	6 MB
Language:	Portuguese

About the Author

Ana Tiessi é graduada em Tecnologia em Processamento de Dados pela Faculdade de Tecnologia de Ourinhos (Fatec-Ourinhos), possui mestrado em Ciência da Computação pelo Centro Universitário Eurípides de Marília (Univem) e doutorado pela Escola Politécnica da Universidade de São Paulo (Poli-USP). Atualmente é coordenadora de projetos do Eixo Tecnológico: Informação e Comunicação, na Coordenação de Ensino Superior (Cesu) do Centro Paula Souza, e professora nos cursos superiores de tecnologia em análise e desenvolvimento de sistemas, big data para negócios e gestão comercial na Fatec-Ipiranga. Membro do BASis Inep/MEC como avaliadora institucional e especialista do Conselho Estadual de Educação de São Paulo, e perita judicial no Tribunal de Justiça do Estado de São Paulo. Tem experiência na área de ciência da computação, atuando principalmente nos seguintes temas: realidade virtual na medicina, frameworks orientados a objetos, jogos educativos, técnicas de interação 3D, interação humano-computador, UX, gestão de projetos de software, visualização da informação, business intelligence e perícia judicial na área de informática.
Nicksson Freitas é graduado em Ciência da Computação pela Universidade do Estado do Rio Grande do Norte (UERN), possui mestrado em Ciência da Computação pela UERN e pela Universidade Federal Rural do Semi-Árido (Ufersa) e é doutorando em Ciência da Computação pela Universidade Federal do Ceará (UFC). Atualmente é cientista de dados no Samsung Institute for Development Informatics (SIDI), professor adjunto no Centro Universitário Christus (Unichristus) e cofundador do Synapse Data Science. Trabalha na área de ciência de dados desde 2014, atuou em diversos projetos de pesquisa e já passou por grandes empresas resolvendo problemas de negócios a partir de dados. Autor de livros, artigos científicos nacionais e internacionais nas seguintes áreas: data science, inteligência artificial, machine learning, bancos de dados, sistemas multiagentes, séries temporais, trajetórias, sensoriamento remoto, processamento digital de imagens, geoprocessamento e meteorologia.

Table of Contents

Capítulo 1 Visão geral das técnicas de processamento e análise de big data 1 Conceitos fundamentais 2 Ciclo de ciência de dados 3 Desafios do data science Considerações finais Referências Capítulo 2 Conceitos sobre business intelligence (BI) 1 Conceituando business intelligence (BI) 2 Processos de tomada de decisão 3 ETL/adquirindo dados para tomada de decisão 4 Modelagem dimensional 5 Conceituação de ferramentas analíticas e cognitivas 6 Visualização de dados Considerações finais Referências Capítulo 3 Análise descritiva e ETL 1 Apresentação de cálculos de medidas e construção de gráficos 2 Fluxo de dados (data flow) ETL/ELT (extração, transformação e carregamento) 3 Implementação e automatização de ETL (data flow): Pentaho, Apache NiFi e Apache Airflow Considerações finais Referências Capítulo 4 Conceitos sobre data warehouse, data lake e data discovery 1 Conceitos e definições, modelos, projetos, implementação e tecnologias envolvidas 2 Processos de governança 3 Definições, plataformas e arquiteturas de big data, data lake, data warehouse 4 Tratamento e qualidade de dados, data discovery, recursos de big data na nuvem Considerações finais Referências Capítulo 5 Conceitos sobre a ferramenta de software Hadoop 1 Soluções de dados no ecossistema Hadoop 2 Modelagem de dados usando Hadoop 3 Armazenamento de dados usando Hadoop 4 Ingestão de dados usando Hadoop 5 Processamento de dados usando Hadoop Considerações finais Referências Capítulo 6 Métodos e aplicação em sistemas de recomendação 1 Processo de construção de um sistema de recomendação 2 Diferenças entre filtragem baseada em conteúdo e filtragem colaborativa 3 Algoritmos de recomendação 4 Exemplos de sistemas de recomendação na prática Considerações finais Referências Capítulo 7 Tratamento de bancos de dados com texto 1 Bancos de dados com texto 2 Leitura de dados 3 Modelos de machine learning para classificação e regressão 4 Exemplo de modelos de machine learning com texto Considerações finais Referências Capítulo 8 Análise de grandes volumes de dados financeiros 1 Séries temporais 2 Buscar e tratar dados de ações e bitcoins 3 Análise de ações e bitcoins 4 Predição de ações e bitcoins Considerações finais Referências Sobre os autores