Projeto de Detecção de Fake News - Trabalho da Disciplina de Probabilidade MECAI/USP

Mapa do Python by DidáticaTech.  Vídeo com as principais bibliotecas para estudar python.  Análise de Dados, Web, Games, RPA, Dev Web e Dev Android.

Ambiente de Desenvolvimento - VSCODE

Variáveis

Estruras básicas - Strings, Lista, Tuplas, Conjuntos e Dicionários

Estruturas de controle - Decisão e Repetição

Funções e Funções Lambda

Operações com Arquivos

List Compreension

Tratamento de Erros

Iterators e Generators

Trabalhando com strings

• Formatação

• Codificação

• Métodos

• Expressões Regulares

  • biblioteca re

  • comandos findall, sub, split

  • comandos search, match

  • Metacaracteres padrões \d,\D,\w,\W,\s,\S

  • Quantificadores ?, *, +, {n}, {a,b}, {,b},{a,}

  • Metacaracteres ., ^, $, |, [], [^], intervalos

Orientação a Objetos

Trabalhando com Datas

Pacote Collections, Map e Filter

Sistema Operacional

Python para Excel

Pacote Pandas

Pacote Numpy

Decorators

Criação de Pacotes em Python

Programação Paralela em Python

Web Scraping/Crawler

Bancos de Dados com Python

Python com Azure

Aprendizado de Máquina: Uma abordagem Estatística.  Livro e Playlist de Explicação.  Conhecimento abrangente.  Precisa de conceitos para acompanhar. 

Aprendizado de Máquina 01.  Prof. Diego Silva.  UFSCAR.

Aprendizado de Máquina 02. Prof. Diego Silva. UFSCAR.

Intro to Machine Learning, Georgia Tech.  494 vídeos.

Machine Learning, Georgia Tech.  Excelente Didática.  336 vídeos.  SVM, Boosting, PCA, Bayes, ... Em curadoria.

Aprendizado Supervisionado Parte 01, Georgia Tech.  112 vídeos.

Reinforced Learning, Parte 03, Georgia Tech. 121 vídeos

Reinforced Learning, Georgia Tech.  204 vídeos.

Machine Learning for Trading, Gerogia Tech.  218 Vídeos.

Machine Learning, Andrew Ng, Stanford.  112 Vídeos.

IA all in One, Playlist com excelentes apresentações.

Definição

Tipos de Aprendizado

• Supervisionado

• Não Supervisionado

• Semi-Supervisionado

• Por Reforço

• Auto-Aprendizado

Aprendizado Supervisionado

• Tipo Regressivo

  • Técnicas

  • Métricas

• Tipo Classificador

  • Técnicas

  • Métricas

Aprendizado Não Supervisionado

• Tipo Redução de Dimensionalidade

  • Técnicas

    • t-SNE 1, t-SNE 2 e t-SNE 3

  • Métricas

• Tipo Agrupadores

  • Técnicas

  • Métricas

Clustering

• https://realpython.com/k-means-clustering-python/

• https://towardsdatascience.com/machine-learning-algorithms-part-12-hierarchical-agglomerative-clustering-example-in-python-1e18e0075019

Algoritmos Hierárquicos

• https://www.section.io/engineering-education/hierarchical-clustering-in-python/

• https://machinelearningknowledge.ai/agglomerative-hierarchical-clustering-in-python-sklearn-scipy/

• https://www.section.io/engineering-education/hierarchical-clustering-in-python/

• https://stackabuse.com/hierarchical-clustering-with-python-and-scikit-learn/

• http://www.slimsuite.unsw.edu.au/teaching/upgma/

Algoritmos Particionais

• Mistura de Gaussianas

  • https://www.kaggle.com/code/charel/learn-by-example-expectation-maximization/notebook

  • https://python-course.eu/machine-learning/expectation-maximization-and-gaussian-mixture-models-gmm.php

  • https://medium.com/@prateek.shubham.94/expectation-maximization-algorithm-7a4d1b65ca55

  • https://jakevdp.github.io/PythonDataScienceHandbook/05.12-gaussian-mixtures.html

  • https://towardsdatascience.com/gaussian-mixture-models-d13a5e915c8e

  • https://towardsdatascience.com/fuzzy-c-means-clustering-with-python-f4908c714081

Algoritmos baseados em densidade

• https://scikit-learn.org/stable/modules/generated/sklearn.cluster.DBSCAN.html?highlight=dbscan#sklearn.cluster.DBSCAN

Técnicas de Validação

Recursos Destaque

• https://pyclustering.github.io/docs/0.10.1/html/de/df0/namespacepyclustering_1_1cluster_1_1fcm.html

• https://docs.scipy.org/doc/scipy/reference/cluster.hierarchy.html#module-scipy.cluster.hierarchy

• https://pypi.org/project/kmedoids/

• https://scikit-learn.org/stable/modules/classes.html#module-sklearn.cluster

• https://github.com/PacktPublishing/Hands-On-Data-Science-and-Python-Machine-Learning/blob/master/KMeans.ipynb

Deep Learning, Udacity.  Playlist 64 vídeos.

Introdução

Perceptron

Aprendizado

Tipos de Redes Neurais

• Tipos de Camadas

  • Pool

  • ...

• Encoders/Decoders

• Transformers

• Adversariais

• Recorrentes LSTM

• MultiCamadas

Ferramentas

Ataques

Explanable AI - XAI

Transferência de Conhecimento

Etapas

• Normalização

• Vetorização

• Tarefas

Técnicas de Vetorização

• ...

Projeções, LSA, NMF, LDA, UFBA

Tarefas

• Tradução

• NER

• POS

• Classificação

• Taxonomia

• Resumo

• CHAT/Query

Pacotes Python

• NLTK

• Spacy

• GenSim

Cursos Online

• NLP com Machine Learning Stanford

• Curso da USP Edição Comemorativa 50 Anos sobre Python para NLP

• Curso de NLP da USP 

Referências

• Jurafsky, D. and Martin, J.H. (2008). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. Prentice Hall. Parcialmente disponível em https://web.stanford.edu/~jurafsky/slp3/ 

• Manning, C.D. and Schütze, H. (1999). Foundations of Statistical Natural Language Processing. 1a. edição. The MIT Press. - Mitkov, R. (2005). 

• The Oxford Handbook of Computational Linguistics. Oxford University Press. - Ferreira, M. e Lopes, M. (2019). Para Conhecer Linguística Computacional. 1a edição. Editora Contexto.

Conceito de Derivadas

• Técnicas de Derivação básicas

  • polinômio, sen, cos, exponencial, logaritmo, potência

Aplicação de Derivada em Otimização

• Gradiente

Estatística Descritiva

• Medidas de Tendência Central

• Medidas de Posição

• Medidas de Variabilidade

Estatística Diagnóstica

• Regressão Linear

• Regressão Logística

Probabilidade

• Fundamento

• Teorema de Bayes

• Distribuições

• Teste de Hipótese

Análise Multivariada

• Componentes Principais

• Análise Discriminante

Comandos do SO

SSH

Docker

Kubernetes

Fundamentals

Data Science

ML

Armazenamento

• Blobs

• Filas

• Tabelas

• Bancos de Dados

Máquinas Virtuais

Power Shell

Power Automate

Data Factory

Data Bricks

Azure Synapse

Storytelling

Power BI

Visualização com Python

• Matplotlib

• Plotly

• Bokeh

HTML

XPath

• Básico de HTML

• Xpath 

  • /, //, *

  • @

  • filtros [], contains

  • Testador

Json

XML

CSS

JavaScript

Frameworks

• Django

• Flask

FrontEnd

• Bootstrap

Angular

React

Node.js

Vue

BlockChain

IOT

Robot Proccess Automation com Python - RPA

DBEAVER

Cadeia de Suprimentos

• Conceitos

• Troca Eletrônica de Documentos

• Fiscal

• Planejamento

• Sell IN/Sell Out

• Indicadores

  • Giro de Estoque

  • Ruptura

  • OSA

  • TVD

  • IVD

• Varejo

  • Sortimento

  • Categorias

• GS1 - GTIN/Global Identificator

Economia

• Macroeconomia

• Indicadores Econômicos

• Elasticidade de Preço

Consumidor

• Comportamento do Consumidor

• Churn

Teoria das Restrições

Contabilidade

• Análise de Balanço

• Índices Contábeis

  • ROI

Matemática Financeira

• Juros Simples/Composto

• Análise de Investimentos

  • Payback, TIR, VPL

Metodologia Multicritério

• Benchmark/Data Envelopment Analysis (DEA)

• Teoria da Utilidade

• AHP

• Promethee

• Aditivo