Corso “Foundations of Reinforcement Learning” 2024

Il corso si presenta come un’introduzione al mondo del Reinforcement Learning, partendo dalle fondamenta teoriche (MDPs) ed arrivando a discutere i più avanzati e moderni algoritmi utilizzati nel settore, quali ad esempio PPO e AlphaZero. Nonostante l’interesse principalmente accademico che la materia ha suscitato finora, crediamo che il Reinforcement Learning possa diventare un framework potente e promettente se applicato in ambito industriale, ad esempio nel contesto finanziario, ad esempio per la gestione di portafogli, e più in generale per l’ottimizzazione dell’aerodinamica dei veicoli, per scoprire nuove molecole e medicine e in robotica, ad esempio, per la guida autonoma.

Durante il corso, discuteremo gli algoritmi più diffusi e conosciuti, sia da un punto di vista teorico che pratico, commentando e proponendo agli studenti codice in Python e PyTorch.

Grazie a questo corso, non solo lo studente avrà la possibilità di comprendere come sia possibile battere un campione mondiale di Go o scacchi utilizzando un computer, ma verrà anche descritto come le impressionanti capacità di conversazione di ChatGPT siano dovute all’utilizzo di algoritmi legati a questo mondo, quali ad esempio PPO e TRPO.

Esclusivamente in presenza (sede di Leonardo), in italiano e riservato ai soci AIM.

È necessario iscriversi tramite il seguente form, i posti sono limitatihttps://forms.gle/tNs3uq9kH6timYhm9

Il calendario può essere consultato nella pagina Eventi.

Prerequisiti

Per una completa e dettagliata comprensione degli argomenti trattati, è consigliato (anche se non strettamente necessario) che lo studente soddisfi i seguenti prerequisiti:

  • Familiarità con Markov Chains e/o Markov Decision Processes (MDPs);

  • Familiarità con il mondo del Machine Learning e Deep Learning (reti neurali, backpropagation, activation functions). La conoscenza di Pytorch e Python, pur non essendo necessaria, è consigliata per meglio comprendere il materiale fornito: capire un algoritmo significa infatti comprendere anche la sua implementazione pratica, riflettendo sulle oramai sempre maggiori differenze tra pratica e teoria nel mondo dell’Intelligenza Artificiale;

  • Familiarità con concetti base di Probabilità, quali ad esempio valori attesi (condizionati e non), Monte Carlo estimation. Tali argomenti verranno trattati nuovamente durante il corso ed applicati alla materia, ma una conoscenza preliminare è utile per meglio comprendere la filosofia che si nasconde dietro ai più comuni e performanti algoritmi in letteratura.

Relatori

I relatori sono tutti ex-studenti di Ingegneria Matematica e soci onorari di AIM.

  • Riccardo Brioschi

    • MSc in Data Science @ EPFL

    • Research Student in Causal Inference & NLP

    • Incoming Research Scientist Intern @ Google Research, Zurich

  • Federico Arangath

    • MSc in Applied Mathematics (Minor: Machine Learning) @ ETH

    • Research Student in Reinforcement Learning

    • Teaching Assistant nel Corso “Probabilistic Artificial Intelligence”

  • Matteo Hessel

    • Research Engineer @ Google DeepMind

    • Lecturer per il corso di Reinforcement Learning @ UCL

Materiale

Durante il corso, presenteremo contenuti e materiale provenienti da risorse e fonti diverse, tra le quali notiamo:

  • Slides dal Corso “Reinforcement Learning” @ EPFL;

  • Slides e dispense dal Corso “Probabilistic Artificial Intelligence” @ ETH;

  • Reinforcement Learning: An Introduction (Sutton & Barto);

  • Papers by Google DeepMind, Stanford, OpenAI.

Vota questo articolo
(5 Voti)
Devi effettuare il login per inviare commenti

Altro in questa categoria: