Control of Communication and Energy Networks (6 cfu) - Infostud Code: 1041429

Master Degree in Control Engineering

Instructor: Prof. Francesco Delli Priscoli

• Course objectives:
  The course aims at applying advanced dynamic control methodologies to networks/systems by adopting a technology-independent abstract approach that copes with the network/system control problem, leaving out of consideration the specific network/system technologies. The students will be able to design network control actions suitable for communication, energy, transport, security, health systems/networks.

• Course program:
  The first part of the course details the following methods: Markov Decision Process, Dynamic Programming, Reinforcement Learning (in particular, TD learning, Sarsa, Q-Learning), Machine Learning (k-means, clustering). Besides the theoretical aspect, the course considers the practical use of such methods for the control of communication, energy and trasport networks. Initially, the course reminds and refines control methodologies already introduced in previous courses, which are suitable for being applied in communication and energy networks.
  The second part of the course, held in constant synergy with the research projects funded by the European Union (i) provides an overview of up-to-date control problems related to communication, energy, transport, security and health, (ii) details how the control methods considered in the first part of the course, as well as other control methods introduced in previous courses (e.g., Model Predictive Control) can be used to solve the above-mentioned problems.

• Type of exam: Written questions on theoretical aspects plus evaluation of a project.

• Reference texts:
  

  • R.S. Sutton and A.G. Barto, "Reinforcement Learning: An Introduction", MIT Press, 1998

  • Christopher M. Bishop, "Pattern Recognition and Machine Learning", Springer, 2006.

  • Lecture notes mostly derived from deliverables produced by up-to-date EU research projects like: ATENA (UE FP8), SESAME (UE FP8), 5G ALLSTAR (UE FP8), 5G SOLUTIONS (UE FP8), ARIES (ESA), VADUS (ESA).

  ---

• Obiettivi del corso:
  Il corso mira ad applicare metodologie avanzate di controllo dinamico a sistemi/reti adottando un approccio astratto tecnologicamente indipendente che affronta il problema del controllo di rete/sistema, tralasciando le specifiche tecnologie di rete/sistema. Gli studenti saranno in grado di progettare azioni di controllo adatte alle reti/sistemi di comunicazione, energia, trasporto, sicurezza, salute.

• Programma del corso:
  La prima parte del corso dettaglia le seguenti metodologie: Markov Decision Process, Dynamic Programming, Reinforcement Learning (in particolare TD learning, Sarsa, Q-Learning), Machine Learning (k-means, clustering). Oltre all'aspetto teorico, si considera l'utilizzo pratico di tali metodologie per il controllo di reti/sistemi di comunicazione, energia, trasporto, sicurezza, salute.
  La seconda parte del corso, tenuta in costante sinergia con i progetti di ricerca finanziati dall'Unione Europea, (i) fornisce una panoramica sulle attuali problematiche di controllo relative a comunicazione, energia, trasporti, sicurezza e salute, (ii) dettaglia come i metodi di controllo considerati nella prima parte del corso, così come altri metodi di controllo introdotti nei corsi precedenti (es. Model Predictive Control) possono essere utilizzati per risolvere i problemi sopra menzionati.

• Modalità d'esame: Domanda scritta su aspetti teorici più valutazione di un progetto.

• Testi di riferimento:
  

  • R.S. Sutton and A.G. Barto, "Reinforcement Learning: An Introduction," MIT Press, 1998
  • Christopher M. Bishop, "Pattern Recognition and Machine Learning," Springer, 2006
  • Dispense derivanti dai Deliverables prodotti nell'ambito dei progetti di ricerca della UE. In particolare i progetti ATENA (UE FP8), SESAME (UE FP8), 5G ALLSTAR (UE FP8), 5G SOLUTIONS (UE FP8), ARIES (ESA), VADUS(ESA).