Completamente vs. parzialmente osservabile
Se un agente è in grado di accedere a tutte le informazioni necessarie sull’ambiente (perlomeno quelle di rilevanza per il problema) allora diciamo che l’ambiente è completamente osservabile, altrimenti lo è soltanto parzialmente. Naturalmente, la completezza/parzialità delle osservazioni è rilevante soltanto rispetto alle metriche che abbiamo deciso di utilizzare per misurare le performance dell’agente. Tipicamente, un ambiente parzialmente osservabile è tale a causa di dati mancanti/insufficienti dai da parte dei sensori utilizzati.
Ad agente singolo vs. multi-agente
Se l’agente viene posto in una situazione statica (per esempio un gioco individuale) in cui l’ambiente viene modificato soltanto dalle azioni dell’agente stesso allora diciamo che esso è inserito all’interno di un problema ad agente singolo, altrimenti, se sono presenti altri agenti che possono modificare a loro volta (in maniera autonoma) l’ambiente, allora si tratta di un problema multi-agente (dunque il nostro agente dovrà essere in grado di rispondere anche ai cambiamenti generati nel mondo da parte di altri agenti, ed eventualmente entrare in competizione/collaborazione con essi).
Deterministico vs. stocastico
Se il prossimo stato dell’ambiente è completamente determinato dallo stato corrente, allora l’ambiente è deterministico, altrimenti, se possiamo assegnare delle probabilità alle diverse possibili evoluzioni del mondo, diciamo che l’ambiente è stocastico.
Nel caso in cui l’ambiente non sia deterministico e non siamo in grado di assegnare delle probabilità agli eventi che possono succedere, allora siamo nel caso di ambiente incerto. Generalmente, nel caso di ambienti come quest’ultimo, ci si aspetta che un agente sia in grado di raggiungere i propri obiettivi per tutte le possibili ramificazioni della realtà ancora sconosciute, infatti il suo ruolo è proprio quello di saper rispondere ai mutevoli aspetti che il mondo può assumere.
Episodico vs. sequenziale
Nel caso di ambiente episodico l’agente è in grado di rappresentare il mondo secondo delle rappresentazioni atomiche, ovvero delle rappresentazioni in cui è visibile la realtà soltanto fino a un certo livello di complessità, oltre il quale diventa superfluo per l’agente conoscere ulteriori dettagli.
In un mondo atomico, le azioni dell’agente dipendono soltanto dallo stato corrente in cui esso si trova: le scelte che sono state prese negli istanti precedenti non sono più importanti per la risoluzione del problema attuale, che si può basare sulle sole osservazioni del mondo corrente. Tale approccio viene usato, ad esempio, nella risoluzione di problemi di classificazione.
In ambienti sequenziali, invece, le azioni dell’agente sono tutte legate tra loro e ogni decisione presa nell’istante corrente influenzerà poi tutte le scelte future che l’agente compirà.
Statico vs. dinamico
Un ambiente si dice statico se esso non cambia durante la deliberazione dell’agente, altrimenti, se l’agente deve reagire a modifiche dell’ambiente che non sono state generate da se stesso, allora l’ambiente è dinamico. Nel caso di ambienti statici è più facile gestire gli stati interni dell’agente, infatti non è necessario preoccuparsi del passare del tempo e del continuo controllo di ciò che accade nel mondo, cosa che è invece fondamentale nel caso di ambienti dinamici.
Nota bene: negli ambienti dinamici se l’agente non è in grado prendere una decisione, è come se avesse scelto di non svolgere alcuna azione.
Discreto vs. continuo
Un ambiente si dice discreto quando è composto da un numero finito di variabili, che, una volta osservate, specificano interamente il problema in questione. Per esempio, in molti giochi “a turni”, il mondo cambia in maniera discreta, magari a intervalli di tempo irregolari, ma comunque in maniera discreta. Sarà dunque necessario rivalutare lo stato del mondo soltanto dopo che si è conclusa un’azione—ovvero quando il mondo è nuovamente “fermo”.
In un ambiente continuo l’agente potrebbe invece continuare a studiare ciò che lo circonda per un tempo indeterminato (tutt’al più infinito!), dunque si rende necessario porre un limite alle osservazioni dopo una certa quantità di tempo, ovvero finché non si ritiene che ogni ulteriore variabile osservata abbia ormai importanza trascurabile rispetto alla risoluzione del problema. Bisogna infatti fare in modo che un agente di questo tipo non finisca per porre l’attenzione anche su dettagli insignificanti del mondo che non sono di beneficio per il problema, né utili per la comprensione del mondo (almeno nell’ambito del problema trattato).
Conosciuto vs. sconosciuto
La conoscenza/non-conoscenza di un ambiente non si riferisce allo stato del mondo (che si distingue infatti in completamente/parzialmente osservabile), ma è una descrizione della conoscenza (o ignoranza) del mondo da parte dell’agente.
Un ambiente potrebbe infatti essere conosciuto ma parzialmente osservabile (per esempio il gioco del solitario, dove tutte le possibili combinazioni di variabili sono conosciute, eppure non essendo visibili all’agente rendono il mondo sconosciuto), come anche sconosciuto e completamente osservabile (per esempio in un videogioco, dove si può vedere tutto il mondo ma ancora non si conoscono le possibili azioni che possono essere eseguite in esso).
Nel caso di ambiente sconosciuto, l’agente dovrà dunque imparare come funziona il mondo per poter navigare al suo interno.
In poche parole
✅ Completamente osservabile vs. parzialmente osservabile: L’ambiente è completamente osservabile se l’agente può accedere a tutte le informazioni rilevanti sull’ambiente, altrimenti è parzialmente osservabile.
✅ Singolo agente vs. multi-agente: Un problema è ad agente singolo se l’ambiente viene modificato solo dalle azioni dell’agente stesso, mentre è multi-agente se altri agenti possono autonomamente modificare l’ambiente.
✅ Deterministico vs. stocastico: Un ambiente è deterministico se il prossimo stato è completamente determinato dallo stato corrente, mentre è stocastico se ci sono probabilità associate alle diverse possibili evoluzioni dell’ambiente.
✅ Episodico vs. sequenziale: In un ambiente episodico, l’agente rappresenta il mondo attraverso rappresentazioni atomiche e le azioni future dipendono solo dallo stato corrente. In un ambiente sequenziale, le azioni sono connesse tra loro e influenzano le scelte future dell’agente.
✅ Statico vs. dinamico: Un ambiente statico non cambia durante la deliberazione dell’agente, mentre un ambiente dinamico richiede che l’agente reagisca a modifiche generate esternamente.
✅ Discreto vs. continuo: Un ambiente discreto ha un numero finito di variabili che specificano il problema, mentre un ambiente continuo potrebbe richiedere un tempo indefinito per esplorare tutte le variabili rilevanti.
✅ Conosciuto vs. sconosciuto: La conoscenza di un ambiente si riferisce alla descrizione della conoscenza dell’agente sul mondo. Un ambiente può essere noto ma parzialmente osservabile o sconosciuto ma completamente osservabile. In un ambiente sconosciuto, l’agente deve imparare come funziona il mondo per poter prendere decisioni all’interno di esso.