Home » Intelligenza Artificiale » 📋 URL
Un metodo per ovviare la presenza del vanishing gradient è quello di utilizzare una struttura di rete nota come LSTM (Long-Short-Term Memory).
Le reti LSTM hanno la capacità di scegliere selettivamente quali informazioni trattenere per un tempo più lungo, aggiornando invece le informazioni che variano più velocemente.
L’unità fondamentale di un LSTM è la cella di memoria, composta da quattro principali componenti:
- Cell state (c): è la componente a lungo termine della rete, infatti lascia passare la maggior parte delle informazioni con molta facilità, facendo in modo che tali informazioni si propaghino nell’intera rete in maniera più veloce possibili
- Input gate (i): determina quante informazioni sono rilevanti—ovvero quali sono le informazioni che devono essere aggiunte allo stato della cella nel passaggio tra lo stato corrente e quello successivo
- Forget gate (f): determina quali informazioni dimenticare—ovvero quali sono le informazioni che possono essere tralasciate nel passaggio dallo stato corrente a quello successivo
- Output gate (o): determina quante informazioni trasmettere allo stato successivo dallo stato corrente
Nota bene: in una rete LSTM i gate hanno un range [0,\,1] e restituiscono un output sigmoide.
In poche parole
✅ LSTM (Long-Short-Term Memory) è una struttura di Neural Network che risolve il problema del vanishing gradient. Le reti LSTM riescono a trattenere selettivamente informazioni a lungo termine e aggiornare quelle che cambiano più rapidamente. L’unità fondamentale di un LSTM è la cella di memoria, composta da
- Cell state (stato della cella)
- Input gate (porta di ingresso)
- Forget gate (porta di dimenticanza)
- Output gate (porta di uscita)
✅ I gate controllano quali informazioni sono rilevanti, quali dimenticare e quanto trasmettere allo stato successivo.