Local AI: realtà e limiti dell’inferenza locale nel 2026
Lingua:
Italiano
Track "AI Technologies"
Orario: 16:30
- 17:15
Abstract
Nel 2026 l’inferenza in locale resta un compromesso: meno margine di qualità, latenza e contesto rispetto ai servizi cloud. Eppure, i modelli open-weight eseguibili su hardware consumer migliorano a un ritmo sorprendentemente vicino a quello dello stato dell’arte. In questo talk confronto “ieri vs oggi” su chatbot, coding agent e immagini/video, spiego come sia stato possibile (MoE, attenzione ibrida, quantizzazioni intelligenti, distillazione...) e analizzo se il pattern “lo SOTA di ieri diventa il locale di oggi” è destinato a reggere o a scontrarsi con limiti pratici (memoria/VRAM, bandwidth, contesti lunghi).
