Nel 2026, per la prima volta, si spende più per usare i modelli che per addestrarli: secondo Gartner l’inferenza vale il 55% della spesa in infrastruttura AI, e salirà al 59% nel 2027. Nello stesso anno, in un sondaggio Broadcom su 1.800 responsabili IT, il 56% delle aziende dice di far girare o voler far girare l’inferenza su cloud privato.
L’addestramento ha bisogno di enormi centri di calcolo concentrati. L’inferenza no: si può distribuire, vicino ai dati e a chi li usa. È il terreno di un data center piccolo, privato, alimentato dal sole.
Il costo per ottenere la stessa qualità scende ogni anno. Quello che nel 2024 richiedeva un grande cluster, nel 2026 sta in una macchina sola.