Sistemi di ML di produzione: domande da porsi

Questa lezione si concentra sulle domande che dovresti porti sui tuoi dati e sul tuo modello nei sistemi di produzione.

Ogni funzionalità è utile?

Devi monitorare continuamente il modello per rimuovere le funzionalità che contribuiscono poco o nulla alla capacità predittiva del modello. Se i dati di input per la funzionalità cambiano improvvisamente, anche il comportamento del modello potrebbe cambiare improvvisamente in modi indesiderati.

Prendi in considerazione anche la seguente domanda correlata:

  • L'utilità della funzionalità giustifica il costo di inclusione?

È sempre allettante aggiungere altre funzionalità al modello. Ad esempio, supponiamo che tu trovi una nuova funzionalità la cui aggiunta migliori leggermente le previsioni del tuo modello. Le previsioni leggermente migliori sembrano certamente migliori di quelle leggermente peggiori, ma la funzionalità aggiuntiva aumenta il carico di manutenzione.

L'origine dati è affidabile?

Alcune domande da porre sull'affidabilità dei dati inseriti:

  • L'indicatore sarà sempre disponibile o proviene da una fonte non attendibile? Ad esempio:
    • Il segnale proviene da un server che si arresta in modo anomalo sotto un carico elevato?
    • Il segnale proviene da persone che vanno in vacanza ogni agosto?
  • Il sistema che calcola i dati di input del modello cambia mai? In questo caso:
    • Con che frequenza?
    • Come farai a sapere quando il sistema cambia?

Valuta la possibilità di creare una tua copia dei dati che ricevi dal processo precedente. Passa alla versione successiva dei dati di upstream solo quando hai la certezza che sia sicuro farlo.

Il tuo modello fa parte di un ciclo di feedback?

A volte un modello può influire sui propri dati di addestramento. Ad esempio, i risultati di alcuni modelli diventano a loro volta (direttamente o indirettamente) funzionalità di input per lo stesso modello.

A volte un modello può influire su un altro modello. Ad esempio, considera due modelli per la previsione dei prezzi delle azioni:

  • Modello A, che è un modello predittivo scadente.
  • Modello B.

Poiché il modello A presenta dei bug, decide erroneamente di acquistare azioni di Stock X. Questi acquisti fanno aumentare il prezzo dell'azione X. Il modello B utilizza il prezzo della risorsa X come caratteristica di input, pertanto può trarre alcune conclusioni sbagliate sul valore della risorsa X. Il modello B potrebbe quindi acquistare o vendere azioni di Azione X in base al comportamento con bug del modello A. Il comportamento del modello B, a sua volta, può influire sul modello A, eventualmente attivando una tulip mania o un calo delle azioni della società X.

Esercizio: verifica di aver compreso

Quali tre dei seguenti modelli sono soggetti a un loop di feedback?
Un modello di previsione del traffico che prevede le ingorghi alle uscite dell'autostrada vicino alla spiaggia, utilizzando il numero di persone sulla spiaggia come una delle sue funzionalità.
Alcuni bagnanti potrebbero basare i propri piani sulla previsione del traffico. Se la spiaggia è affollata e si prevede un traffico intenso, molte persone potrebbero fare piani alternativi. Ciò potrebbe ridurre la presenza sulla spiaggia, con una conseguente previsione di traffico più ridotto, che potrebbe poi aumentare la presenza e il ciclo si ripete.
Un modello di consigli sui libri che suggerisce romanzi che potrebbero piacere ai suoi utenti in base alla loro popolarità (ovvero al numero di volte in cui i libri sono stati acquistati).
I consigli sui libri hanno maggiori probabilità di aumentare gli acquisti e queste vendite aggiuntive verranno reintrodotte nel modello come input, aumentando la probabilità di consigliare gli stessi libri in futuro.
Un modello di ranking delle università che valuta gli istituti in parte in base alla loro selezionatività, ovvero la percentuale di studenti che hanno presentato domanda e sono stati ammessi.
I ranking del modello possono suscitare un maggiore interesse per le scuole con il punteggio più alto, aumentando il numero di richieste di iscrizione che ricevono. Se queste scuole continuano ad ammettere lo stesso numero di studenti, la selezione aumenterà (la percentuale di studenti ammessi diminuirà). Ciò migliorerà il ranking di queste scuole, aumentando ulteriormente l'interesse dei potenziali studenti e così via.
Un modello dei risultati elettorali che prevede il vincitore di una competizione per la carica di sindaco dopo aver intervistato il 2% degli elettori al termine delle votazioni.
Se il modello non pubblica la sua previsione fino al termine delle elezioni, non è possibile che le sue previsioni influenzino il comportamento degli elettori.
Un modello di valore degli immobili che prevede i prezzi delle case utilizzando come caratteristiche le dimensioni (area in metri quadrati), il numero di camere da letto e la posizione geografica.
Non è possibile modificare rapidamente la posizione, le dimensioni o il numero di camere di una casa in risposta alle previsioni dei prezzi, il che rende improbabile un ciclo di feedback. Tuttavia, potrebbe esserci una correlazione tra le dimensioni e il numero di camere da letto (le case più grandi hanno più stanze) che potrebbe dover essere distinta.
Un modello di attributi del viso che rileva se una persona sorride in una foto. Il modello viene addestrato regolarmente su un database di fotografia stock aggiornato automaticamente ogni mese.
Non è presente un ciclo di feedback, in quanto le previsioni del modello non hanno alcun impatto sul database di foto. Tuttavia, la gestione delle versioni dei dati di input è un problema, in quanto questi aggiornamenti mensili potrebbero avere effetti imprevisti sul modello.
Indietro
Monitoraggio delle pipeline (15 min)
Avanti
Verifica le tue conoscenze (15 min)