Производственные системы машинного обучения: вопросы, которые следует задать

Этот урок посвящен вопросам, которые вам следует задать о ваших данных и модели в производственных системах.

Полезна ли каждая функция?

Вы должны постоянно следить за своей моделью, чтобы удалить функции, которые мало или совсем не влияют на прогнозирующую способность модели. Если входные данные для этой функции резко изменятся, поведение вашей модели также может резко измениться нежелательным образом.

Также рассмотрите следующий связанный вопрос:

• Оправдывает ли полезность этой функции затраты на ее включение?

Всегда есть соблазн добавить в модель больше функций. Например, предположим, что вы нашли новую функцию, добавление которой немного улучшает прогнозы вашей модели. Немного лучшие прогнозы, конечно, кажутся лучше, чем немного худшие; однако дополнительная функция увеличивает нагрузку на обслуживание.

Надежен ли ваш источник данных?

Несколько вопросов о надежности входных данных:

• Всегда ли сигнал будет доступен или он исходит из ненадежного источника? Например:
  • Сигнал исходит от сервера, который выходит из строя при большой нагрузке?
  • Сигнал исходит от людей, которые каждый август уезжают в отпуск?
• Изменяется ли когда-нибудь система, вычисляющая входные данные вашей модели? Если так:
  • Как часто?
  • Как вы узнаете, когда эта система изменится?

Рассмотрите возможность создания собственной копии данных, которые вы получаете от восходящего процесса. Затем переходите к следующей версии исходных данных только тогда, когда вы уверены, что это безопасно.

Является ли ваша модель частью цикла обратной связи?

Иногда модель может влиять на собственные данные обучения. Например, результаты некоторых моделей, в свою очередь, становятся (прямо или косвенно) входными признаками той же модели.

Иногда одна модель может влиять на другую модель. Например, рассмотрим две модели прогнозирования цен на акции:

• Модель A — плохая прогнозирующая модель.
• Модель Б.

Поскольку модель А содержит ошибки, она ошибочно решает купить акции акции X. Эти покупки приводят к росту цены акции X. Модель B использует цену акции X в качестве входного признака, поэтому модель B может прийти к некоторым ложным выводам о Таким образом, модель B может покупать или продавать акции акции X на основе ошибочного поведения модели A. Поведение модели B, в свою очередь, может повлиять на модель A, возможно, спровоцировав тюльпаноманию или падение акций компании X. запас.

Упражнение: Проверьте свое понимание.