Thử nghiệm

Thử nghiệm giúp dự án trở nên khả thi. Đó là các giả thuyết có thể kiểm thử và tái tạo. Khi chạy thử nghiệm, mục tiêu là cải thiện liên tục bằng cách đánh giá nhiều cấu trúc và tính năng của mô hình. Khi thử nghiệm, bạn nên làm những việc sau:

• Xác định hiệu suất cơ sở. Hãy bắt đầu bằng cách thiết lập chỉ số đường cơ sở. Đường cơ sở đóng vai trò là thước đo để so sánh các thử nghiệm.

  Trong một số trường hợp, giải pháp không sử dụng công nghệ học máy hiện tại có thể cung cấp chỉ số cơ sở đầu tiên. Nếu hiện không có giải pháp nào, hãy tạo một mô hình học máy có cấu trúc đơn giản, một vài tính năng và sử dụng các chỉ số của mô hình đó làm đường cơ sở.

• Thay đổi từng chút một. Mỗi lần chỉ thay đổi một chút, ví dụ: đối với các tham số siêu dữ liệu, cấu trúc hoặc tính năng. Nếu thay đổi này cải thiện mô hình, thì các chỉ số của mô hình đó sẽ trở thành đường cơ sở mới để so sánh với các thử nghiệm trong tương lai.

  Sau đây là ví dụ về các thử nghiệm chỉ thực hiện một thay đổi nhỏ:

  • bao gồm tính năng X.
  • sử dụng tỷ lệ loại bỏ 0,5 trên lớp ẩn đầu tiên.
  • lấy phép biến đổi logarit của đặc điểm Y.
  • thay đổi tốc độ học thành 0,001.

• Ghi lại tiến trình của các thử nghiệm. Rất có thể bạn sẽ phải thực hiện nhiều thử nghiệm. Các thử nghiệm có chất lượng dự đoán kém (hoặc trung tính) so với đường cơ sở vẫn hữu ích để theo dõi. Các lỗi này cho biết những phương pháp nào sẽ không hoạt động. Vì tiến trình thường không tuyến tính, nên điều quan trọng là bạn phải cho thấy rằng bạn đang giải quyết vấn đề bằng cách nêu bật tất cả các cách mà bạn nhận thấy không hiệu quả, ngoài tiến trình tăng chất lượng cơ sở.

Vì mỗi lần huấn luyện đầy đủ trên một tập dữ liệu thực tế có thể mất hàng giờ (hoặc vài ngày), nên hãy cân nhắc chạy đồng thời nhiều thử nghiệm độc lập để nhanh chóng khám phá không gian. Khi tiếp tục lặp lại, bạn sẽ ngày càng đạt được chất lượng cần thiết cho bản phát hành chính thức.

Độ nhiễu trong kết quả thử nghiệm

Xin lưu ý rằng bạn có thể gặp phải nhiễu trong kết quả thử nghiệm không phải do các thay đổi đối với mô hình hoặc dữ liệu, khiến bạn khó xác định liệu thay đổi mà bạn thực hiện có thực sự cải thiện mô hình hay không. Sau đây là ví dụ về những yếu tố có thể tạo ra nhiễu trong kết quả thử nghiệm:

• Đánh xáo dữ liệu: Thứ tự trình bày dữ liệu cho mô hình có thể ảnh hưởng đến hiệu suất của mô hình.

• Khởi tạo biến: Cách khởi tạo biến của mô hình cũng có thể ảnh hưởng đến hiệu suất của mô hình.

• Tính song song không đồng bộ: Nếu mô hình được huấn luyện bằng tính song song không đồng bộ, thì thứ tự cập nhật các phần khác nhau của mô hình cũng có thể ảnh hưởng đến hiệu suất của mô hình.

• Tập hợp đánh giá nhỏ: Nếu tập hợp đánh giá quá nhỏ, thì tập hợp này có thể không đại diện cho hiệu suất tổng thể của mô hình, tạo ra sự biến động không đồng đều về chất lượng của mô hình.

Việc chạy thử nghiệm nhiều lần giúp xác nhận kết quả thử nghiệm.

Điều chỉnh các phương pháp thử nghiệm

Nhóm của bạn phải hiểu rõ "thử nghiệm" là gì, cùng với một bộ phương pháp và cấu phần phần mềm được xác định. Bạn cần có tài liệu nêu rõ những thông tin sau:

• Cấu phần phần mềm. Cấu phần phần mềm là gì đối với một thử nghiệm? Trong hầu hết các trường hợp, một thử nghiệm là một giả thuyết đã được kiểm thử và có thể được tái tạo, thường là bằng cách ghi lại siêu dữ liệu (chẳng hạn như các tính năng và tham số siêu dữ liệu) cho biết những thay đổi giữa các thử nghiệm và mức độ ảnh hưởng của các thay đổi đó đến chất lượng mô hình.

• Phương pháp lập trình. Mọi người có sử dụng môi trường thử nghiệm riêng không? Bạn có thể (hoặc dễ dàng) hợp nhất công việc của mọi người vào thư viện dùng chung không?

• Khả năng tái tạo và theo dõi. Tiêu chuẩn về khả năng tái tạo là gì? Ví dụ: nhóm có nên sử dụng cùng một quy trình dữ liệu và các phương pháp tạo phiên bản hay chỉ hiển thị các biểu đồ là được? Dữ liệu thử nghiệm sẽ được lưu như thế nào: dưới dạng truy vấn SQL hay dưới dạng ảnh chụp nhanh mô hình? Nhật ký của từng thử nghiệm sẽ được ghi lại ở đâu: trong một tài liệu, bảng tính hoặc CMS để quản lý thử nghiệm?

Dự đoán không chính xác

Không có mô hình thực tế nào là hoàn hảo. Hệ thống của bạn sẽ xử lý các dự đoán sai như thế nào? Hãy bắt đầu suy nghĩ sớm về cách xử lý các vấn đề này.

Chiến lược theo các phương pháp hay nhất khuyến khích người dùng gắn nhãn chính xác cho các dự đoán không chính xác. Ví dụ: ứng dụng thư sẽ ghi lại email bị phân loại sai bằng cách ghi lại thư mà người dùng di chuyển vào thư mục thư rác, cũng như ngược lại. Bằng cách thu thập nhãn giá trị thực tế từ người dùng, bạn có thể thiết kế các vòng phản hồi tự động để thu thập dữ liệu và huấn luyện lại mô hình.

Xin lưu ý rằng mặc dù các bản khảo sát được nhúng trong giao diện người dùng thu thập ý kiến phản hồi của người dùng, nhưng dữ liệu này thường mang tính chất định tính và không thể được đưa vào dữ liệu huấn luyện lại.

Triển khai giải pháp toàn diện

Trong khi nhóm của bạn đang thử nghiệm mô hình, bạn nên bắt đầu xây dựng các phần của quy trình cuối cùng (nếu có đủ tài nguyên).

Việc thiết lập các phần khác nhau của quy trình (chẳng hạn như nhập dữ liệu và huấn luyện lại mô hình) giúp bạn dễ dàng chuyển mô hình cuối cùng sang môi trường sản xuất. Ví dụ: việc có một quy trình toàn diện để nhập dữ liệu và phân phát dự đoán có thể giúp nhóm bắt đầu tích hợp mô hình vào sản phẩm và bắt đầu tiến hành thử nghiệm người dùng ở giai đoạn đầu.

Khắc phục sự cố về dự án bị đình trệ

Bạn có thể gặp phải trường hợp tiến trình của dự án bị đình trệ. Có thể nhóm của bạn đang nỗ lực thực hiện một thử nghiệm đầy hứa hẹn nhưng không thành công trong việc cải thiện mô hình trong nhiều tuần. Bạn nên làm gì? Sau đây là một số phương pháp có thể áp dụng:

• Chiến lược. Bạn có thể cần phải định hình lại vấn đề. Sau khi dành thời gian cho giai đoạn thử nghiệm, có thể bạn sẽ hiểu rõ hơn về vấn đề, dữ liệu và các giải pháp có thể áp dụng. Khi có kiến thức sâu hơn về miền, bạn có thể xác định vấn đề chính xác hơn.

  Ví dụ: ban đầu, có thể bạn muốn sử dụng hồi quy tuyến tính để dự đoán giá trị số. Rất tiếc, dữ liệu không đủ tốt để huấn luyện một mô hình hồi quy tuyến tính khả thi. Có thể việc phân tích thêm sẽ cho thấy vấn đề này có thể được giải quyết bằng cách dự đoán xem một ví dụ có cao hơn hay thấp hơn một giá trị cụ thể. Điều này cho phép bạn định hình lại vấn đề dưới dạng một vấn đề phân loại nhị phân.

  Nếu tiến trình diễn ra chậm hơn dự kiến, đừng bỏ cuộc. Việc cải tiến dần theo thời gian có thể là cách duy nhất để giải quyết vấn đề. Như đã lưu ý trước đó, đừng mong đợi tiến trình sẽ giống nhau giữa các tuần. Thông thường, việc tạo phiên bản mô hình sẵn sàng để sản xuất sẽ mất nhiều thời gian. Việc cải thiện mô hình có thể không đều đặn và khó dự đoán. Các giai đoạn tiến trình chậm có thể được theo sau bằng sự cải thiện đột biến hoặc ngược lại.

• Kỹ thuật. Dành thời gian chẩn đoán và phân tích các dự đoán không chính xác. Trong một số trường hợp, bạn có thể tìm thấy vấn đề bằng cách tách riêng một vài dự đoán sai và chẩn đoán hành vi của mô hình trong những trường hợp đó. Ví dụ: bạn có thể phát hiện vấn đề về cấu trúc hoặc dữ liệu. Trong các trường hợp khác, việc thu thập thêm dữ liệu có thể hữu ích. Bạn có thể nhận được tín hiệu rõ ràng hơn cho biết bạn đang đi đúng hướng hoặc tín hiệu đó có thể tạo ra nhiều tạp âm hơn, cho biết có các vấn đề khác tồn tại trong phương pháp này.

  Nếu bạn đang giải quyết một vấn đề cần có tập dữ liệu được gắn nhãn thủ công, thì bạn có thể khó có được tập dữ liệu được gắn nhãn để đánh giá mô hình. Tìm tài nguyên để lấy các tập dữ liệu mà bạn cần cho việc đánh giá.

Có thể không có giải pháp nào. Đặt thời gian cho phương pháp của bạn, dừng lại nếu bạn chưa đạt được tiến trình trong khung thời gian. Tuy nhiên, nếu bạn có một câu nhận định rõ ràng về vấn đề, thì có thể bạn cần phải tìm giải pháp.

Kiểm tra mức độ hiểu biết