Bagaimana saya boleh mentafsirkan perbezaan antara ketepatan pengesahan dan ujian?


Jawapan 1:

Untuk ketepatan A, saya fikir model anda berfungsi dengan baik. Saya menganggap anda menggunakan data pengesahan untuk melatih model A dan ujian data untuk menilainya. Oleh kerana ketepatan pengesahan dan ketepatan ujian kedua-duanya tinggi, boleh dikatakan bahawa model itu adalah cara yang terlatih. Walau bagaimanapun, saya mempunyai dua kebimbangan.

  1. Sekiranya anda memerlukan model dengan ketepatan yang lebih tinggi, anda perlu menyesuaikan hyperparameters untuk mendapatkan lebih baik. Pengajian yang diselia tidak semua tentang ketepatan. Jika ia adalah dua klasifikasi binari, anda harus mendapatkan kawasan ROC di bawah lengkung untuk melihat apakah ia mengalami masalah mengelaskan positif palsu. Jika anda mempunyai positif palsu yang tinggi, model itu tidak berguna.

Untuk B, saya fikir ia adalah lebih baik. Berlebihan berarti model Anda berfungsi dengan baik hanya pada data latihan dan pengesahan, dan bukan untuk data uji atau data baru yang tidak diketahui. Anda pasti mahu model yang lebih umum. Anda perlu mengetahui mengapa ia terlampau. Anda juga perlu menilai kawasan ROC di bawah lengkung juga.

http: //gim.unmc.edu/dxtests/roc3 ...

Mengatasi dan Tidak Setuju Dengan Algoritma Pembelajaran Mesin - Penguasaan Pembelajaran Mesin