Tasniflovchilarni turli xil sinflar bilan taqqoslashning mos usuli qanday?

Til identifikatori uchun uchta tasniflovchi bor:

A: en, de, ru, fr, ij, kl
B: en, de, ru, fr, xy
C: en, de, ru, fr, no, pq, rs

va mening A sinflari bilan mos keladigan muvozanatli ma'lumotlar to'plami bor.

Bu klassifikatorlarni taqqoslashning adolatli usuli qanday?

Mening fikrlarim

  • Accuracy on classes of A: Not fair, because B can't possible recognize ij, kl and will likely make mistakes due to the fact that it knows language xy. (Similar for C)
  • Smallest common subset: Possible, but not so interesting as those are the "easy" classes.
  • Precision: Given a language the classifier knows, how often does it actually recognize it?
    • Unfair for C, as it has more possibilities to make mistakes. Probably this could be somehow compensated? E.g. if it recognizes a class which is not in A, just the next best is taken (until the correct class is predicted or a wrong class from A is preditected)

A klassifikatorini boshqa tasniflovchi bilan birgalikda foydalanish imkoniyati ham bo'lishi mumkin. Boshqa tasniflashchining katkısının og'irligi/ahamiyati (lekin o'lchanadigan bo'lsa) uning skorudur.

Shu kabi narsalarni qiladigan adabiyotlar bormi?

0
Men har bir til uchun ishlash ko'rsatkichlarini alohida hisoblayman, chunki turli xil tasniflagichlar turli subkeyslarda yaxshi ishlashi mumkin. Va nihoyat, bu savoldan qochish uchun ansambling haqida o'ylashingiz mumkin.
qo'shib qo'ydi muallif David, manba
Agar siz kaskad ni o'rnatishingiz mumkin, shuning uchun kengroq tasniflovchi shaxslar avval tilga tegishli tilni o'chirib qo'yishi mumkin. ansamblni umumiy mashg'ulotlarda bajarishdan oldin kamdan kam darslar. Yana bir variant - kichik sinflarga "noma'lum" sinf qo'shish. Faqatgina ba'zi fikrlarni sinab ko'rdim ...
qo'shib qo'ydi muallif David, manba
@Emre Lekin qanday ishlash ko'rsatkichlari? Hatto bitta klassifikator 10 sinfni, ikkinchisi esa 100 ni ajratib olsa, sinfga nisbatan aniqlik ham adolsizdir.
qo'shib qo'ydi muallif Dougal, manba
@Emre Ha, ansamblning ham men o'ylagan narsam. Misol uchun, ma'lumot uchun o'rnatilgan ma'lumotlar uchun juda oddiy modelni oling. Modellar prognozlarini birlashtirish uchun juda oddiy modelni oling. Bu asosiy ansambllarni klassifikatorga ko'ra aniqlik bilan etkazish. Keyinchalik, B ning A to'plami uchun yaxshi imkoniyat bo'lishi mumkin.
qo'shib qo'ydi muallif Dougal, manba
@Emre Birinchi qadamda, yaxshi tasniflagich yaratish istamayman, bu tizimlarni baholashni xohlayman. Shunday qilib, tasniflagichlarni o'zgartirish foydali bo'lmaydi.
qo'shib qo'ydi muallif Dougal, manba

Javob yo'q

0