Fine tuning va Transfer-learning o'rtasidagi farq nimani anglatadi?

Odatda neyron tarmoqlarini o'qitish kamida 2 bosqichga ega:

  1. Birinchidan, ba'zi bir standart ma'lumotlarni (ImageNet, ...) keng doiradagi o'rgatilgan
  2. va natijada olingan og'irliklar ma'lumotlarimning kichik bir to'plami bo'yicha tayyorlanadi (bu bosqichda biz barcha qatlamlarni yoki faqat bitta oxirgi qavatni o'rgatyapmiz)

Ikkinchi qadamning aynan qaysi biri - bu Fine tuning yoki Transfer-learning? Fine tuning va Transfer-learning o'rtasidagi farq nima?

1

2 javoblar

Umuman olganda, men buni transferni o'rganish yoki tarmoqni moslashtirish deb atayman. Ya'ni, bitta domendan foydali xususiyatlarni o'rgandi va ushbu tarmoqni va uning rivojlangan xususiyatlarini boshqa domenga moslashtiradigan tarmoqni olaman.

Buning ustiga, ko'p manbalarga ega ekanligini ko'rdik. transferni o'rganish bilan nozik sozlashni chambarchas bog'lang. Shu sababli, atamalardagi farq, asosan, fikrga asoslangan va bu masala bo'yicha ushbu savolning yopilishi kerakligini aytaman.

1
qo'shib qo'ydi
Siz, albatta, xohlagan narsani xohlaysizmi. Sizning natijangizga to'liq rioya qilish va/yoki natijalarni ko'paytirish uchun boshqalarga muhtoj bo'lganingiz qanchalik ko'p bo'lsa, shunga qaramay, siz noaniq sharoitlarga tayanmasdan emas, balki siz nima qilganingizni aniq belgilashingiz kerak.
qo'shib qo'ydi muallif Karl, manba
Rahmat. O'qish-o'rganish va nozik xil sozlamalar o'rtasida hech qanday farq yo'qmi? Men shuni xohlayman: transfer-o'rganish - faqat oxirgi qatlamni o'zgartirsam (va boshqa qatlamlarga tegmaslik).
qo'shib qo'ydi muallif rickumali, manba

Aniq sozlash - bu o'qitilgan model parametrlarini juda aniq qilib sozlash jarayonidir, shu bilan birga biz ushbu modelni poezdga tegishli bo'lmagan kichik ma'lumotlar majmuini hisobga olgan holda tekshirishga harakat qilamiz. Ushbu kichik tekshiruv ma'lumotlarining to'plami modelni o'qitish uchun foydalaniladigan ma'lumotlar to'plami bilan bir xil taqsimotdan kelib chiqadi. Mavjud ma'lumotlarning poezd va tekshiruvlar to'plami tasodifiydir. Transferni o'rganish yoki domeni moslashuvi poezd va test to'plamining taqsimlanishidagi farq bilan bog'liq. Ya'ni, bu nozik sozlashdan ko'ra kengroqdir, demak, biz poezd va testning turli taqsimotlardan kelib chiqqanligini bilamiz va biz bu muammoni bir necha usullar bilan bir xil turdagi farqlarga qarab kurashishga harakat qilmoqdamiz. Parametrlar (odatda, biz buning oqibatlarini sababli qilmishning oldini olish kabi qilamiz)

1
qo'shib qo'ydi
Rahmat! Shunday qilib, biz bitta dataset bo'lsa va tasodifiy ta'lim (90%) va validatlash (10%) ma'lumotlar majmuasiga ajratib qo'yadigan bo'lsak, namuna faylini tayyorlash-dataset bilan o'rgating va bundan keyin biz xuddi shu modelni tekshirish-dataset bilan fayl - bu Fine tuning . Lekin biz model faylini 1 dataset bilan o'rgatsak va bundan keyin biz bir xil model faylni 2 dataset (sinflar/rasmlarni boshqa taqsimlash bilan yoki boshqa ma'lumotlar bilan taqqoslash mumkin) - bu Transferni o'rganish yoki domenga moslash. . Lekin biz aniq sozlash uchun ayrim qatlamlarni muzlatishimiz kerakmi?
qo'shib qo'ydi muallif rickumali, manba