Java'da so'zlarni ajratish uchun qaysi kutubxonadan foydalanishim mumkin?

Men juda ko'p toifadagi (sana, yil, vaqt, ismlar, punktuatsiya, elektron pochta va hokazo) so'zlarga mos keladigan so'zlarni topishga harakat qilaman. Buni (va ishlagan) aniqlash uchun o'z kodimni yaratganman, lekin ANTLR va JavaCC kabi kutubxonalarni topdim.

Men nima qilmoqchiman bu kutubxonalar uchun taksirmi? Agar ha bo'lsa, nima qilishim kerak, agar bo'lmasa, buning uchun foydalanishim mumkin bo'lgan biror narsa bormi?

Tavsiyalar nimani anglatadi? JavaCC, ANTRL, yana bir nechta? JavaCC ning ba'zi bir sinflarni tashkil etayotganini ko'ryapman, lekin tokenizatsiya qilishni xohlamayotgan narsalar bor.

0
Agar Jython dan foydalanish imkoniyati mavjud bo'lsa, buni NLTK dan foydalanishingiz mumkin (va shuning uchun uni java loyihangizda ishlatishingiz mumkin)
qo'shib qo'ydi muallif Arnab Datta, manba

1 javoblar

Sizga kerak bo'lgan ajralish qudratiga qanchalik bog'liq. Agar siz juda kuchli (JavaCC yoki ANTLR kabi) narsalarga muhtoj bo'lsangiz, ular bilan boring va o'zingizni qilish uchun ko'p vaqt sarflamang.

Agar siz oddiy bir narsaga muhtoj bo'lsangiz, unda oddiy so'zni terish tekshirgichini yaratishingiz mumkin. Muntazam Java'da ifodalar yoki ehtimol hatto StringTokenizer (agar sizning namunangiz juda sodda bo'lsa).

2
qo'shib qo'ydi
Ha, menimcha kuchli narsa kerak, tabiiy tillarni qayta ishlashga tayyorman. Savolimda bergan misollar kabi narsalarni aniqlay olamanmi?
qo'shib qo'ydi muallif Renato Dinhani, manba
Ha, juda ko'p NLP kutubxonalarini o'rgandim, ammo ular izlayotgan narsa emas. Taqqoslash bu taksichim faqat katta jarayonning bir qismidir. Men bu kutubxonalar endi menga ko'proq yordam beradi.
qo'shib qo'ydi muallif Renato Dinhani, manba
Tabiiy tilni qayta ishlash, tarixni, ismlarni va hokazolarni topishdan ko'ra ko'proq chuqurroq mavzudir. NLP nafaqat til elementlarini emas, balki tilning mazmuni va niyatini ham o'z ichiga oladi. NLP uchun ushbu muammoni hal etish uchun mo'ljallangan API/kutubxonalarni qidirishni xohlaysiz.
qo'shib qo'ydi muallif jefflunt, manba