ҚАЗАҚ ТІЛІНДЕГІ МӘТІНДЕРДІ ТАЛДАУҒА АРНАЛҒАН МАШИНАЛЫҚ ОҚЫТУ ӘДІСТЕРІ

Аңдатпа

Мақалада қазақ тіліндегі мәтіндерді талдау үшін машиналық оқыту әдістерін қолдануға шолу берілген. Қарастырылып отырған әдістерге емлені автоматты түрде түзету, мәтіннің кілтін талдау, машиналық аударма және мәтіндерді жіктеу кіреді. Алгоритмдерді қазақ тілінің ерекше лингвистикалық ерекшеліктеріне бейімдеуге ерекше көңіл бөлінеді. Модельдердің дәлдігі мен өнімділігін арттыру үшін қажетті белгілерді алудың мамандандырылған әдістерін дамыту перспективалары талқыланады. Перспективалы бағыттардың бірі-мәтіндерді талдау үшін трансформаторларды қолдану. Бұл модельдер назар аудару механизмінің арқасында мәтіннің негізгі элементтерін ажырата алады, бұл әсіресе қазақ сияқты агглютинативті тілдер үшін өте маңызды. Аңғал Байес классификаторы-Байес теоремасына негізделген ықтималдық әдісі. Ол белгілердің тәуелсіздігін болжайды және мәтіннің белгілі бір санатқа жату ықтималдығын есептейді. Оның артықшылығы-жұмыстың қарапайымдылығы мен жоғары жылдамдығы, бірақ сөздер арасындағы күрделі тәуелділіктерде дәлдіктің жеткіліксіздігінен зардап шегуі мүмкін. Сөздердің күрделі морфологиялық құрылымдарын ескеру маңызды. Мысалы, lstm архитектурасына негізделген нейрондық желілер күрделі сөйлемдерде де жасырын эмоцияларды сәтті анықтай алады.