BLEU-dan COMET-ə: ərəb–türk audiovizual tərcüməsində ənənəvi və müasir qiymətləndirmə metriklərinin müqayisəli təhlili
Yasemin Yazal 
Xülasə. Tərcümə müasir dövrün əsas ehtiyaclarından biri kimi insanlar və mədəniyyətlər arasında mühüm ünsiyyət körpüsü rolunu oynayır. Tərcüməyə artan tələbat avtomatik tərcümə sistemlərinin inkişafını qaçılmaz etmiş və rəqəmsal dövrdə bu sistemlərin istifadəsi sürətlə genişlənmişdir. Bu sistemlər tərcümə prosesini daha sürətli həyata keçirməyə imkan versə də, onların çıxışları mədəni transfer, semantik ardıcıllıq, kontekstual adekvatlıq və ümumi mətn bütövlüyü baxımından hələ də müəyyən məhdudiyyətlər göstərə bilər. Bu səbəbdən maşın tərəfindən yaradılan tərcümələrin keyfiyyətini qiymətləndirmək üçün avtomatik qiymətləndirmə metrikləri getdikcə daha mühüm əhəmiyyət kəsb edir. Bu tədqiqat maşın tərcüməsinin qiymətləndirilməsində istifadə olunan ənənəvi metriklərin, yəni BLEU, ROUGE və METEOR-un, eləcə də müasir metriklərin, yəni BERTScore, LaBSE və COMET-in nəzəri və praktik baxımdan müqayisəli təhlilini təqdim edir. Ənənəvi metriklər əsasən namizəd və istinad mətnləri arasındakı səthi leksik uyğunluğa əsaslandığı üçün türk və ərəb kimi morfoloji baxımdan mürəkkəb dil cütlüklərində semantik və kontekstual ekvivalentliyin qiymətləndirilməsində məhdud qala bilər. Buna görə də tədqiqatın empirik hissəsi müasir qiymətləndirmə metrikləri vasitəsilə aparılan çoxdilli təhlilə yönəlmişdir. Nəticələr göstərir ki, Language Reactor altyazı tərcümələri mənbə mətnlə semantik uyğunluq baxımından müasir metriklərdə çox vaxt daha yüksək nəticələr əldə edir, insan tərcümələri isə mədəni transfer, axıcılıq və kontekstual təbiilik baxımından daha uğurlu nəticələr ortaya qoyur.
Açar sözlər: maşın tərcüməsi; COMET; BERTScore; LaBSE; language reactor