حاسبة نسبة خطأ الكلمات (WER) مع تطبيع للعربية

كيف تُحسب النسبة

يُقسَّم النصان إلى كلمات بعد التطبيع، ثم تبحث الأداة عن أرخص طريقة لتحويل النص المفرَّغ إلى النص المرجعي: استبدال كلمة بأخرى أو حذف كلمة ناقصة من النص المفرَّغ أو إضافة كلمة زائدة، وكلٌّ منها يكلّف تعديلًا واحدًا. نسبة خطأ الكلمات هي مجموع التعديلات مقسومًا على عدد كلمات المرجع. أما نسبة خطأ الحروف فالعملية نفسها على الحروف، وتُحسب المسافات بين الكلمات حرفًا، فهي أكثر تسامحًا حين يخطئ المفرِّغ في حرف واحد من الكلمة، ومفيدة في لغات تلتصق فيها الزوائد بالكلمة.

the cat sat on the mat   (المرجع، 6 كلمات)
the cat sit on mat       (النص المفرَّغ)
=> استبدال واحد (sat→sit) + حذف واحد (the) = تعديلان / 6 كلمات = 33.3%

إذا تساوت تكلفة عدة محاذاة فضّلت الأداة المطابقة أو الاستبدال، ثم الحذف، ثم الإضافة. مجموع التعديلات لا يتغير بهذا الاختيار، وإنما قد يتغير توزيعه بين الاستبدال والحذف والإضافة.

خيارات التطبيع

• العربية: تحذف التشكيل (الفتحة والضمة والكسرة والشدة والسكون والتنوين وألف الخنجر) والتطويل، وتحوّل الألف بالهمزة أو بالمدّة (أ إ آ) إلى ألف مجردة، والألف المقصورة (ى) إلى ياء، والتاء المربوطة (ة) إلى هاء، وتستبدل بعلامات الترقيم مسافات. الأرقام والحروف في أي لغة تبقى.
• الإنجليزية: أحرف صغيرة، والشرطة تصير مسافة، ولا يبقى إلا a-z والأرقام والفاصلة العليا.
• لغات أخرى: أحرف صغيرة وحذف الترقيم والرموز في أي خط. هذا الخيار للراحة وليس جزءًا من قياساتنا.
• بلا تطبيع: تقسيم عند المسافات فقط، فيُعدّ اختلاف الحروف الكبيرة والترقيم والتشكيل خطأً.

خياران منها، العربية والإنجليزية، نقل حرفي لدالة normalise() في السكربت الذي أنتج الأرقام المنشورة في صفحة قياس سرعة التفريغ ودقته، وتجري اختباراتنا الدالتين على نحو ألف نص وتشترط تطابق النتائج. شرح الدالة العربية مع شيفرتها بلغة بايثون في مقال تطبيع النص العربي لحساب WER.

لماذا يغيّر التطبيع النتيجة؟

من غير تطبيع تُحسب «الأرضُ» و«الأرض» كلمتين مختلفتين، وكذلك «مدرسة» و«مدرسه»، فتقفز النسبة بسبب اختلاف الكتابة لا الكلمات الخاطئة. لذلك يطبّع الباحثون النص قبل القياس. ولا يوجد تطبيع واحد صحيح: قد تعدّ ورقة بحثية التاء المربوطة والهاء كلمة واحدة وأخرى لا تفعل، فلا تقارن رقمك برقم غيره إلا إذا تطابق التطبيع. اختر «بلا تطبيع» لترى الحساب الصارم.

ما لا تقوله هذه النسبة

تعامل النسبة كل الكلمات بالتساوي، فسقوط «لا» يكلّف كسقوط «إلى». ولا تقول شيئًا عن الترقيم أو أسماء المتحدثين بعد التطبيع. وهي بقدر المرجع: مرجع كُتب يدويًّا من تسجيل مضطرب فيه أخطاؤه. ونسبة على مقطع واضح لا تتنبأ بنسبة مكالمتك الهاتفية. ولتقرأ الشرح المبسّط افتح ما هي نسبة خطأ الكلمات WER وكيف تُحسب.

ملفات الترجمة

إن كان أحد النصين ملف SRT أو VTT فتُهمل أرقام المقاطع وأسطر التوقيت وتُقاس الكلمات وحدها. وإن أردت أن ترى النص العادي بنفسك أولًا فاستعمل أداة تحويل SRT إلى نص أو حذف الطوابع الزمنية.