هل يخترع Whisper كلامًا لم يُقل؟ كيف تكتشفه

نعم، أحيانًا. تقول بطاقتا نموذجي OpenAI على Hugging Face إن مخرجات النموذج «قد تتضمن نصوصًا لم تُنطق فعلًا في الصوت»، وإنه عرضة لتكرار المخرجات. لا يحدث ذلك في كل تسجيل ولا نستطيع أن نقول كم مرة، لكن النص الذي يُقرأ بسلاسة لا يثبت أنه صحيح. والفحوص أدناه تكشف الحالات الشائعة، أما الحماية الحقيقية فأن تستمع إلى ما ستعتمد عليه.

ماذا تقول بطاقات النموذج؟

بطاقتا openai/whisper-small وopenai/whisper-large-v3 على Hugging Face تذكران التحذيرات نفسها: الهلوسة (نص غير موجود في الصوت)، وتكرارًا في المخرجات تخففه إعدادات فك الترميز ولا تزيله، وتفاوتًا في الأداء بين اللغات، واختلافًا بحسب اللهجة واللكنة. ونقلناها كما قالها مؤلفوها؛ ولم نقِس نسبة هلوسة ولا ننشر واحدة.

خمسة فحوص تكشف النص المخترع

1. الصمت والموسيقى. افتح التفريغ بالأوقات (Timestamps). أي سطر وقته في مقطع لا يتكلم فيه أحد يستحق الاستماع.
2. السطر نفسه مرارًا. عبارة تتكرر ثلاث مرات متتالية فأكثر هي الدوران الذي تصفه البطاقات. السكربت أدناه يجدها.
3. جملة سليمة لا تطابق الصوت. شغّل عشر ثوانٍ واقرأ معها. الجملة السليمة نحويًا التي تتكلم عن شيء آخر هي أخطر الأنواع.
4. الأسماء والأرقام والتواريخ. تبدو معقولة وهي خاطئة. قارن كلًّا منها بالصوت.
5. لغة خاطئة. نص بلغة لم يتكلم بها المتحدث، أو ترجمة غير متوقعة، يعني أن إعداد اللغة أو الكشف أخطأ؛ اختر اللغة بنفسك وأعد التشغيل.

سكربت يرصد الأسطر المكررة

import sys

# Flags a line that repeats three or more times in a row in a TXT or SRT transcript.
lines = [l.strip() for l in open(sys.argv[1], encoding="utf-8-sig") if l.strip()]
text = [l for l in lines if not l.isdigit() and "-->" not in l]   # drop SRT numbers and times
run = 1
for prev, cur in zip(text, text[1:]):
    run = run + 1 if cur == prev else 1
    if run == 3:
        print("repeated 3+ times:", cur)

احفظه باسم repeats.py وشغّل python repeats.py transcript.txt على ملف TXT أو SRT منزَّل. يتجاوز أرقام الأسطر وأسطر الأوقات ويطبع أي سطر تكرر ثلاث مرات متتالية. جرّبناه على ملف مصطنع فيه دوران متعمّد وعلى ملف بلا دوران. والتكرار إشارة إلى أن تستمع، لا دليل على خطأ؛ فقد يقول المتحدث الكلمة نفسها ثلاث مرات فعلًا.

كيف تقلّله؟

• تخطّي الصمت. في «Advanced options» (خيارات متقدمة) بالتطبيق خيار «Skip silence» (تخطّي الصمت) وهو مفعّل افتراضيًا؛ يمنع تفريغ الفترات الصامتة الطويلة.
• حدّد اللغة. الكشف يقرأ بداية الملف وقد يخطئ في المقاطع القصيرة أو الهادئة.
• اقصص الموسيقى أو الصمت الطويل من أول التسجيل قبل الرفع.
• إن بدأ دوران فأعد تفريغ ذلك الجزء وحده. اقتطعه في ملف قصير وفرّغه ثانية. لا نعد بأن ينفع، لكنها تجربة رخيصة.
• اقرأ أيضًا كيف تحسّن نتيجة تفريغ الصوت العربي.

متى يهم هذا أكثر؟

في كل ما يُقتبس أو يُنشر أو يدخل في أمر قانوني أو طبي أو مالي، اعتبر النص مسودة واطلب من إنسان أن يستمع إلى المواضع المهمة. ونسبة خطأ الكلمات تحسب الكلمات المضافة أيضًا، فالنص الذي يخترع كلامًا تسوء نسبته، لكنها لا تدلّك على أي أسطرك هي المخترعة. وللنسخة الإنجليزية: Does Whisper make things up?