قياس برنامج تحاوري دون خداع النفس

تقيس معظم تقارير المراسلة الشبكةَ وتسمّي ذلك نتيجة. معدلات تسليم فوق التسعين، ونسب فتح تبدو جيدة، ورقم إيراد يُنسب إلى «العملاء الذين تلقوا رسالة» — ولا سبيل لمعرفة كم منهم كان سيفعل الشيء نفسه على أي حال. وحين يسأل مسؤول رفيع «كيف تعرف أنه نجح؟» يكون الجواب الصادق غالباً «لا نعرف». يقدّم هذا المقال منهجاً من خمس خطوات يُنتج جواباً أفضل، ومثالاً تطبيقياً على الحساب.

لا التفاعل. ولا الوصول. بل حدث واحد، مُسجَّل أصلاً في مكان آخر من نشاطك، يسرّك أن تُكثر منه: موعد حضره العميل، أو فاتورة سُدّدت، أو تجديد اكتمل، أو تذكرة حُلّت دون تواصل ثانٍ.

فإن لم تستطع تسمية واحدة، فالبرنامج بلا غرض بعد، ولن يوفّره أي قياس.

اختر عشوائياً حصة من المجتمع المؤهل ولا ترسل إليهم شيئاً، وقِس النتيجة نفسها في المجموعتين. وكل ما عدا ذلك في هذا المقال تحسين؛ أما هذا فهو القياس.

• اختر عشوائياً لكل شخص لا لكل شريحة. فالتقسيم على مستوى الشرائح يستورد كل فروقها إلى النتيجة. وإن اختلفت الشرائح كثيراً، فاختر عشوائياً داخل كل منها.
• أبقِها دائمة. فمجموعة ضابطة تعمل ربعاً واحداً تخبرك عن ذلك الربع.
• حدّد حجمها بحسب الأثر الذي يهمك. كبيرة بما يكفي لكشف فرق يستحق التصرف، وصغيرة بما يجعل الإيراد الفائت مقبولاً. ومن خمسة إلى عشرة في المئة نقطة بداية شائعة للبرامج الكبيرة؛ والبرامج الصغيرة تحتاج حصة أكبر أو مدة أطول.

وللاعتراضات المعتادة أجوبة. «نتنازل عن إيراد.» مبلغ صغير معلوم، لتعرف إن كان الباقي حقيقياً. «شرائحنا مختلفة جداً.» اختر عشوائياً داخل الشريحة؛ فالعشوائية توازن ما لم تفكر في ضبطه، وهو معظمه.

مُرسلة، ومُسلَّمة، ومرئية، ومُردّ عليها، ومُنجَز إجراؤها. اعرض كل مرحلة كنسبة من السابقة، والنتيجة النهائية كنسبة من المُرسل لا المُسلَّم. فاستخدام المُسلَّم مقاماً أشيع طريقة يجامل بها تقرير نفسه، لأنه يحذف بالضبط الإخفاقات التي تحتاج رؤيتها أكثر.

ولاحظ أن «مرئية» تعني أشياء مختلفة بحسب القناة: واتساب وRCS يعيدان إشعارات قراءة (يستطيع المستخدم إيقافها)، والرسائل القصيرة لا تعيد شيئاً. فلا تحسب متوسطاً عبر القنوات كأنه قياس واحد.

الإيراد يتحرك أخيراً، وحين يتحرك يكون السبب قد مضى عليه أشهر. وهذه تتحرك أولاً:

نوافذ الإسناد خيار لا حقيقة. ونماذج اللمسات المتعددة افتراضات ترتدي رسماً بيانياً. ومقارنات القنوات عبر جماهير مختلفة ليست مقارنات. والتقرير الموثوق فيه قسم قصير يعدّد ما لا يثبته — الإسناد عبر القنوات، وأثر العلامة على المدى الطويل، والأثر على من لم يفتحوا الرسالة. وهذا القسم هو ما يجعل الباقي قابلاً للتصديق.

شركة مرافق ترسل تذكير دفع عبر واتساب أو الرسائل القصيرة قبل استحقاق الفاتورة بثلاثة أيام.

• المؤهلون: 100,000 عميل. المجموعة الضابطة: 5,000 مختارون عشوائياً لا يتلقون شيئاً. المُراسَلون: 95,000.
• النتيجة: سداد الفاتورة في موعدها.
• الحصيلة: سدّد 88.0% من المُراسَلين في الموعد، و85.5% من المجموعة الضابطة.

• الأثر: 2.5 نقطة مئوية، أي نحو 2,375 دفعة إضافية في موعدها (95,000 × 0.025).
• الكلفة: 95,000 رسالة. فإن كلّفت كل منها بضعة سنتات، فالسعر الحقيقي للبرنامج هو الإجمالي مقسوماً على 2,375 — لا على 95,000، ولا قطعاً على 83,600 ممن سدّدوا.

والنتيجة الأهم هي المزعجة: معظم من سدّدوا كانوا سيسدّدون على أي حال. وهذا ليس فشلاً في القياس؛ بل هو القياس. ويقود عادةً إلى إرسال تذكيرات أقل وأدق استهدافاً — مثلاً لمن تأخروا سابقاً فقط — ما يخفض الكلفة ويرفع الأثر لكل رسالة.

• هل أستطيع تصدير كل حدث رسالة (مرسلة، مسلّمة، مقروءة، مردود عليها، فاشلة) بمعرّف العميل الخاص بي وبالتوقيت؟
• ماذا تعني «مسلّمة» بالضبط على كل قناة، ومتى لا يتوفر إشعار القراءة؟
• هل تستطيع منصتكم استبعاد حصة عشوائية من جمهور، وهل يُسجَّل الاختيار لكل شخص؟
• هل ستحسبون النتائج نسبةً إلى الإرسال، أم إلى معدلات التسليم والنقر فقط؟

تبدأ حجة القمع في معدل التسليم ليس نتيجة. ولقراءة أرقام الآخرين بالشك نفسه، اقرأ ما يختلف عليه المحللون؛ ولتضمين حقوق القياس في الاتفاقية، انظر تقييم عقد CPaaS.