تست A/A در واقع زیرمجموعه‌ای از تست A/B، برای بررسی دو نسخه یکسان از یک صفحه در برابر یکدیگر است. به طور معمول این کار را برای این انجام می‌دهیم که بفهمیم ابزار مورد استفاده برای اجرای تست از نظر آماری کاملا عادلانه عمل کرده است یا نه. در تست A/A، اگر بررسی به درستی انجام شده باشد، ابزار نباید هیچ اختلافی را در نرخ تبدیل بین نمونه کنترل و نمونه متغیر گزارش دهد.
اهمیت تست A/A چیست؟
چرا میخواهید تستی را اجرا کنید که متغیرها و ثابت‌ها یکسان باشند؟
در بعضی موارد ممکن است بخواهید از این تست برای بررسی تعداد تبدیل‌ها در صفحه‌ای استفاده کنید یا میخواهید نرخ تبدیل پایه را قبل از شروع تست A/B یا تست چند متغیره تعیین کنید.
در بیشتر موارد دیگر، تست A/A روشی برای بررسی بیشتر میزان اثربخشی و دقت نرم‌افزار تست A/B است. شما باید بررسی کنید که آیا نرم افزار اختلاف آماری معنی داری (بیشتر از 95 درصد) را بین کنترل و متغیر گزارش می‌دهد یا نه. اگر نرم افزار اختلاف آماری معنی داری را گزارش دهد، به این معنی است که مشکلی وجود دارد و شما باید چک کنید که آیا نرم‌افزار به‌درستی روی وب سایت یا اپلیکیشن موبایل شما پیاده‌سازی شده است یا خیر.
مواردی که باید در اجرای تست A/A به‌یاد داشته باشید
- بسیار مهم است که هنگام اجرای تست A/A ، دقت کنید که همیشه احتمال پیدا شدن اختلاف در نرخ تبدیل میان صفحات کنترل و تست یکسان وجود دارد. این مورد لزوما نشان‌دهنده ضعف پلتفرم تست A/B نیست، زیرا همیشه ممکن است یک عنصر تصادفی در حین تست وجود داشته باشد.
- هنگام اجرای تستA/B ، به یاد داشته باشید که اهمیت آماری نتایج شما صرفا یک احتمال است و نمی‌تواند حتمی باشد. حتی سطح اهمیت آماری بیش از 95 درصد نشان می‌دهد که به احتمال 1 در 20، نتایجی که می‌بینید تصادفی باشد. در بیشتر موارد، تست A/A باید گزارش دهد که بهبود تبدیل میان کنترل و متغیر از نظر آماری بی‌نتیجه است زیرا واقعیت این است که چیزی برای یافتن وجود ندارد.
موتور آماری Optimizely و تست A/A
در بیشتر موارد هنگام اجرای تست A/A توسط Optimizely، می‌توان انتظار غیر قطعی بودن نتایج تست را داشت، به این دلیل که اختلاف نرخ تبدیل میان متغیرها اختلاف آماری لازم را کسب نکرده است. در حقیقت تعدادی از تستهای A/A نشان می‌دهند که نتایج غیر قطعی حداقل به اندازه آستانه اهمیت تعیین شده در تنظیمات پروژه شما خواهد بود (به طور پیشفرض 90 درصد).
با این حال در بعضی موارد ممکن است مشاهده شود که یک متغیر نسبت به متغیرهای دیگر متفاوت است یا حتی ممکن است برنده‌ای برای یکی از اهداف شما اعلام شود. نتیجه قطعی در این تست کاملاً تصادفی رخ می‌دهند و اگر شما آستانه اهمیت خود را روی 90 درصد قرار داده باشید، فقط در 10 درصد موارد باید اتفاق بیفتد. اگر آستانه اهمیت شما بیشتر باشد (مثلاً 95درصد)، احتمال اینکه با یک تست قطعی A/A روبرو شوید حتی کمتر(5 درصد) است.
