Як чесно виміряти AI-видимість: вибірка і похибка

Одна відповідь ШІ — це один вимір із шумного процесу. Ставтеся до неї як до опитування, а не табло, — інакше ганятиметеся за змінами, що є лише шумом.

Одна відповідь — одна проба

Поставте те саме питання двічі — і асистент може назвати різні бренди. Ця варіативність нормальна: відповідь генерується, а не шукається. Тож будь-яка одна перевірка — це проба розміру один, і поява (чи ні) бренду в ній сама по собі доводить мало.

Чесна одиниця — частота по багатьох промптах і повторах: «згадали в 15% зі 120 перевірок», де 120 показано. Дайте число без розміру вибірки — і люди переоцінять підкидання монетки.

Коли зміна реальна

Дві перевірки в різний час відрізнятимуться. Перш ніж називати це трендом, спитайте: чи різниця більша за похибку для вашої вибірки? Стрибок з 14% до 17% на малій вибірці — зазвичай шум; так і позначте, а не видавайте за ріст. Answerly навмисно маркує зміни в межах похибки як «≈ шум».

Чого не можна вигадувати

Не вигадуйте конкурентів, яких модель лише зґалюцинувала (фейкові «X ТОВ», цитовані через maps-лінк), не звітуйте про цитування, яке не можете показати, і не обіцяйте розміщення. Натомість показуйте невизначеність. Цифри, які можна захистити перед клієнтом, кращі за вражаючі, яких не можна.