Dzięki tej metodzie teoretycznie można mieć pewność, że zmiany w odpowiedzi wynikają z manipulowanego czynnika, ale czy na pewno?
Czy rozsądne jest założenie, że manipulując tylko jednym z czynników, można utrzymywać wszystkie inne na stałym poziomie?
Doświadczenie mówi nam, że jest to praktycznie niemożliwe (OFAT jest niepraktyczny).
Wyobraź sobie, że istnieje wiele możliwych czynników wpływających na odpowiedź procesu.
Jak długo potrwa OFAT, aby zidentyfikować krytyczne czynniki? (OFAT jest nieekonomiczny).
OFAT ma też jedną ogromną wadę, która powoduje, że usprawnianie procesów tą metodą jest ekstremalnie trudne.
Dzieje się tak dlatego, że w tym rodzaju eksperymentowania nie jesteś w stanie zidentyfikować interakcji.
Wyjaśnię to na przykładzie naszych reklam na Facebooku.
Czy jest możliwe, że efekt zmiany tytułu reklamy będzie zależał od innego czynnika? Np. od użytego zdjęcia albo wieku grupy docelowej lub zainteresowań?
Oczywiście, że tak! I ta sama sytuacja występuje we wszystkich procesach.
Gdyby dominowały tylko główne czynniki bez interakcji, życie byłoby znacznie łatwiejsze, a OFAT pozwalałby na szybką poprawę naszych procesów.
Poza wspomnianymi problemami OFAT ma ich o wiele więcej: małe pokrycie przestrzeni eksperymentalnej, brak informacji o kierunku pracy, suboptymalizacja, słaba precyzja w estymacji efektów, “słaby” model matematyczny, etc.
Czy możemy zatem zrobić coś lepszego?