Pierwsze części artykułu znajdziesz tutaj:
Co sprawia że wnioski z doe sprawdzą się praktyce?
Kiedy mamy już matrycę eksperymentu, czyli przepis na przeprowadzenie DOE, musimy zastanowić się, jak podejść do jego realizacji. Zawsze pozostaną czynniki, którymi podczas DOE nie będziemy manipulować – dlatego jeszcze przed rozpoczęciem eksperymentu warto przemyśleć, co z nimi zrobimy.
Przykładowo, jednym z nietestowanych czynników w tym DOE jest wielkość jajka. Musimy zdecydować, czy wykonamy eksperyment dla jednej wielkości jajek, czy też użyjemy jajek w różnych rozmiarach. Innym może być rodzaj i wielkość garnka albo ilość wody użytej do gotowania. Czy chcemy zawsze używać tego samego garnka, dokładnie odmierzać tę samą ilość wody i gotować na tym samym polu grzewczym? A może użyjemy kilku garnków (różniących się materiałem i wielkością), nie będziemy kontrolować ilości wody, a palnik nie będzie stały?
Jak byście do tego podeszli? Wolicie utrzymywać nietestowane czynniki na stałym poziomie, czy pozwolicie sobie na wprowadzenie tej zmienności podczas DOE?
Poniżej scenariusz 1, w którym czynniki nietestowane w DOE utrzymane są na stałych poziomach:
Kliknij, aby powiększyć
Eksperyment przeprowadzamy z jajkami tej samej wielkości, zakupionymi u jednego dostawcy, z jednej dostawy. Gotujemy je na jednej płycie indukcyjnej, używając tego samego garnka i każdorazowo odmierzając tę samą ilość wody. Kolejne przebiegi eksperymentu realizujemy na tym samym polu grzewczym, a jeśli dodajemy sól – zawsze w tej samej ilości.
Dla porównania, rozpatrzmy scenariusz 2:
Kliknij, aby powiększyć
Eksperyment wykonujemy również dla jednej wielkości jajek i na jednej płycie grzewczej (bo mamy tylko jedną J). W przeciwieństwie do scenariusza 1, jajka kupujemy u różnych dostawców, więc różnią się one świeżością, datą ważności i warunkami przechowywania. Używamy garnków o różnym materiale i wielkości. Ilość wody dobieramy tak, aby jajko było całkowicie przykryte (czyli zależnie od garnka będzie się ona różnić). Sól dodajemy „na oko”.
W obu scenariuszach gotujemy 16 jajek, zgodnie z tą samą matrycą eksperymentu. W każdym z nich otrzymamy 16 wyników dla każdego badanego Yka.
Który scenariusz jest lepszy? Który byście wybrali?
Większość osób odpowiada: scenariusz 1. W tym przypadku czujemy się pewniej, co do spójności wyników. Scenariusz 2 budzi obawy, że różnice między garnkami, palnikami czy jajkami mogą „przykryć” efekty badanych czynników i utrudnić wyciągnięcie wniosków.
Jednak odpowiedź na pytanie, który scenariusz jest lepszy, nie jest oczywista. Wszystko zależy od tego, w jakich warunkach chcemy wykorzystać wyniki DoE. Jeżeli eksperymentujemy na własne potrzeby, we własnej kuchni i wiemy, że do gotowania jajek możemy zawsze używać tego samego garnka i palnika, dodawać tyle samo wody i ewentualnie soli, a jajka tej samej wielkości kupować u jednego dostawcy – to szansa, że wnioski wyciągnięte z DOE przeprowadzonego zgodnie ze scenariuszem 1 sprawdzą się w praktyce, jest bardzo duża.
Natomiast, jeżeli pracujemy nad ogólnym przepisem, jak ugotować perfekcyjne jajko na twardo i chcielibyśmy znaleźć wskazówki, które sprawdzą się u szerokiej rzeszy amatorów jajek, to prawdopodobieństwo, że wnioski z takiego DOE sprawdzą się w praktyce, jest bardzo małe. Każdy gotujący używa innych płyt grzewczych, garnków, jajek z różnych źródeł itd. W takim przypadku wnioski z DOE zgodnego ze scenariuszem 2 będą bardziej uniwersalne, oczywiście pod warunkiem, że będą to jajka w testowanej wielkości (w scenariuszu 2 wielkość jajka była stała).
Każda dobra analiza, niezależnie od tego, jak zebrano dane (czy z obserwacji procesu, czy z eksperymentu), powinna wskazywać ograniczenia wnioskowania. One zawsze istnieją i zależą od decyzji podjętych już na etapie planowania. Ograniczenia wnioskowania to nic innego jak warunki, w których uzyskane wnioski sprawdzą się w praktyce. Naiwne jest przekonanie, że coś, co przetestowaliśmy na jednej maszynie, zadziała identycznie na innych – nawet tego samego typu. Podobnie, jeśli coś sprawdziliśmy na jednym prototypie, niekoniecznie przełoży się to na produkcję seryjną.
W skrócie: eksperyment należy przeprowadzić w takich warunkach, w jakich chcemy stosować uzyskane wnioski.
Scenariusz 1 wydaje się bezpieczniejszy i pozwala dostrzec nawet niewielkie efekty testowanych czynników. Jednak, jeśli te efekty nie mają szans powtórzyć się w praktyce, ich wartość jest znikoma. To częsty powód frustracji osób prowadzących eksperymenty – analiza DOE wskazuje idealne ustawienia procesu, ale po wdrożeniu efektów brak. Problem nie tkwi w samym DOE, lecz w tym, że testowano zbyt wąski zakres warunków – czyli utrzymywano wszystkie nietestowane czynniki na stałym poziomie, tak jak w scenariuszu 1.
Aby skutecznie i efektywnie planować eksperymenty, trzeba pamiętać, że DOE to nie tylko Struktura Czynników (czyli to, co pokazuje matryca eksperymentu), ale również Struktura Zakłóceń — sposób, w jaki postępujemy z zakłóceniami podczas DoE. Im więcej zakłóceń będzie działać podczas DoE, tym mniejsze będą ograniczenia wnioskowania. Czy scenariusze 1 i 2 to ten sam eksperyment? Nie — to dwa różne eksperymenty, różniące się właśnie uniwersalnością wniosków, jakie możemy z nich wyciągnąć.
Ostatecznie decyzja, jak przeprowadzimy eksperyment, powinna być świadoma i przemyślana.
