Jak zaplanować eksperyment?
DoE (ang Design od Experiments), Planowanie / Projektowanie Eksperymentów, to z naszego doświadczenia najefektywniejszy sposób zbierania danych i zwiększania zrozumienia związku przyczyno skutkowego. To czego nauczymy się z doe, przede wszystkim zależy od tego jak go zaplanujemy. Żaden poziom zaawansowania w analizie nie pomoże, jeżeli w danych, które zbierzemy nie ma wiedzy – a to ile nowej wiedzy i jaka ona będzie zależy przede wszystkim od etapu planowania. Umiejętność analizy jest oczywiście potrzebna, ale jest to procedura dość prosta do nauczenia i odtwarzalna w każdym doe. Planowanie natomiast, pomimo, że można usystematyzować, w każdym eksperymencie będzie inne.
Ustalenie celu eksperymentu
Żeby nie skupiać się technicznych aspektach użyjemy przykładu procesu, który każdy zna. Będzie to proces gotowania jajka na twardo. Zapewne niektórzy mogą mieć inne wymagania, ale dla nas idealne jajko na twardo to takie, w którym żółtko i białko są całkowicie ścięte, bez oznak surowości, ale również bez efektów przesuszenia. Białko powinno być ścięte, jędrne i sprężyste, matowobiałe bez porowatości. Żółtko, również ścięte- powinno mieć kremową konsystencję i kolor złocisty bez zielonej/szarej obwódki. Smak jajka powinien być neutralny bez metalicznego posmaku, który świadczy o przegrzaniu. Skorupka, bez pęknięć, łatwa do obrania, gładka powierzchnia jajka po obraniu.
Celem eksperymentu będzie przetestowanie jak czynniki procesowe które mamy do dyspozycji wpływają na spełnienie naszych wymagań.
Co istotne w tym miejscu, celem doe jest wykreowanie zmienności. Zmienność ta powinna być większa niż ta, którą obserwujemy na co dzień. Jeżeli w doe wykreujemy tylko jajka idealne to tak naprawdę nie nauczymy się niczego. Idealna sytuacja to taka, w której podczas jednego doe otrzymamy jajka od takich, gdzie żółtko jest jeszcze lekko płynne, przez idealnie kremowe, ale o stałej konsystencji aż po jajka totalnie przegrzane w których żółtko będzie miało zieloną obwódkę. Analogicznie, jeżeli chodzi o obieranie. Idealnie byłoby wykreować różne sytuacje. Od złych, gdzie jajko trudno obrać i część białka zostaje przy skorupce – do jajek, które można obrać szybciutko i bez straty białka.
W zależności od przyjętej strategii można przyjąć jako cel pierwszego doe nauczenie się jak osiągnąć idealne żółtko a dopiero w drugim ustalić cel na naukę o obieraniu skorupki. Ma to uzasadnienie szczególnie kiedy mamy dużą ilość czynników a obecna wiedza mówi nam, że za żółtko odpowiadają inne czynniki niż za łatwość obierania.
My w jednym eksperymencie będziemy kreować zmienność w obu tych cechach jajka.
Wybór czynników testowania
Pamiętając o tym, że celem eksperymentu jest wykreowanie zmienności zarówno w strukturze żółtka po ugotowaniu, jak i w łatwości obierania jajka – definiujemy czynniki które tą zmienność wykreują.
Według nas czynnikami mającymi wpływ na obie cechy jajka na twardo są:
- Temperatura jajka przed gotowaniem
- Temperatura wody na starcie
- Moc palnika
- Czas gotowania
- Sposób chłodzenia po gotowaniu
- Dodatek soli do wody
Na jakiej podstawie wybrać czynniki? Przede wszystkim na podstawie obecnej wiedzy o procesie i produkcie. Obecnych teoriach, pytaniach, pomysłach i obserwacjach. Można oczywiście podeprzeć się Mapą Procesu, zaprosić do planowania inne osoby, które mają wiedzę o tym procesie, podeprzeć się literaturą – ale wiedza ekspercka jest w tym miejscu podstawą. W przypadku, kiedy czynników jest dużo warto przeprowadzić CoV (ang. Componet of Variation Study) w celu ustalenia dominujących źródeł zmienności – ale to całkiem odrębny temat.
I chociaż każdy z Was może mieć w tym miejscu pomysł na dodatkowe czynniki lub uważać, że niektóre z powyższych nie mają znaczenia (co odzwierciedla sytuacje w których znajdziecie się planując eksperymentJ). Na potrzeby tego przykładu uznajmy, że powyższe 6 czynników wyczerpują naszą wiedzę ekspercką o procesie gotowania jajek na twardo.
Wybór poziomów testowania
Wybór czynników to dopiero początek. Tak naprawdę to dopiero wybór poziomów testowania zdefiniuje zmienność, którą wykreujemy. Poziomy testowania określają przestrzeń eksperymentu. Teoretycznie co poziomów testowania są trzy wymagania:
- Nie mogą być zbyt wąskie
- Nie mogą być za szerokie
- Powinny być równomiernie rozłożone dla wszystkich czynników
Weźmy przykładowo wybrany powyżej czynnik: czas gotowania. Jako poziom testowania rozumiemy określenie czasów gotowania, które chcemy sprawdzić. Na teraz przyjmijcie, że w obrębie jednego doe najlepszą strategią jest testowanie na dwóch poziomach. Powodów jest klika, ale o tym kiedy indziej.
Potrzebujemy ustalić dwa czasy gotowania, które wykreują zmienność przynajmniej w jednej z interesujących na cech jajka na twardo. Czas gotowania na pewno będzie wpływał na strukturę żółtka. I tak:
- Przykład za wąskich poziomów: 12min vs 13 min. Te czasy są za blisko siebie, co spowoduje, że żółtka będą bardzo podobne i analiza doe pokaże brak efektu czasu gotowania- co nie jest prawdą, ale skutkiem zdefiniowanych przez nas poziomów.
- Przykład za szerokich poziomów: 5 min vs 15 min. Tu wykreujemy nierealną zmienność a cały związek przyczynowo skutkowy jest gdzieś pomiędzy tymi poziomami.
- Równomierne rozłożenie poziomów polega na tym, że powinniśmy planować poziomy tak, aby testowane czynniki miały podobny wpływ na strukturę żółtka.
Brzmi groźnie, ale uwierzcie to jest tylko teoria. Trzeba pamiętać, że gdybyśmy wiedzieli dokładnie jakie czynniki na jakich poziomach zdefiniować, żeby wykreować cały zakres zmienności który zaplanowaliśmy – to najprawdopodobniej nie potrzebowaliśmy doe w tym temacie. Eksperymentujemy w obszarach, w których mamy problemy, wyzwania a tym samym mamy świadomość, że nie wiemy wszytego.
Na jakiej podstawie definiować poziomy:
- Obecna wiedza o procesie/ produkcie. Często planuje się jeden poziom jako mający negatywny wpływ a drugi jako pozytywny wpływ
- Aktualne teorie, pomysły, pytania, na które chcemy znać odpowiedź
- Dane historyczne, w zależności od celu eksperymentu wychodzimy poza obecną zmienność danego czynnika lub testujemy jego aktualne skrajne ustawienia
- Instrukcje dostawców maszyn czy surowców jako jeden z poziomów, drugi przewidywany przez nas lepszy poziom dla danego czynnika
- Porównanie z konkurencją, porównanie z podobnymi procesami
- Wyniki z poprzedniego doe (opcja nie dostępna za pierwszym razem J). Analiza doe powie nam jak zdefiniowaliśmy poziomy, czy trzeba je np.: rozszerzyć, a może przenieść całkowicie na inny poziom.
Poziomy testowania do naszego przykładu ustalamy następująco:
- Temperatura jajka przed gotowaniem: z lodówki vs pokojowa
- Temperatura wody na starcie: zimna (z kranu) vs wrzątek
- Moc palnika 7 vs 9
- Czas gotowania: 6 vs 12 minut (czas liczony od wrzenia wody)
- Sposób chłodzenia po gotowaniu: brak vs zimna woda
- Dodatek soli do wody: brak vs łyżka
Wybór czynników i poziomów testowania to dopiero początek. W kolejnej części zajmiemy kolejnymi etapami planowania eksperymentu, takich jak ograniczenia wnioskowania czy ustalenie koniecznych pomiarów podczas eksperymentu.
