Co zrobić, gdy w naszych danych ukrywają się informacje, których nie możemy wydobyć? Czy na naszych wykresach faktycznie widać to, co chcemy pokazać? I gdzie w tym wszystkim miejsce na uczucie?
Ta historia jest od początku do końca prawdziwa. Jestem pewien, że każdy czytelnik i czytelniczka mogą się w niej odnaleźć. Zobaczyć, gdzie są obecnie i znaleźć inspirację do dalszej drogi w analizie danych. Lub upewnić się, że są na właściwej ścieżce.
Zaczyna się prawie zawsze tak samo, podobnie do miliona innych historii miłosnych. Niewinnie. Chłopak lub dziewczyna włącza Excela. Być może przypadkiem, być może z powodu jakiejś ekscytującej ciekawości. A może dlatego, że nauczyciel od informatyki w szkole średniej musi zrealizować program, a w nim jak byk jest napisane coś o poznawaniu pakietu biurowego z wyszczególnieniem arkusza kalkulacyjnego. To nieważne. Ważne, że haczyk został połknięty. Wprawdzie na początku te prostokątne komórki nie wyglądają atrakcyjnie – trudno się w nich rysuje, pisanie też jest bez szału i nawet nie ma wypunktowania. Ale kropla drąży skałę. Wskaźnik myszki coraz częściej ląduje nad zieloną ikoną z dużym znakiem X, niewielkie komórki łączą się w arkusz, a arkusze w skoroszyty. Miłość rozkwita, a niewinna do tej pory ofiara postanawia związać swoją przyszłość zawodową właśnie z najpopularniejszym arkuszem kalkulacyjnym świata. To brzmi jak spełnienie marzeń!
Pierwsze chmury
Chyba każda osoba parająca się analizą danych na pewnym etapie swojej pracy zderza się z dwiema kwestiami. Po pierwsze – ilość danych, z jakimi stykamy się każdego dnia, jest przytłaczająca. Widać to zwłaszcza w nowoczesnych przedsiębiorstwach, które zdają sobie sprawę z potęgi danych. Jeśli chcemy tę niesamowitą ilość przeanalizować w realnym czasie, musimy sięgnąć po narzędzia automatyzujące naszą pracę. Nieważne, czy automatyzacja wystąpi na etapie przekształcania danych, czy też wyciągania wniosków. Najlepiej oczywiście, żeby zadziałała w obu przypadkach, a do tego była bezbłędna i niezbyt angażowała naszą uwagę lub czas. Po drugie – odbiorcy naszych analiz. Z tych dwóch problemów w naszej pracy oni wydają się tym większym. O ile można próbować działać bez automatyzacji pewnych procedur, o tyle praca bez odbiorców informacji jest bezsensowna. Z kolei ci odbiorcy za nic w świecie nie zgadzają się na naukę choćby podstaw analizy danych i domagają się przedstawiania ich w przyjaznej, czytelnej formie. Najlepiej atrakcyjnej wizualnie, żeby dobrze wyglądała na slajdach prezentowanych komuś wyżej na szczeblach firmowej drabiny, lub nawet komuś, kto stoi obok niej, ale ma prawo do informacji.
To pierwsze chmury, które nadciągają nad excelową miłość. Na wizerunku ukochanej aplikacji pojawiają się brzydkie rysy, jakby była niewystarczająca. A przecież miało być tak pięknie! Miał być Excel, importowanie danych i WYSZUKAJ.PIONOWO aż po kres świata. Niestety – albo na szczęście, jak pokaże nam finał tej opowieści – to już nie wystarczy. Trzeba zagłębić się w bardziej skomplikowane formuły. Trochę bardziej elastyczne. W WYSZUKAJ.PIONOWO zagnieżdża się PODAJ.POZYCJĘ, w historii wyszukiwania pojawia się pytanie o to, która funkcja mniej obciąża pamięć.
Rozwijają się też umiejętności tworzenia wykresów. To już nie jest domyślny wykres kolumnowy czy liniowy. Ze względu na swoje wady z łask wypada wykres kołowy. W przypadku wykresów liniowych nasz analityk lub analityczka dbają o to, aby oś zawsze zaczynała się od zera, a wykres był dopasowany do charakteru danych. Fikuśne efekty trójwymiarowości czy chaotyczne umieszczanie etykiet i legendy staje się przeszłością. Przez arkusze coraz częściej przewijają się nietypowe wykresy, dopasowane do informacji, które trzeba przedstawić. Analiza czynnikowa zmiany wyniku? Wykres kaskadowy jest odpowiedzią. Wahania kursów waluty? Wykres świecowy. Lepsze przedstawianie proporcji pomiędzy kategoriami, a także podkategoriami? Wykres typu mapa drzewa. Wszystkie z dopasowaną, ale stonowaną kolorystyką. Niektóre ze zdjęciem, z którego wykrojono kolumny wykresu, co jest dość prostym, ale wizualnie powalającym trikiem.
Coraz częstszym gościem w skoroszytach są też tabele i wykresy przestawne. Po co męczyć się z ręcznym zestawianiem danych, skoro można to zrobić łatwiej i w bardziej elastyczny sposób? W skoroszycie pojawia się kilkanaście wykresów przestawnych, bo właśnie tyle potrzebują odbiorcy informacji. Tylko że takie rozwiązanie też ma ograniczenia. Tabela czy wykres przestawny są narzędziem analitycznym, a nie prezentacyjnym. Wynika to z faktu, że tabela przestawna i powiązany z nią wykres, pobierając dane z połączonego zakresu, przechowują je w swojej własnej pamięci bez dynamicznego łącza ze źródłem. To właśnie dlatego, kiedy zmienimy coś w danych pierwotnych, musimy odświeżyć tabelę przestawną, aby ta zmiana została uwzględniona. Ceną za takie rozwiązanie jest szybki rozrost pliku, ponieważ dane przechowywane w tabeli przestawnej są w rzeczywistości zdublowane. Jest to coś, czego trzeba nauczyć się na własnej skórze. Gdyby jeszcze do analizy było niewiele danych, a odbiorcom wystarczyła jedna tabela...
Serce znowu żwawiej bije
Pewną ulgą jest odkrycie nowego, cudownego narzędzia – Power Query. Od samego początku było w Excelu! Tak jakby Excel skrywał jakieś tajemnice, aby co jakiś czas podsycać gasnące uczucie. Dzięki Power Query wiele przekształceń można zautomatyzować. Wystarczy stworzyć odpowiednie zapytanie do źródła danych, a następnie je odświeżyć. Zapytań jest sporo, bo i źródeł danych w naszej firmie jest wiele, ale to i tak łatwiejsze i bezpieczniejsze podejście, niż ręczne przeklejanie danych do osobnych arkuszy, jak do tej pory. Power Query pozwala na wielostopniowe przekształcenia, dość dobrze radzi sobie także z różnymi typami danych. Pozwala na łączenie informacji ze sobą, uproszczoną analizę, a jeśli zajdzie taka potrzeba – każde z zapytań może być dowolnie przekształcone i rozbudowane. Gorzej z kopiowaniem zapytań, ale na szczęście taka potrzeba pojawia się rzadko. Pozostaje problem prezentacji danych. Trzymanie wykresów w jednym lub wielu arkuszach Excela jest nieczytelne. Trudno w ten sposób przekazać jakąś informację odbiorcy.
Biedna analityczka lub biedny analityk nie mają wyjścia. Trzeba znaleźć inne rozwiązanie. I jest, wszystko w ramach jednego ekosystemu. Power Point. Cały skoroszyt jest połączony z prezentacją. Wszystkie wykresy przenoszą się prawie automatycznie, trzeba tylko kliknąć odświeżenie łącza. Początkowo wydaje się, że to rozwiązanie idealne, ale po jakimś czasie okazuje się, że to prawda: wydaje się. Efektem finalnym jest raport, ale w formie slajdów, co sprawia, że umieszczenie dodatkowego opisu czy wyjaśnienia jest znacznie utrudnione. Na dodatek ktoś z odbiorców upiera się, żeby używać tego raportu właśnie do prezentacji przed kimś wyżej w organizacji, a przecież przy takim automatycznym tworzeniu slajdów trudno o to, aby wyglądały one estetycznie czy podkreślały to, co ważne. Wszelkie zmiany w nagłówkach lub uwypuklające istotne kwestie są czasochłonne. Ponownie okazało się, że ogrom danych, jakimi operuje nasze przedsiębiorstwo, wykracza poza możliwości takiej formy prezentacji.
Problem pojawia się także po stronie analizy i agregacji danych. Zapytania w Power Query w większości dają radę, ale kilka razy pojawiła się potrzeba bardziej skomplikowanej analizy. Cóż było robić? Nauka Visual Basic for Applications, czyli języka makr VBA, zajęła trochę czasu, ale opłaciła się. Udało się nie tylko dokonać zaawansowanych przekształceń danych, ale też zautomatyzowano proces kreowania wykresów. Napisanie kodu, który to robił, było dość czasochłonne, ale po wielu miesiącach ta inwestycja się zwróci. Oczywiście czasem, kiedy pojawiają się nowe dane, makra potrafią zwrócić błąd. Ale wystarczy dokładna analiza kodu, uruchomienie debugera i po kilku chwilach wiadomo, gdzie i co się zepsuło. Tworzenie komentarzy w kodzie i trzymanie się pewnych zasad programowania opłaciło się. Naprawianie awarii również trochę trwa, skoro wszystko trzeba dokładnie przetestować. Ale poza nowymi rozwiązaniami analitycznymi można stworzyć prosty interfejs, informujący o tym, na którym etapie przekształcenia wystąpił błąd. To znacząca oszczędność czasu – oczywiście o ile nie brać pod uwagę czasu tworzenia tego interfejsu. Taka hybryda Power Query i VBA jest w stanie zaspokoić potrzeby analityczne. Trzeba tylko pamiętać o kolejności odświeżania zapytań, dobrze planować włączanie nowych danych do tego systemu, a na koniec poczekać trochę na zakończenie pracy makra. Potem to już z górki, z odświeżaniem wykresów w prezentacji i ewentualnymi ręcznymi zmianami.
Nic nie może przecież wiecznie trwać
Takie podejście, wraz z rozrostem danych dostarczanych przez organizację do analizy, też ma swoje granice. Dlatego konieczne staje się szukanie nowych narzędzi. Excel, co nasz bohater lub bohaterka konstatują ze zdziwieniem, już nie wystarczy. Uczestnictwo w Forum Informacji Zarządczej daje jednak garść inspiracji w poszukiwaniu sposobów przedstawiania danych. Na tapet trafiają nieznane do tej pory aplikacje, jak Power BI, Qlik View, Qlik Sense czy Tableau. Każdej z nich trzeba się nauczyć od zera. Niektóre z nich są zdecydowanie proste w obsłudze, inne wymagają nieco wiedzy o ich działaniu. Ale co ważne – mają podwójną funkcję. Pozwalają nie tylko prezentować dane w atrakcyjnej formie, ale także w mniej lub bardziej ograniczony sposób je przekształcać. Oznacza to, że część kroków może zostać wyjęta z pliku Excela i przeniesiona do nowego narzędzia. Możliwości wizualizacji, w porównaniu do Excela, są powalające. Za pomocą kilku kliknięć można tworzyć w pełni interaktywne wykresy czy mapy. Wszystko to można zestawić w atrakcyjne i przejrzyste dashboardy. To jest taki rodzaj prezentacji, który nie tylko pozwala na elastyczne przekazywanie informacji odbiorcy, ale przede wszystkim daje mu możliwość na samodzielną eksplorację i odkrywanie pewnych zależności między dostępnymi danymi. Wszelkie zmiany załatwia się kilkoma kliknięciami.
Pozostaje kwestia przekształcania danych, ale tutaj też pojawia się nowy gracz. To KNIME, prawdziwy kombajn do zbierania danych. Można w nim bez większych problemów odtworzyć wszystkie procedury, wykonywane do tej pory przez excelowe funkcje, Power Query czy VBA. A to dopiero początek jego możliwości. KNIME bezproblemowo pobiera surowe dane z różnych źródeł, łącznie z bezpośrednim wpięciem się w bazy danych za pomocą prosto konstruowanych zapytań. Pozwala nie tylko na analizę ex post, ale też na predykcję, co dokłada zupełnie nowy wymiar informacji. Zwraca dane w formie przyjaznej dla narzędzi do wizualizacji, dzięki czemu tworzy się cały system kreowania prezentacji. Na dodatek można w nim opracować raport, który każdorazowo wstawi odpowiednie dane we właściwe miejsca, pozostawiając odpowiednią przestrzeń na dodanie komentarza. Ponieważ przepływ danych ujęty jest w przejrzysty workflow, wszelkie problemy są łatwe do zlokalizowania i naprawienia. A jeśli zajdzie potrzeba rozbudowy czy powielenia jakiegoś elementu, w każdej chwili można tego dokonać w kilku kliknięciach. Na dodatek KNIME działa zdecydowanie szybciej niż plik excelowy.
I tak, po kilku latach, Excel, największa z miłości, usuwa się gdzieś w cień. Jest uruchamiany bardzo rzadko, jego ikona znika z paska Windowsa. Królują nowe zabawki. Ale Excel nadal ma kilka asów w rękawie, a kolejne odsłony przynoszą coraz to nowe funkcje, wspierające analizę i wizualizację. Nasz analityk lub analityczka od czasu do czasu spoglądają łakomym wzrokiem w stronę zielonej ikonki z dużym X. Ale jednocześnie ich myśli za przątają jakieś tajemnicze i nieznane jeszcze języki – R i Python. Z ich pomocą można ponoć niesamowicie analizować dane...
Koniec? A może... początek?
Nie będzie zapewne wielkim zaskoczeniem, jeśli powiem, że to moja historia. To ja jestem tym chłopcem, który lata temu zakochał się w Excelu. Ale jestem przekonany, że każdy może odnaleźć się gdzieś w tej historii. Czy to zderzając się z kolejnymi ograniczeniami naszych narzędzi, czy też stając przed koniecznością analizy coraz większej ilości danych. Czy chciałem powiedzieć tym tekstem, że wszyscy powinniśmy zapomnieć o Excelu i przesiąść się na KNIME oraz narzędzia BI? Albo przeskoczyć i ten krok, rzucając się w stronę nauki języków programowania? W żadnym wypadku! W moich miejscach pracy miałem do czynienia z dużą ilością danych, przez co konieczna była przesiadka na bardziej rozbudowane narzędzia. Gdybym miał do analizy kilka tysięcy wierszy czystych danych miesięcznie, zapewne zostałbym przy Excelu. Jestem przekonany, że wielu osobom wystarczy jedna tabela przestawna z wykresem do analizy. Miałem też to szczęście, że moje dane były dość dobrze uporządkowane. W przeciwnym wypadku być może potrzebowałbym innych narzędzi, nieopisanych w tym tekście.
Jeśli miałbym zawrzeć wnioski z tej opowieści w jednozdaniowym morale, byłaby to sugestia o dopasowywanie narzędzi do potrzeb. Nie ma sensu strzelać do komara z armaty i inwestować czas oraz inne zasoby w kombajny do danych, jeśli mamy ich niewiele. Równie bezsensowne jest też upieranie się przy funkcjonowaniu rozbudowanego przedsiębiorstwa opierając się tylko na Excelu, bo tak było od zawsze i nie ma sensu niczego zmieniać. Niemniej, nawet jeśli jesteśmy w takim miejscu, gdzie nasze narzędzia pozwalają nam na bezproblemową analizę danych, warto rozglądać się i wdrażać w korzystanie z nowych aplikacji. Warto mieć świadomość, bo to ona jest podstawą wyboru. Nigdy nie wiadomo, czy nie spadnie na nas lawina nowych danych, firma nie wzrośnie gwałtownie lub życie nie postawi nas przed nowymi wyzwaniami. A wtedy będziemy gotowi. I napiszemy własną historię miłosną z danymi w tle.
Możesz zobaczyć ten artykuł, jak i wiele innych w naszym portalu Controlling 24. Wystarczy, że klikniesz tutaj.
