\nPrzez lata in\u017cynierowie danych musieli skrupulatnie opisywa\u0107 ka\u017cdy etap swoich potok\u00f3w ETL (Extract, Transform, Load). Wyobra\u017a sobie mn\u00f3stwo niestandardowego kodu, kt\u00f3rego jedynym celem by\u0142o radzenie sobie z zale\u017cno\u015bciami, dostosowywanie zmian w \u017ar\u00f3d\u0142ach danych i zapewnianie terminowego dostarczania wniosk\u00f3w. Teraz jednak Apache Spark zmienia zasady gry, wprowadzaj\u0105c potoki deklaratywne.\n<\/p>\n
\nZa\u0142o\u017cenie jest zaskakuj\u0105co proste: zamiast opracowywa\u0107 szczeg\u00f3\u0142y \u201cjak\u201d \u2014 ka\u017cd\u0105 p\u0119tl\u0119, ka\u017cd\u0105 zale\u017cno\u015b\u0107 \u2014 in\u017cynierowie mog\u0105 po prostu zadeklarowa\u0107 co<\/em> jakie zadania ma wykona\u0107 potok przetwarzania. Silnik Spark zajmuje si\u0119 interpretacj\u0105 tych instrukcji i ustaleniem optymalnego planu wykonania \u201epod mask\u0105\u201d. Niezale\u017cnie od tego, czy korzystasz z j\u0119zyka Python, czy SQL, oznacza to, \u017ce po\u015bwi\u0119casz mniej czasu na koordynacj\u0119 zada\u0144, a wi\u0119cej na analiz\u0119 danych i osi\u0105ganie istotnych wynik\u00f3w.\n<\/p>\n \nWp\u0142yw na tempo rozwoju jest ogromny. Wed\u0142ug firmy Databricks \u2014 tw\u00f3rc\u00f3w platformy Spark \u2014 takie podej\u015bcie pozwala skr\u00f3ci\u0107 czas tworzenia potok\u00f3w danych nawet o 90%. Nie chodzi tu tylko o szybsze wdro\u017cenie do \u015brodowiska produkcyjnego. Komponenty deklaratywne s\u0105 modu\u0142owe i wielokrotnego u\u017cytku, co u\u0142atwia utrzymanie standard\u00f3w jako\u015bci, radzenie sobie ze zmianami schemat\u00f3w w miar\u0119 ewolucji \u017ar\u00f3de\u0142 oraz zapewnienie p\u0142ynnego dzia\u0142ania ca\u0142ego systemu. Mniej r\u0119cznych poprawek oznacza bardziej niezawodn\u0105 i przysz\u0142o\u015bciow\u0105 struktur\u0119 danych.\n<\/p>\n \nA to nie wszystko: ta nowa platforma nie jest dost\u0119pna wy\u0142\u0105cznie za p\u0142atnymi barierami dla przedsi\u0119biorstw. Databricks udost\u0119pnia te mo\u017cliwo\u015bci spo\u0142eczno\u015bci open source. Posuni\u0119cie to nie tylko poszerza grono os\u00f3b, kt\u00f3re mog\u0105 korzysta\u0107 z deklaratywnego ETL i eksperymentowa\u0107 z nim, ale tak\u017ce toruje drog\u0119 do g\u0142\u0119bszej wsp\u00f3\u0142pracy i innowacji mi\u0119dzy firmami i zespo\u0142ami na ca\u0142ym \u015bwiecie. Koniec z uzale\u017cnieniem od jednego dostawcy.\n<\/p>\n \nDla wsp\u00f3\u0142czesnych zespo\u0142\u00f3w zajmuj\u0105cych si\u0119 danymi te post\u0119py oznaczaj\u0105 co\u015b wi\u0119cej ni\u017c tylko szybsze potoki przetwarzania. Oznaczaj\u0105 one mniejsze zad\u0142u\u017cenie techniczne, ujednolicone przep\u0142ywy pracy w trybie wsadowym i strumieniowym oraz solidne zabezpieczenia przed awariami w miar\u0119 zmian w \u015brodowisku danych. Dzi\u0119ki podniesieniu poziomu abstrakcji deklaratywne potoki Apache Spark sprawiaj\u0105, \u017ce in\u017cynieria danych staje si\u0119 dost\u0119pna dla wi\u0119kszej liczby os\u00f3b, zmniejszaj\u0105 problemy zwi\u0105zane z utrzymaniem i \u2014 ostatecznie \u2014 umo\u017cliwiaj\u0105 organizacjom pewne dostosowywanie si\u0119 do zmian oraz skalowanie dzia\u0142alno\u015bci.\n<\/p>\n