Nowa metoda zwiększa dokładność szacunków statystycznych w danych przestrzennych

Wyobraź sobie, że jesteś naukowcem zajmującym się ochroną środowiska i badasz potencjalny związek między zanieczyszczeniem powietrza a niższą masą urodzeniową w konkretnej społeczności. Aby zbadać tak zawiłe zależności, zazwyczaj wykorzystuje się modele uczenia maszynowego, ponieważ świetnie radzą sobie one z interpretacją złożonych wzorców danych. Jednak jeśli chodzi o oszacowanie siły związku między zmiennymi, takimi jak zanieczyszczenie powietrza a masą urodzeniową, te tradycyjne modele mogą okazać się niewystarczające. Problemy te wynikają przede wszystkim ze sposobu obliczania przedziałów ufności, czyli granic przewidywanej dokładności modelu. Chociaż są one rzeczywiście kluczowe, typowe metody często okazują się mylące w badaniach przestrzennych, w których czynniki takie jak zanieczyszczenie powietrza mogą się różnić w zależności od lokalizacji.

Niepewność ta wynika przede wszystkim z tego, że konwencjonalne techniki opierają swoje założenia na niezależności i identycznym rozkładzie punktów danych. Jednak rzeczywiste sytuacje często przeczą tym założeniom. Na przykład rozmieszczenie monitorów jakości powietrza przez amerykańską Agencję Ochrony Środowiska (EPA) często uwzględnia inne pobliskie czujniki, tworząc w ten sposób zależności w danych, które mogą zmylić przewidywania modelu.

Przedstawiamy nowatorskie podejście MIT

Wychodząc naprzeciw tym ograniczeniom, naukowcy z MIT zapoczątkowali nowe podejście do generowania wiarygodnych przedziałów ufności dla danych przestrzennych. Przyjęli bardziej realistyczne podejście, zakładając, że dane zmieniają się płynnie w przestrzeni, podobnie jak poziomy zanieczyszczenia powietrza zwykle zmieniają się stopniowo w zależności od lokalizacji. Ta ponowna ocena lepiej odpowiada rzeczywistym tendencjom danych, powiedziała Tamara Broderick, profesor nadzwyczajny na Wydziale EECS w MIT i starszy autor badania. badanie.

Aby przetestować swoją metodę, zespół przeprowadził serię symulacji i zastosował ją do rzeczywistych zbiorów danych. Wyniki pokazały, że ich technika była jedyną, która konsekwentnie dawała dokładne i wiarygodne przedziały ufności, nawet w przypadku danych wypełnionych losowymi błędami. Broderick współpracował z Davidem R. Burtem, doktorem habilitowanym, i Renato Berlinghierim, absolwentem EECS, a także Stephenem Batesem, adiunktem w EECS. Zespół zaprezentował swoje odkrycia na konferencji poświęconej neuronowym systemom przetwarzania informacji.

Przekraczanie granic i patrzenie w przyszłość

Zidentyfikowali oni również pewne błędne założenia, na których opierają się różne powszechnie stosowane metody. Jednym z nich jest przekonanie, że dane szkoleniowe wykorzystywane do tworzenia modeli dobrze odzwierciedlają dane, na podstawie których dokonywane są prognozy, co nie zawsze ma miejsce. Weźmy na przykład sytuację, w której model wyszkolony na danych z miejskich stacji pomiarowych EPA jest następnie wykorzystywany do prognozowania na obszarach wiejskich. W związku z tym nowa metodologia opracowana przez zespół MIT otwiera obiecujące perspektywy w wielu dyscyplinach, od nauk o środowisku po ekonomię. Może ona znacznie poprawić interpretację zależności między zmiennymi w różnych regionach geograficznych. Według Brodericka odkryto bardziej odpowiednie metody dla szerokiej klasy problemów, które pozwalają poprawić wydajność i zapewnić bardziej wiarygodne wyniki.

Zespół zamierza teraz rozszerzyć swoją pracę, stosując swoją metodę do różnych typów zmiennych i badając nowe obszary, w których może ona zwiększyć wiarygodność szacunków statystycznych. Przedsięwzięcie to było wspierane przez grant zalążkowy MIT Social and Ethical Responsibilities of Computing (SERC), Office of Naval Research, Generali, Microsoft i NSF. Aby zagłębić się w szczegóły, zapoznaj się z oryginalnym artykułem na MIT News: Nowa metoda poprawia wiarygodność szacunków statystycznych.