The painstaking process of segmenting – or annotating – specific areas in medical scans plays a critical role in many biomedical research projects. Whether studying changes in brain structures, like your hippocampus, or tracking the progression of a disease, researchers often find themselves laboriously outlining these regions by hand. This method can be particularly grueling, especially when the structures they’re trying to highlight in the complex medical imagery are tough to differentiate.
Imagine what it would be like, for instance, conducting a study on how the brain’s hippocampus changes with age. A researcher would generally need to sift through and painstakingly outline the hippocampus on countless brain scans. Thankfully, a group of researchers from MIT have come up with an exciting solution to this problem.
W odpowiedzi na te wyzwania zespół MIT opracował MultiverSeg, to pomysłowy system oparty na sztucznej inteligencji, zaprojektowany w celu przyspieszenia procesu segmentacji obrazu i uczynienia go bardziej przyjaznym dla użytkownika. Korzystając z danych wejściowych, takich jak kliknięcia, bazgroły i obramowania, użytkownicy mogą interaktywnie dodawać adnotacje do obrazów. W miarę jak coraz więcej obrazów jest opatrywanych adnotacjami, model sztucznej inteligencji uczy się na podstawie tych interakcji, zmniejszając potrzebę dalszego wprowadzania danych, aż w końcu może samodzielnie segmentować nowe obrazy.
W przeciwieństwie do poprzednich narzędzi, takich jak ScribblePrompt, which needed repeated manual input for every fresh image, MultiverSeg stores each segmented image in a unique “context set.” So, when a new image is uploaded, the model uses this set for more accurate predications. Researchers won’t have to keep repeating the segmentation process with every new image.
Another huge plus with MultiverSeg is that it doesn’t demand a pre-segmented dataset or any technical know-how in machine learning. Researchers can get going with it immediately, without any need for retraining or specific hardware.
“Many scientists might only have time to segment a few images per day for their research because manual image segmentation is so time-consuming. We believe this system will enable new science by allowing clinical researchers to undertake studies they were previously unable to do due to the lack of an efficient tool,” says Hallee Wong, the study’s lead author and a graduate student in electrical engineering and computer science at MIT.
W przeszłości badacze polegali albo na interaktywnej segmentacji, prowadząc model sztucznej inteligencji przez dane wejściowe, takie jak bazgroły, albo trenując model sztucznej inteligencji specyficzny dla zadania przy użyciu setek ręcznie segmentowanych obrazów. Oba podejścia mają swoje własne problemy - wymagają powtarzalnych danych wejściowych lub rozległego, podatnego na błędy procesu szkolenia. MultiverSeg łączy w sobie najlepsze aspekty tych metod, ucząc się na podstawie poprzednich przykładów przechowywanych w swoim zestawie kontekstowym, jednocześnie wykorzystując interakcje użytkownika do przewidywania segmentacji.
Podczas testów MultiverSeg przyćmił inne najnowocześniejsze narzędzia zarówno do segmentacji interaktywnej, jak i kontekstowej. Zanim użytkownicy dotarli do dziewiątego obrazu, model potrzebował zaledwie dwóch kliknięć, aby uzyskać segmentację dokładniejszą niż modele specyficzne dla zadania.
Looking forward, the research team plans to collaborate with clinicians to trial MultiverSeg in real-world environments and gather user feedback for further improvements. They’re also keen on expanding the tool’s capabilities to include 3D biomedical images. This ongoing work receives generous support from Quanta Computer, Inc., the National Institutes of Health, and the Massachusetts Life Sciences Center.
Aby dowiedzieć się więcej o tym niezwykłym projekcie, zapoznaj się z oryginalnym artykułem tutaj na stronie MIT News.
This website uses cookies.