The painstaking process of segmenting – or annotating – specific areas in medical scans plays a critical role in many biomedical research projects. Whether studying changes in brain structures, like your hippocampus, or tracking the progression of a disease, researchers often find themselves laboriously outlining these regions by hand. This method can be particularly grueling, especially when the structures they’re trying to highlight in the complex medical imagery are tough to differentiate.
Imagine what it would be like, for instance, conducting a study on how the brain’s hippocampus changes with age. A researcher would generally need to sift through and painstakingly outline the hippocampus on countless brain scans. Thankfully, a group of researchers from MIT have come up with an exciting solution to this problem.
Um diesen Herausforderungen zu begegnen, hat das MIT-Team Folgendes entwickelt MultiverSegein ausgeklügeltes KI-basiertes System, das den Prozess der Bildsegmentierung viel schneller und benutzerfreundlicher machen soll. Mithilfe von Eingaben wie Klicks, Kritzeleien und Begrenzungsrahmen können die Nutzer Bilder interaktiv kommentieren. Je mehr Bilder mit Anmerkungen versehen werden, desto mehr lernt das KI-Modell aus diesen Interaktionen und reduziert den Bedarf an weiteren Eingaben, bis es schließlich neue Bilder selbstständig segmentieren kann.
Im Gegensatz zu früheren Tools, wie z. B. ScribblePrompt, which needed repeated manual input for every fresh image, MultiverSeg stores each segmented image in a unique “context set.” So, when a new image is uploaded, the model uses this set for more accurate predications. Researchers won’t have to keep repeating the segmentation process with every new image.
Another huge plus with MultiverSeg is that it doesn’t demand a pre-segmented dataset or any technical know-how in machine learning. Researchers can get going with it immediately, without any need for retraining or specific hardware.
“Many scientists might only have time to segment a few images per day for their research because manual image segmentation is so time-consuming. We believe this system will enable new science by allowing clinical researchers to undertake studies they were previously unable to do due to the lack of an efficient tool,” says Hallee Wong, the study’s lead author and a graduate student in electrical engineering and computer science at MIT.
In der Vergangenheit haben sich die Forscher entweder auf die interaktive Segmentierung verlassen, bei der ein KI-Modell durch Eingaben wie Kritzeleien geleitet wird, oder ein aufgabenspezifisches KI-Modell anhand von Hunderten von manuell segmentierten Bildern trainiert. Beide Ansätze haben ihre eigenen Probleme - entweder sind wiederholte Eingaben oder ein umfangreicher, fehleranfälliger Trainingsprozess erforderlich. MultiverSeg kombiniert die besten Aspekte dieser Methoden, indem es aus früheren Beispielen lernt, die in seinem Kontextset gespeichert sind, und gleichzeitig Benutzerinteraktionen nutzt, um Segmentierungen vorherzusagen.
Bei den Tests übertraf MultiverSeg andere moderne Tools sowohl bei der interaktiven als auch bei der kontextbezogenen Segmentierung. Bis zum neunten Bild benötigte das Modell nur zwei Klicks, um eine genauere Segmentierung als aufgabenspezifische Modelle zu erzielen.
Looking forward, the research team plans to collaborate with clinicians to trial MultiverSeg in real-world environments and gather user feedback for further improvements. They’re also keen on expanding the tool’s capabilities to include 3D biomedical images. This ongoing work receives generous support from Quanta Computer, Inc., the National Institutes of Health, and the Massachusetts Life Sciences Center.
Wenn Sie mehr über dieses bemerkenswerte Projekt erfahren möchten, lesen Sie bitte den Originalartikel hier auf der Website von MIT News.
Diese Website verwendet Cookies.