Hyperspectrale pathologie Beeldsegmentatie van kankercytoplasma: een nieuwe aanpak op basis van gegevensvergroting

Bij pathologische diagnostiek is hematoxyline-eosine (H&E) kleuring een veelgebruikte methode om weefselmorfologie te observeren. Hematoxyline kleurt celkernen blauw-paars, terwijl eosine cytoplasma en extracellulaire matrix roze kleurt. Pathologen observeren deze gekleurde coupes onder een microscoop om te beoordelen of cellen kankerachtige veranderingen hebben ondergaan. Bij het bepalen van kankertypes is een nauwkeurige identificatie van het kanker-cytoplasmaregio een cruciale stap.

In de afgelopen jaren heeft hyperspectrale beeldvormingstechnologie geleidelijk zijn intrede gedaan in het veld van pathologisch onderzoek. Vergeleken met conventionele CMOS-camera's kunnen hyperspectrale camera's rijkere cellulaire informatie vastleggen. Deze technologie stuit echter op twee realistische problemen in de praktijk.

Het eerste probleem is de moeilijkheid van data-acquisitie. De acquisitiekosten van hyperspectrale beelden zijn hoog en het opzetten van een grootschalige geannoteerde dataset is niet eenvoudig. Toch vereisen deep learning-modellen juist grote hoeveelheden data om effectief te werken. Het tweede probleem is instrumentruis. Hyperspectrale camera's gebaseerd op de lineaire push-broom modus genereren vaak verticale of horizontale streepruis, pixelverschuivingen en andere problemen tijdens het beeldvormingsproces. Deze ruis varieert afhankelijk van de apparatuurkenmerken en operationele omgevingen, waardoor deze moeilijk volledig te vermijden zijn.

Om deze problemen aan te pakken, is een studie gepubliceerd in het tijdschrift Informatics in Medicine Unlocked. Ze stelden een data-augmentatiemethode voor die CMOS-beelden gebruikt om pseudo-hyperspectrale beelden te genereren die echte instrumentruis simuleren, welke vervolgens worden gebruikt om een U-Net segmentatiemodel te trainen.

1. Waarom CMOS-beelden gebruiken voor augmentatie?
Een directe overweging is de annotatiekosten. De textuur van kanker-cytoplasma in hyperspectrale beelden is complex en het handmatig annoteren ervan in grijswaardenbeelden is zowel tijdrovend als arbeidsintensief. In tegenstelling hiermee zijn CMOS-beelden visueel helder en is hun annotatie-efficiëntie veel hoger. Het idee van het onderzoeksteam is: gebruik gemakkelijk te annoteren CMOS-beelden om pseudo-hyperspectrale beelden met ruis te genereren, en gebruik deze beelden vervolgens om het model te trainen.

De specifieke aanpak is verdeeld in drie stappen:
De eerste stap is kleurconversie en helderheidsaanpassing. Converteer het CMOS RGB-beeld naar een grijswaardenbeeld en pas de helderheid aan via gammacorrectie en histogram-equalisatie om het visuele effect van hyperspectrale beelden bij een specifieke golflengteband (zoals 580 nm) te benaderen.

De tweede stap is het toevoegen van instrumentruis. Voeg willekeurig verticale en horizontale ruislijnen toe aan het beeld om de streepruis te simuleren die in werkelijke hyperspectrale camera's wordt gegenereerd door verschillen in sensorgevoeligheid of signaalverwerking. Het aantal verticale ruislijnen ligt tussen 19 en 29, en de posities en breedtes van horizontale ruislijnen zijn ook gerandomiseerd. Bovendien worden informatieverlies en pixelverschuivingen gesimuleerd.

De derde stap is geometrische transformatie. Voer bewerkingen uit zoals bijsnijden, spiegelen en verschuiven op de gegenereerde pseudo-beelden om de dataset verder uit te breiden.

Via deze workflow genereerden 44 originele CMOS-beelden 792 pseudo-hyperspectrale beelden, die, na samenvoeging met 44 originele hyperspectrale beelden, de trainingsset op 836 beelden brachten.

2. Hoe was het experimentele effect?
Het onderzoeksteam evalueerde de modelprestaties met 5-voudige kruisvalidatie, waarbij IoU (Intersection over Union) en Dice-coëfficiënt als indicatoren werden gebruikt.

Wanneer getraind met slechts 44 originele hyperspectrale beelden, was de IoU 0,5786 en de Dice-coëfficiënt 0,7304. Na toevoeging van de pseudo-hyperspectrale beelden steeg de IoU naar 0,6458 en de Dice-coëfficiënt naar 0,7820 — de IoU verbeterde met ongeveer 11,6% en de Dice-coëfficiënt met ongeveer 7,1%.

De studie toonde ook aan dat beeldhelderheid en celldichtheid de segmentatieresultaten beïnvloeden. Donkerdere beeldtypes en beeldtypes met dichte celkernen vertoonden relatief lagere segmentatienauwkeurigheid. Dit geeft aan dat het model een zekere afhankelijkheid heeft van beeldkwaliteit, en suggereert ook richtingen voor toekomstige verbeteringen.

3. Wat is de betekenis van dit onderzoek?
Voor de verwerking van hyperspectrale pathologische beelden zijn dataschaarste en instrumentruis twee onvermijdelijke obstakels. Deze studie biedt een uitvoerbaar idee: in plaats van moeizaam ruis te verwijderen, is het beter om het model te laten leren omgaan met ruis tijdens de trainingsfase. Het genereren van pseudo-hyperspectrale beelden met instrumentruis uit CMOS-beelden lost niet alleen de moeilijkheid van annotatie op, maar verbetert ook de robuustheid van het model tegen ruis.

Natuurlijk heeft deze studie ook beperkingen. De experimentele gegevens kwamen van hondse melkliertumor samples, en er waren slechts zeven beeldtypes. Complexere sampletypes en grotere datasets moeten nog geleidelijk worden verzameld.

Vanuit methodologisch oogpunt biedt dit concept van 'het gebruiken van gemakkelijk te annoteren beelden om trainingssamples met ruis te genereren' echter een waardevol praktisch pad voor de toepassing van hyperspectrale microscopische beeldvorming in pathologische diagnostiek. Met de geleidelijke popularisering van hyperspectrale beeldvormingsapparatuur in pathologieafdelingen, kunnen vergelijkbare data-augmentatiemethoden onderzoekers helpen om modellen efficiënter te trainen, waardoor de afhankelijkheid van grootschalige handmatige annotatie wordt verminderd.

Disclaimer
Deze inhoud is samengesteld en bewerkt uit open academische literatuur (literatuurlink: https://www.sciencedirect.com/science/article/pii/S2352914826000213). Het wordt alleen gebruikt voor technische discussie in de industrie en wetenschappelijke popularisering, en doet geen commerciële toezeggingen, noch kan het worden gebruikt als basis voor investeringsreferenties. De verschillende experimentele gegevens en conclusies die in de tekst worden vermeld, zullen worden beïnvloed door meerdere variabelen zoals de testomgeving, individuele verschillen in samples en modelbouwschema's. Indien toegepast in werkelijke scenario's, moeten de relevante effecten worden geverifieerd door onafhankelijke tests in combinatie met eigen scenario's.