Opslagbeheer

Opslag is van essentieel belang in digitale pathologie. Afbeeldingdata kan onderworpen zijn aan één of meer van de 3 (of 5) V’s van datawetenschap:

• Variatie - Afbeeldingdata in pathologie wordt gegenereerd tijdens biopsies (macroscopische observaties in het sectiestation), brightfield microscopie (hoge resolutie), immuno-observaties (meerdere Kanalen), en Z-stacking.
• Volume - De opgeslagen afbeeldingen zijn groot: denk aan 100k x 50k pixels. Soms in een 16-bits RGB kleuren resolutie. Een individuele dia kan in grootte variëren van 100 MB (bijv. de naald van een biopsie) Tot meerdere GB (scherpe samples van een tumor, 40X uitvergroot gescand)
• Velocity (snelheid) - Data komt snel binnen, met honderden dia’s die per dag worden gescand. Dit creëert uitdagingen omtrent hoe veel er vooraf geprepareerd kan worden en hoe veel tijd er aan individuele dia’s besteed kan worden. Om deze redenen is het van cruciaal belang om een tile server oplossing te hebben die flexibel is.

PMA.core ondersteunt de volgende opslagmedia:

• Lokale harde schijf (zoals de conventionele C: en D: schijven en partities)
• Netwerkopslag zoals SMB-delen (deze moeten toegankelijk zijn via \\server\path\to\data routes)
• Cloud opslag volgens het S3-protocol (Amazon AWS, Western Digital HGST, NetApp, Arvados, IBM…) Microsoft Azure opslag
• FTP servers (yup, die gratis FileZilla File Transfer Protocol server wordt nog steeds gebruikt en kan nu worden gebruikt voor digitale pathologie applicaties!)

Onze tile server introduceert bronmappen: virtuele montagepunten die kunnen verwijzen naar elk type opslag, waar uw beelden beschikbaar zijn.

Het allerbelangrijkste is dat u uw bronmappen op een hybride wijze kunt configureren, zodat sommige opslagpunten verwijzen naar traditionele harde schijven, en andere (mogelijke lange-termijn) opslagpunten verwijzen naar cloudmiddelen.

Dit hybride configuratiemodel houdt verder in dat u op langere termijn eenvoudig kunt opschalen; zo kunt u beginnen met een set-up waarin uw dia’s voornamelijk op een (grote) lokale harde schijf worden geplaatst. Na een tijdje kunt u dan overstappen op de netwerkopslag van uw organisatie. In een nog later stadium kunt u transparant migreren naar cloud opslag in overeenstemming met S3. Wanneer u een samenwerking heeft met een externe partij die tijdelijk haar dia-collectie met u wilt delen, dan kunt u hen vragen om een FTP-server op te zetten en een mappenlijst daarin op te zetten.

Bronmappen resources kunnen informatie omtrent authenticatie en impersonatie bijgevoegd hebben. Verder heeft PMA.core haar eigen lijsten voor toegangscontrole om vast te stellen wat bepaalde groepen en individuele gebruikers kunnen zien en doen (volgens het CRUD-principe). Wij bieden een uitgebreid blogartikel over opslag en afbeeldingsbeheer op onze blog.