본문 바로가기

전체 글176

Generating highly accurate pathology reportsfrom gigapixel whole slide images with HistoGPT Method - 모델아키텍처 VLM (Vision Lanuage Model)으로 슬라이드 이미지를 입력으로 레포트를 생성하는 것을 의미합니다 (Figure 2A). 컴포넌트는 2가지입니다. 비젼모델과 언어모델입니다. VFM(Vision Foundation model): visual features을 생성합니다. 모델은 CTransPath: Swin transformer로 TCGA, PAIP데이터셋을 SSL로 학습한 모델입니다. Lanuage model: Vision feature와 프롬프트을 언어모델에 전달한 결과를 cross-attention을 이용하여 최종 레포트를 내는 모델입니다. model: BioGPT(Auto-regressive generative model의 Transformer중 디코더 파.. 2024. 4. 1.
Deep learning in cancer genomics and histopathology: Review 조직병리학(Histopathology)은 종양의 형태(morphology)와 표현형(phenotype)등 진단을 위한 부가적인 정보를 연구하는 학문입니다. 대부분 조직병리학에서는 H&E(Hematoxylin & Eosin)으로 조직을 염색합니다. 이때, 표현형의 정보를 부가적으로 더 얻기위해서, 유전학정보를 추가하기도합니다. 유전학 관련 정보에서는 환자의 생존율, 항암제 반응등을 추가로 더 연계합니다. 2021년기준으로 FDA에 243종의 항암제가 승인되어서, 관련 연구는 더 활발해지고 있습니다. 최근에는 AI을 이용한 연구로 DP을 접목시키고자하는데 관련 연구들이 어떤 것들이 있는지 개괄적으로 살펴보겠습니다. 딥러닝을 이용한 조직병리학 - 조직병리학에서는 고형암을 병리학(pathology)이나 세포학(.. 2024. 4. 1.
[5분 컷 이해] Rotation matrix(회전 메트릭스) 구하기, 유도 회전변환시에 필요한 matrix을 roration matrix라고하며, 2D와 같이 표현할 수 있습니다. $M(\theta)= \begin{bmatrix} cos\theta & -sin\theta \\ -sin\theta & cos\theta \end{bmatrix}$ 이 공식의 유도과정을 이해해보겠습니다. 위 그림과 같이 구하고자하는 평면에 두 벡터가 있습니다. 이 그림의 요소들은 다음과 같습니다. G(x, y): 회전시키기 전 벡터 G'(x',y'): G을 $\theta$만큼 회전시킨 벡터, r:G벡터와 G'벡터 길이 $\theta$: G을 G'으로 반시계방향(counter-clockwise)으로 회전한 벡터 위 그림에 따라 x, y은 아래와 같이 표현할 수 있습니다. $ x=r cos v $ $ y.. 2024. 3. 18.
[5분 컷 리뷰] Reducing self-supervised learning complexity improves weakly-supervised classification performance in computational pathology 요약 Breast cancer관련 병리이미지의 분류문제에서, SSL을 활용할 때, 전체 데이터셋을 다활용하지 않고 50%정도 활용해도 전체를 사용한 것과 비등한 결과를 냈음. 또한, 인코더 전체를 다 사용하지 않고 일부레이어만 사용해도 큰 퍼포먼스의 저하가가 발생하지 않고, 오히려 오르는 경우도 관찰됨 Introduction 의료인공지능은 그 목적성이 강해, 대게는 지도학습으로 학습됩니다. 지도학습시에는 라벨이 있는 데이터를 많이 필요로하는데, 이 데이터를 만들기위한 비용이 매우 큽니다. 하지만 최근에, 라벨 없는 데이터에서 그 특징을 사전학습하는 자기지도학습(Self-supervised learning)으로 획기적인 성능향상을 많이 보였습니다. 문제는 이런 SSL을 할 때, 많은 데이터로 활용하다보니,.. 2024. 3. 13.
[5분 컷 이해] 코루틴, 메인루틴, 서브루틴 ! 요약 메인루틴(Main routine): 메인루틴은 보통 프로그램의 시작점이며, 프로그램의 주 흐름을 담당합니다. 메인루틴은 일련의 작업을 수행하고 다른 서브루틴이나 코루틴을 호출할 수 있습니다. 프로그램이 시작되는 메인코드라고 생각하면 됩니다. 서브루틴(subroutine): 메인루틴에서 호출되는 함수, 또는 서브루틴에서 호출되는 함수들을 의미합니다. 즉, 다른 루틴에서 호출되는 경우를 의미합니다. 코루틴(Coroutine): 메인루틴에서 호출되지만, 코루틴은 실행되는 도중에, 일시중단되어 다시 메인루틴으로 전환되었다가 다시 코루틴으러 전환될 수 있는 "제어흐름"이 가능한 루틴을 의미합니다. 코루틴, 메인루틴, 서브루틴은 프로그래밍에서 중요한 개념이며, 이를 이해하는 것은 프로그래밍의 성능을 향상시키는.. 2024. 3. 3.
Gist: github코드를 html내에 임베딩 GitHub 코드 임베딩은 GitHub Gist를 사용하여 코드 조각을 웹 페이지나 다른 문서에 삽입하는 기술입니다. Gist는 Git 저장소와 비슷하지만 단일 파일 또는 여러 파일의 스니펫을 보관할 수 있는 간단한 방법을 제공합니다. 여기에는 코드, 텍스트 또는 마크다운 문서 등의 다양한 유형의 스니펫을 저장할 수 있습니다. GitHub Gist를 사용하여 코드를 임베딩하는 일반적인 단계는 다음과 같습니다: Gist 생성: 먼저 코드 조각을 GitHub Gist에 업로드합니다. 이를 위해 GitHub에 로그인하고 "New gist" 버튼을 클릭하거나, 기존 gist를 수정하여 코드를 추가합니다. 코드 추가: Gist에 코드를 추가합니다. 파일 이름을 지정하고, 코드를 입력하고, 선택적으로 설명을 추가할.. 2024. 2. 28.

티스토리툴바