본문 바로가기

전체 글198

[버그해결] OSError: libopenslide.so.0: cannot open shared object file: No such file or directory 문제점파이썬 바인딩 오픈슬라이드(python-openslide)는 OpenSlide을 필요로합니다. 파이썬 바인딩 오픈슬라이드(python-openslide) 설치되었는데, OpenSlide가 설치되지 않아서 발생하는 에러입니다. 해결방법아래와 같은 명령어로 openslide을 운영체제 내에 설치해줍니다.sudo apt-get install openslide-tools   추가 버그1ImportError: /lib/x86_64-linux-gnu/libgobject-2.0.so.0: undefined symbol: ffi_type_uint32, version LIBFFI_BASE_7.0해결방법conda install openslide -c conda-forge https://github.com/elerac.. 2024. 4. 12.
[5분 컷 리뷰] Self-distillation 설명 Data-Distortion Guided Self-Distillation for Deep Neural Networks , AAAI 2019 배경: Knowledge distillation 큰 모델의 model confidence (softmax output)은 이 큰 모델이 학습한 지식을 담고있지 않을까라는 가설로 시작됩니다. 큰 모델의 결과물(증류된 정보)을 이용해서 작은 모델을 간단히 학습할 수 있지 않을까라는 생각입니다 [1]. 즉 큰 모델의지식(knowledge)이 model confidences 분포이겠구나라는 것입니다. 아래의 그림과 같이 Teacher model이 훨씬 큰 딥러닝모델이고, Student모델이 더 작은 모델입니다. 큰 모델의 예측결과(model confidences)자체가 큰 .. 2024. 4. 11.
API token bucket: API 요청수 관리 API 요청을 관리하는 데에는 여러 이유가 있습니다. 그 중에서도 토큰 버킷을 사용하는 이유는 다음과 같습니다: 트래픽 제어: 토큰 버킷을 사용하면 API로 들어오는 트래픽을 제어할 수 있습니다. 이를 통해 서버에 과도한 부하가 걸리는 것을 방지하고, 서비스의 안정성을 유지할 수 있습니다. 사용량 제한: 토큰 버킷을 이용하면 API를 사용하는 클라이언트의 요청 수를 제한할 수 있습니다. 이는 과도한 사용량으로 인한 서버 과부하를 방지하고, 공정한 서비스 이용을 보장합니다. TokenBucket 만들기 토큰 버킷 패턴은 고정된 속도로 토큰을 생성하고, 요청이 들어올 때마다 토큰을 소비하여 일정량의 토큰을 가지고 있는지 확인하여 처리하는 방식입니다. 알고리즘은 아래와 같습니다. TokenBucket은 버켓(.. 2024. 4. 8.
pip install -e 옵션에 대해 "-e" 옵션은 설치한 경우 파이썬 패키지를 담는 "site-packages" 디렉토리에 설치되는 것은 동일하나, 심볼릭 링크로 설치가되어 원본소스코드가 변경된 후, 별도의 pip install 명령어 없이, import시 바로 변경사항이 반영되는 옵션 pip install -e 옵션 종종 github에서 `pip install -e .`로 "-e"옵션을 함께 전달하여 파이썬 패키지를 설치하라는 리포지토리가 있습니다 예시로 아래와 같은 패키지 디자인의 경로가 있다고 가정합니다. (camelyon) @gpusvr03:~/repositories/camelyon$ tree -L 1 . ├── camelyon ├── data ├── LICENSE ├── logs ├── notebooks ├── README.md.. 2024. 4. 2.
Generating highly accurate pathology reportsfrom gigapixel whole slide images with HistoGPT Method - 모델아키텍처 VLM (Vision Lanuage Model)으로 슬라이드 이미지를 입력으로 레포트를 생성하는 것을 의미합니다 (Figure 2A). 컴포넌트는 2가지입니다. 비젼모델과 언어모델입니다. VFM(Vision Foundation model): visual features을 생성합니다. 모델은 CTransPath: Swin transformer로 TCGA, PAIP데이터셋을 SSL로 학습한 모델입니다. Lanuage model: Vision feature와 프롬프트을 언어모델에 전달한 결과를 cross-attention을 이용하여 최종 레포트를 내는 모델입니다. model: BioGPT(Auto-regressive generative model의 Transformer중 디코더 파.. 2024. 4. 1.
Deep learning in cancer genomics and histopathology: Review 조직병리학(Histopathology)은 종양의 형태(morphology)와 표현형(phenotype)등 진단을 위한 부가적인 정보를 연구하는 학문입니다. 대부분 조직병리학에서는 H&E(Hematoxylin & Eosin)으로 조직을 염색합니다. 이때, 표현형의 정보를 부가적으로 더 얻기위해서, 유전학정보를 추가하기도합니다. 유전학 관련 정보에서는 환자의 생존율, 항암제 반응등을 추가로 더 연계합니다. 2021년기준으로 FDA에 243종의 항암제가 승인되어서, 관련 연구는 더 활발해지고 있습니다. 최근에는 AI을 이용한 연구로 DP을 접목시키고자하는데 관련 연구들이 어떤 것들이 있는지 개괄적으로 살펴보겠습니다. 딥러닝을 이용한 조직병리학 - 조직병리학에서는 고형암을 병리학(pathology)이나 세포학(.. 2024. 4. 1.