제목: 딥러닝 앙상블을 이용한 뇌전이 교모세포종 판별 : 임상 신뢰성을 위한 불확실성의 경험적 추정---Abstract Background and Objectives: 예측 불확실성 추정 및 해석 가능성을 제공하여, 교모세포종(GBM)과 단일 뇌 전이(SBM)를 구분할 수 있는 임상적으로 신뢰할 수 있는 딥 러닝 모델을 개발. Methods: 총 469명의 환자(GBM 300명, SBM 169명)를 훈련 데이터 셋에 등록함. DenseNet121을 기반으로 한 딥러닝 앙상블이 다중 매개변수 MRI를 사용하여 훈련되었다. 모델 성능은 외부 테스트 셋(GBM 101명, SBM 42명)에서 검증되었다. 각 입력에 대한 엔트로피 값이 불확실성 측정을 위해 평가되었고, 엔트로피 값에 따라 데이터셋이 높은 불확실..
제목: ChatGPT를 기반으로 한 한국의 환자 친화적 퇴원 요약: 소프트웨어 개발 및 검증ABSTRACTBackground: 환자 친화적인 언어로 작성된 퇴원 요약서는 환자의 이해도와 만족도를 높일 수 있지만, 직원의 업무 부담을 증가시킬 수 있음. LLM을 사용하여 환자 친화적인 퇴원 요약서를 생성하는 소프트웨어를 개발하고 검증함.Method: 심근경색 환자 50명과 일반 외과에서 치료받은 환자 50명을 포함하여 총 100개의 퇴원 요약 문서를 사용하여 소프트웨어를 개발하고 테스트함. 각 문서에 대해 세 가지 다른 프롬프트 방법(zero-shot, one-shot, few-shot)을 사용하여 세 개의 새로운 요약을 생성하고, 사실성, 포괄성, 사용성, 용이성 및 유창성에 대해 5점 리커트 척도로 평..
https://www.sciencedirect.com/science/article/pii/S2666389921002671Introduction데이터 라벨링은 머신러닝에서 비용이 많이 들고 시간이 소요되는 과정임.농업, 의료, 언어 번역과 같은 분야에서는 훈련된 전문가가 필요하여 이 문제가 더욱 심각해짐.Supervised learning model은 라벨이 있는 데이터에 의존하여 일반화하며, 대량의 라벨링된 데이터를 얻는 데 한계가 있음.Contrastive learning은 제한된 라벨 데이터 문제를 해결할 수 있는 잠재적 솔루션으로, 라벨이 없는 데이터를 사용해 데이터의 일반 표현을 학습함.대조 학습은 이미지, 비디오, 오디오 등 다양한 분야에서 효과적인 결과를 보여줌.긍정 쌍을 생성하는 방법 중 하..
summary논문 주제: ST분절 상승 심근경색을 감지하기 위한 임상적으로 검증된 인공지능 모델 개발https://www.sciencedirect.com/science/article/abs/pii/S0196064424003275 methods- 데이터: 전향적 경피적 관상동맥 중재술 레지스트리의 심전도(ECG) 파형 데이터- 관상동맥 조영술 데이터를 기반으로 각 심전도에 대한 기준(STEMI OR NOT STEMI) 설정- 5개의 CNN 을 결합한 앙상블 모델 개발- 검증 수행 방법: 증상 기반 심전도 데이터,의사와의 비교, 외부 검증 results- 18,697개 중 1745(9.3%)가 STEMI - AI 모델 accuracy( 전체 테스트 결과 중에서 올바르게 진단된 경우의 비율 92.1%)se..
티스토리 두 달만에 쓰다니 진짜 반성할게요최근에 다른 인공지능 동아리를 시작해서 medical AI 팀에 들어갔다. sound signal 분야는 처음인데, 이번 계기로 새로 알게되는 점이 많을 것 같다.논문 출처 : https://arxiv.org/pdf/2009.04402Abstract이 논문에서는 경량화된 컨볼루션 신경망(CNN) 아키텍처를 제안하여 폐 호흡의 hybrid scalogram features 기반 특징을 사용해 호흡기 질환을 분류한다. hybrid scalogram features 이란 , empirical mode decomposition (EMD) 와 continuous wavelet transform (CWT)를 사용한다. 모르는 용어 탐색:Empirical Mode Deco..
Meta(facebook)에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLM이다.AbstractLlama 2는 pretrained 되고 fine-tuned 된 LLM이다. 파라미터가 70억~700억개로 다양하고, 파인튜닝한 LLM, 즉 Llama 2- chat은 대화용 케이스에 최적화 되어있다. 안정성과 유용성 측면에서 비교했을때, PaLM이나 Falcon 과 같은 모델과 비교했을 때, Llama 2가 압도적으로 좋음을 알 수 있다. 그래프에서 초록색 구역에 있는 모델은 GPT-4에 따르면 Llama 2가 더 뛰어남을 의미한다. 문제가 되는 발언을 생성하는 비율에서는 Llama 2가 낮은 것으로 보아 안정성 측면에서도 뛰어난 모델임을 알 수 있다. Introduction훈련 방법이 겉보기에 ..
AbstractLLaMA 모델은 70억~650억 개의 파라미터를 가진 기초 언어 모델로 구성되어 있음수 조 개의 토큰에 대해 훈련시키고, 오픈소스 데이터셋만으로도 최첨단 모델을 훈련시킬수 있음. LLaMA-13B(130억개 파라미터)는 GPT-3(1750억개 파라미터) 보다 10분의 1보다 적은 파라미터 갯수로 더 뛰어난 성능을 보여줌 Introduction더 많은 파라미터가 더 나은 성능을 이끌어낼 것이라는 가정에 기반함. 특정 성능에 도달하기 작은 모델(극단적으로 gpu 1개)에서 데이터를 많이 수집하여 상대적으로 파라미터가 작은 것을 보완한다. 토큰 갯수를 늘리면 늘릴수록 정체되지 않고 계속해서 성능이 향상된다는 것을 발견.이 연구의 중점은 일반적으로 사용되는 것보다 더 많은 토큰에 대해 훈련..
BERT 코드 찾아보니까 huggingface나 berttokenizer 자체를 임포트 해서 진행하는 예시가 많았다. 파이토치로 바닥부터 구현하고 싶은데 튜토리얼이 따로 없어서 깃허브 보고 코드를 리뷰해보려고 한다.(내가 못찾는거 일수도...) 모델 아키텍처의 구조를 파악하고 공부하는것이 코드리뷰의 목적이기 때문에 모델파일 위주로 리뷰해보려고 한다. https://github.com/codertimo/BERT-pytorch GitHub - codertimo/BERT-pytorch: Google AI 2018 BERT pytorch implementation Google AI 2018 BERT pytorch implementation. Contribute to codertimo/BERT-pytorch de..
