미래에서 온 타입 캡슐

올해(2019년)는 논문도 못쓰고 특허만 3건을 받았다.

모두 딥러닝을 이용한 치매 진단 관련이다. 모두 미국 특허 출원 진행중이다.

1. "질병예측 장치 및 이를 이용한 질병 예측 방법 (등록번호: 10-2057047)"은 뇌파나 심전도를 분석하여 치매를 조기 진단함에 있어 자질 추출 및 진단 과정의 블랙박스를 없애고 계산 복잡도를 낮추어 실시간 진단을 가능하게 하는 기술이다. '인바디' 처럼 휴대용 소형 치매 진단기를 개발하기 위해서 필수적인 기술이다.

2. "바이오 시그널 가시화 시스템 및 유효 패턴 추출 방법 (등록번호: 10-2009758)"은 뇌파나 심전도등 바이오 시그널에서 질병인과 정상인 그룹의 시그널을 모델링 및 가시화하고, 두 그룹을 구별하는 결정적인 패턴을 결정/인식/추출하는 방법이다.

3. "배회 감지 서버 및 이를 이용한 배회 감지 방법 (등록번호: 10-1996212)"는 치매 환자가 배회를 시작 할때 이 상황을 빨리 인식하고 보호자에게 연락하기 위한 특허이다. 딥러닝의 임베딩 기술을 이용하여 걸음 걸이의 요소(이동, 방향전환)등을 벡터화한 후 벡터 연산을 통해 비정상 상황을 빨리 감지한다.

위 그림은 이글과 아무 관련이 없고 구글에서 퍼온 그림임.

뇌파를 보다보면 점점 노이즈 처리의 어려움으로 분석의 한계에 봉착하게 된다.아니 노이즈 처리의 어려움까지 가기전에 어디까지를 노이즈로 할것이고 어느 영역까지를 뇌파로 할것인지 결정하는 것부터 큰문제거리다. 그만큼 뇌파라는게 온갖 생체,환경,장비시그널의 결합체인것이다. 뇌파에는 뇌파이외에도, 심전도, 관측장비시그널, 근육움직임파동, 눈깜빡임, 눈동자 움직임, 턱근육 움직임, 전류, 저항잡음, 주변환경신호,등등이 섞여 있는데. 이건 마치 수백명이 물장구치는 수영장에서 철수가 만드는 파형만을 뽑아분석하려는 것과 같다... 어쩄든 그런 얘기를 하려는 건 아니고.

노이즈가 극히 적다는 가정하에 노이즈가 러닝에 어떤 영향을 끼지는지 조사를 해보았다. 몇가지 실험을 해보면 노이즈가 있는 데이터는 러닝 효율이 좋다. 내가 가진 정신착란 생쥐의 뇌파의 경우는 96퍼센트의 정확률로 분류하기까지 한다. 어마어마하게 뭔가 잘못된것이다. 물론 오버피팅이 되는 것이다. 첨부 이미지처럼 저렇게 electric pop 노이즈의 경우는 특히 그렇다. 쉽게 말해 저렇게 특이한 데이타(노이즈)가 들어오면 기계가 기억하기 쉽기 때문에 오버피팅이 되는 것이다. 마치 학생들 이름을 잘 못외우는 교사가 코에 유난히 큰 점이 있는 학생의 이름은 잘 기억하는 것과 같다( 맞는 예인가? ) 이러한 노이즈는 학습된 기계의 지능자체를 올려주는 것은 아니기때문에 지양해야한다.

하지만 저런 노이즈 말고 좀더 부드러운 노이즈는 어떨까? 몇몇 논문에서는 마일드한 노이즈를 섞어서 학습하는 것이 기계의 지능을 높이는 바람직한 학습을 가능하게 한다고 밝히고 있다. 즉, 앞의 예를 이용하면, 거의 대부분의 학생들 얼굴에 적절히 주근깨와 점들이 있다면 그 교사는 주근깨와 점에 집중하지 않고 학생들의 얼굴과 그외 본질에 연관하여 이름을 기억하게 되므로 더 많은 학생의 이름을 오래 기억할 수 있다. 딥러닝에 드롭아웃을 주는 이유도 아마 이와 같은 맥락인듯하다. 데이터에 노이즈를 넣을 수는 없으니까 학습할 때 노이즈를 줘서 학습 효과를 떨어뜨리는 것이다.

현실로 돌아와서..  뇌파에서는 저 그림과 같은 노이즈를 지우는 것은 사실 큰 의미는 없어 보인다. 이미 뇌파는 앞서 말한 노이즈 아닌 불필요 데이터들과 섞여 크게 요동치고 있고 자동화된 노이즈 제거 노력은 오히려 데이터를 일그러뜨려 망칠뿐이다. 그 보다는 뇌파와 섞이는 다른 신호들도 모두 저장하고 모두 같이 분석하는 기술의 개발이 필요한듯하다. 그럴려면 엄청난 양의 데이터 분석이 필요하겠지만..

치매 예측 딥러닝을 위한 뇌파 데이터의 분류는 생각의 꼬리를 이어 이어..

Time Series 뇌파 -> 2D image data -> serial images(frames) -> video 로 이어졌고.

결국 

problem of dementia prediction은 video understanding의 문제로 전환.

이제 뇌파 이미지를 동영상 변환 하는데까지는 어떻게 된거 같은데. 그렇다면 이제 동영상은 어떻게 vectorize 해야하는 걸까? canova javadoc에는 안나온다.

개별 프레임을 이미지로 추출하여... 그냥 나열한 후 vector 화? 이렇게 되면 전극간 spatial 정보를 학습하겠다던 애초 가설이 충족되지 않는다. 

구글링이 필요함.

세부과제 2
Deep learning for Early Detection of Dementia
and a pilot study

운영회의

2016.05.24

목차

인공지능(기계학습)을 이용한 질병 진단

Why Deep Learning?

기존 기계학습

Deep Learning

Deep Learning을 이용한 EEG 분석 Pilot Study

Why Deep Learning (Neural Network)?
Integrated Learning

기존 데이터 분석을 통한 질병 진단

기존 기계학습을 이용한 학습

기존 기계학습을 이용한 진단

딥러닝을 이용한 진단

딥러닝을 이용한 학습

사람의 인지 과정과 유사

추상화: 저수준표현è고수준 표현

기존 기계학습 기법 대비 Deep Learning 장점

자동화된 Feature selection

학습 데이터 제작 비용 ↓ 시간 ↓

대용량 원시 데이터 학습 (sensor, raw,…)

월등한 성능!!

현재 딥러닝 기술 수준

Playing Game

Object Recognition

Semantic Segmentation

Image Completion

Hand Writing by Machine

Music Composition

Image Caption Generation

Visual Question Answering

Word Analogy

Neural Machine Translation

Playing Game

Object Recognition

Semantic Segmentation

Image Completion

Hand Writing by Machine

Music Composition

Painting

Image Caption Generation

Visual Question Answering

Word Analogy

Neural Machine Translation

Deep Learning을 이용한 EEG 분석 Pilot Study

UCI EEG Data

Two groups: alcoholic and nc

122 subjects x about 120 trials (different stimuli); total 11057 cases

Each case:  64 electrodes x 256 hz

700mb

Stimulus: object S1, or S1 and S2 (matched or non-matched)

Electrode position: Zhang et al. 1995

Alcoholic EEG vs NC EEG

Pilot Study

Pilot Study

Deep Belief Network을 이용한 EEG 데이터 학습

EEG 최대값 465.63, 최소값 -158.96, 평균 -1.86

대부분 -30~+100에 집중

Z-score normalization

Pilot Study

‘전체 데이터의 90% 학습, 10%는 평가에 이용’ 10 fold cross-validation

실험결과

Accuracy(=(TP+TN)/(P+N)): 0.77

Precision(=TP/(TP+FP)): 0.78

Sensitivity(=Recall=TP/(TP+FN)): 0.78

F1 score(=2TP/(2TP+FP+FN)): 0.78

Further Study

Further study

뇌파 패턴 분석

Normalization 최적화 (z-score, linear min-max, 3depth linear, Bezier,...)

Activation function 최적화

Network type 최적화

DBN, CNN, RNN, LSTM, RBM, DeepQ,..

Question? Comment?