본문 바로가기

분류 전체보기

 (158)
From AI to neuroscience 병변 분석. 싱글셀 레코딩., 뉴로이미징들의 뉴로 사이언스 테크닉이 ai에 적용 되고 있다 이를 virtual brain anal이라고 한다 차원 감소로 뇌를 시각화하는 기술이 최근 ai에 적용됨 Receptive field mapping 으로 한 유닛의 반응 특성을 본다Activity maximization 특정 클래스의 유닛의 행동이 최대화 됨으로 합성 이미지룰 생성함 중뇌 도파민성 뉴런의 신호를 분석해보면 TD- learning 과 놀랍게도 닮아 있다. AI의 분석하기 위해 내면 시각 흐름을 분석하여 deep supervised net에 대한 근거를 발견했다. LSTM이 전전두엽의 task 관련 정보의 gating-based maintanance 모델에 대한 인사이트를 제공해주었다.
세상에서 제일 터프한 시계 (필드 워치 추천) 시계를 한개를 가지든 100개를 가지든 누구든 누구나 필드워치 하나는 필요하다. 뜨루비용 혹은 컴플리케이션이 들어간 수준이 아닌 이상 필드워치론 적합하다. 하지만 남자들의 쓸데 없는 로망이 있다. 어떤 상황, 심지어 전쟁상황에서 든든하게 지켜줄 수 있는 시계가 있었으면 하는 그런 거 말이다. 그럼 남자들의 쓸 데 욕구를 채워줄 쿨한 상남자의 터프한 시계를 소개 해주겠다. 이런 걸 말하는건 아니다.... 평가항목 착용감, 내구성, 예술점수, 가격 진정한 필드 워치 지금 시작해보자 1. 지샥 5600 착용감: ★★★★ 내구성: ★★★★★ 예술점수: ★ 가격: ★★★★★ 필드워치로 제일 추천하고 싶은 시계이다. 지샥이 튼튼한 걸로 유명한데 그중에서도 내구성은 물론 인지도로도 제일 유명한 시계이다. 몇 년 동안..
Learning to rank 기본의 머신 러닝 방식: 한 번에 하나씩만 처리가능.(ex. 스팸필터: 하나의 메일에 대해서 스팸여부 확률을 구함)learning to Rank 중에 pointwise 방식도 리그레션 또는 classification방법을 사용함보통 square loss 혹은 cross entropy를 줄이는 식으로 학습함라벨이 구체적인 doc이 됨 Learning to Rank: 구체적은 스코어보다는 리스트의 order만을 생각함. 이들의 공통점은 랭킹을 pairwise classification 또는 regression 문제로 변형하여 해결하였다. pairwise: query 1개와 , document 2개를 비교하여 2개의 document의 순서를 정한다.순서가 바뀐걸 최소화하는 것으로 학습을 한다.대표적은 방법으로..
[오직 핵심]Softmax와 아이들 Softmax 수학적 의미multi class linear classifier(multinomial Logistic Regression) 실제적 의미K개의 클래스중에 특정 클래스에 속할 점수를 멋있게 확률 값으로 바꿔줌 (참고! 확률 값의 특징: 양수, 합이 1) 수식 Softmax는 그냥 한 클래스에 속할 확률을 나타내줄뿐이므로 학습을 위하여 cost function 이 필요하다대표적인 2개의 cost function은 아래 두개 이다. Classification는 기본적으로 정답 클래스은 한개 이다. Hinge loss기본 개념정답스코어보다 오답 스코어가 1이상 작은 경우에는 loss = 01이상의 차이가 안 날 경우 그만큼을 cost로 여김 즉! 정답과 일정 이상의 점수가 낮아지도록 학습함 예시정답..
[오직 컨셉]Generative model vs Discriminative model |봐도 봐도 어려운 두 모델 비교해보도록 하자 정의상으로 보자 Generative model은 joint distiribution p(x,y)를 학습에 사용하는 방법이다(x,y)란 무엇인가? 데이터 그 자체를 의미한다.p(x,y)는 그 데이터가 나올 확률을 의미하게 된다.사물 인식을 예를 들면, (x = 고양이 사진, y=고양이): 고양이라는 label를 가진 고양이 사진 그 데이터 그 자체p(x = 고양이 사진, y=고양이): 고양이라는 label를 가진 고양이 사진 그 데이터가 나올 확률 Discriminative model은 posterior p(y|x)를 학습에 사용하는 방법이다.p(y|x)는 classifier에게 매우 자연스러운 확률이다.어떤 데이터가 주어졌을때 특정 레이블을 가진 확률이다.예..
[오직 컨셉]Gradient Descent Gradient Descent기본 개념기울기 = 0인 즉 최대값인 상단 피크(concave) 또는 최소값인 하단 피크(convex 그래프)인 부분을 찾는 알고리즘, 장점: 수학적으로 간단하다단점: local maxima, local minima, saddle point도 여기에 포함된다. Stochastic Gradient Descent기존 방법은 전체 트레이닝 데이터를 보고 한번의 업데이트를 하는데 이러면 1 epoch 에 한번의 업데이트만 일어난다. 그래서 너무 오래걸리는 문제가 발생한다. 그래서 매번 임의의 데이터 하나를 샘플하여 그 데이터에 대해서 gradient를 계산하여 업데이트를 해준다 장정: 업데이트 속도가 매우 빠르다.단점: 데이터 하나만 보기 때문에 이상한 방향으로 업데이트가 될 확률이..
[오직 컨셉] 텐서플로우(Tensorflow) 텐서플로우 핵심 컨셉 텐서(tensor)라는 노드로 그래프를 구성하고 세션에서 그래프를 실행한다.(정확히는 노드를 실행시키므로써 그래프를 실행시킨다) 2+3 =5라는 것을 계산하고 싶다면? 1. 2라는 A 노드를 생성한다. ( a = tf.constant(2))2. 3이라는 B 노드를 생성한다. (b = tf.constant(3))3. 첫번째 노드와 두번째 노드를 더하는 C 노드를 생성한다. (c = a+b)4. 세션을 만든다. (sess = tf.Session())5. 세션에 C 노드를 넣고 실행시키면 5가 튀어나온다. (sess.run(c) ==> 5) Tensor란? 여기서는 모든 종류의 데이터를 의미한다. 이 tensor는 shape이 존재한다. 0차 Tensor 이자 스칼라이자 shape:() ..
[오직 컨셉] Attention Attention(for Seq2Seq) 기본 개념연속적인 많은 정보중에 특정한 부분에 집중하는 기법, 말그대로 집중 한 줄 의미: 현재 출력할 부분 직전과 비슷한 의미(비슷한 단어)가 나왔던 곳만 집중하여 정보를 가져와서 입력으로 넣어준다. 좀 더 상세 의미 1. encoding 즉 입력 쪽에서 hidden state를 싹싹 모은다. 여기에는 입력 문장의 구간별 정보가 잘 담겨져있다. (이를 F matrix라고 한다) 2. 이를 통째로 decoding, 즉 출력 쪽으로 보낸다. 3. attention 값을 원하는 곳 직전의 hidden state를 살짝 변형한다. (V 행렬로 변형 시켜준다) 4. 위에서 살짝 변형된 hidden state와 유사한 encoding의 hidden state를 찾는다. 5..
반응형

티스토리툴바