머신러닝 읽어주는 남자 (31) 썸네일형 리스트형 음악생성 Dynamics(셈여림: 각 노트의 자연스러운 강약) Timre(음색) bar 마디 Magenta 강화학습으로 학습시킨 LSTM모델 롱텀 구조를 강화하기 위해 GAN, Transformer도 사용했음, 그냥 트랜스포머보다 relative 트랜스포머가 효과적 magneta studio라는 프로그램 또는 Ableton Live라는 프로그램의 플러그 인으로 제공 패널티 조건: 키에 없는 음표 사용, 음악의 다양성을 주기 위해, 작곡 간에 autocorrelation이 높은 경우 음표가 심하게 반복 될 경우 보상 조건 작곡의 시작이 토닉 노트(C major)에서 도로 시작할 경우 너무 인터벌이 길어지면 어색하니 뒤로 돌아감 유일한 최대 음표, 유일한 최수 음표로 작곡한 경우 모티브에 있는 음표를 사용한 경우 M.. 음악 생성 테크트리 전체 개요 https://towardsdatascience.com/neural-networks-for-music-generation-97c983b50204 Neural Networks for Music Generation Can we reproduce artists’ creativity through AI? towardsdatascience.com https://medium.com/analytics-vidhya/music-generation-using-deep-learning-a2b2848ab177 Music generation using Deep Learning “If I had my life to live over again, I would have made a rule to read some poe.. docker에 대한 모든 것 빌드업 도커 설치 curl -fsSL https://get.docker.com/ | sudo sh 권한 문제 해결 핵심은 현재 계정을 도커 그룹에 포함시키면 됨 새로운 docker그룹 생성 sudo groupadd docker 현재 유저를 docker그룹에 추가하여 주기 sudo usermod -aG docker $USER docker 그룹에 로그인 newgrp docker 도커 테스트 docker run hello-world 도커 설정 컨테이너 목록 확인 docker ps 도커 검색 docker search 또는 도커허브에서 검색 있는거 땡겨오기 docker pull 가진 도커 이미지 검색 및 삭제 docker images - 검색 docker rmi : - 삭제 docker rmi $(docker i.. 오분류(misclassify), 상관 없는 데이터(out-of-distribution) A baseline for detecting missclassified and out-of-distribution examples in NN 분류기를 만들다보면 오분류되는 건 당연히 문제가 듣도 보도 못한 새로운 데이터가 와서 엉뚱한 클래스에 꽂혀버린다. 우리가 분류기를 만들 때 세상에 모든 클래스를 커버할 수 없기에 당연히 발생하는 문제다 문제는 뉴럴넷이 너무 over confidence하여 이를 걷어내기 어렵다. 즉 틀렸음에도 점수가 너무 높다. (낮으면 쓰레스홀딩으로 걷어내면 될텐데 말이다.) 이를 야기하는 원인은 몇가지가 있는데 - sigmoid, softmax의 슬로프의 급격함 - depth 중가 - filter 수 증가 - batch norm 의 존재 - weight decay 감소 이다 Ac.. model knowledge distillation 관련 논문: Distilling the knowledge in a neural network(2015) distillation: 정제. 즉, 불순물이 많은 앙상블(ensemble) 모델에 불필요한 부분을 걷어내고 최소한만을 남기는 행위 Why? 일반적으로 앙상블 모델을 사용하면 regularization이 되어 성능이 향상됨(3%) but 너무 크고 무거운게 함정 그래서 싱글 모델로 앙상블 모델의 성능을 얻어내기 위함 How? - 방법 1. 기존 데이터에 노이즈를 섞어서 새로운 데이터 생성 -> 앙상블 모델로 레이블링 -> 많아진 데이터로 싱글 모델 학습 데이터가 아주아주 많으면 오버피팅 문제를 해결할 수 있어서 효과적임 -방법 2. 방법1처럼 데이터를 더 생성 -> 앙상블 모델에서 나온 logit 값으.. Adversarial examples Adversarial examples 정의머신러닝 모델이 의도적으로 실수하도록 만들어진 예시즉, 눈으로 보기에는 같은 이미지이나 의도적으로 기계에게 다르게 보이는 이미지를 의미한다. 아래는 판다 그림에 약간의 노이즈를 섞으니 긴팔원숭이로 인식해버린다. 이러한 이슈는 머신러닝 모델의 안정성, 특히 보안 분야에 치명적인 문제를 일으킬 수 있기 때문에 해결해야하는 문제이다. 해결법1. adversarial training그냥 adversarial example을 만들어내고 같이 학습시켜버리는 단순 무식한 방법 2. defensive distillation머신러닝 모델에서 나온 결과인 class prob.에서 가장 확률이 높은 클래스를 정답으로 판단하는게 일반적이다. 하지만 그렇게 하지 않고 이를 또 다른 모델.. NLP 관련 용어 총정리-1 Natural Language Processing(NLP)쪽을 하다보면 일반적으로 잘 쓰지 않은 영단어들이 나온다.그것도 아주 많이 또 자주옛날옛적에 성문 기초 영어에서나 봤음직한 단어들이 나온다. 물론 대부분의 단어가 기억이 날리가 없다. 내 머리가 그렇지 뭐....NLP에서 자주 쓰이는 단어들을 정리보고자 한다. 1. 품사(part-of-speech)의 종류 구문적(syntactic)적인 분석, parser를 위해서는 품사 분석이 기본이다.보통 이를 분석해주는 것을 POS tagger, Syntactic parser라고 부른다. 이를 위해서는 다양한 품사 용어 해석 상세 noun명사 verb동사 adjective 형용사 명사를 수식 해주는 것 adverb부사 동사, 형용사를 수식해줌 pronoun대명.. Autoencoder, Variational Autoencoder 정의와 차이 AutoEncoder 대표적인 unsupervised 학습이자, dimension reduction 방법이다.입력 A=> Encoder => 차원이 줄은 어떤 임베딩 이 나오고 차원이 줄은 임베딩 => Decoder => 입력 A 이 나오게하는 방법이다.이는 말 그대로 그냥 dimension을 줄이는 것이 목표이기 때문에 데이터가 생성된 확률 분포에는 관심이 전혀없다.그냥 앞뒤로 본인을 집어넣고 중간에 디맨젼이 줄은 값을 꺼내쓰는 방식이다. 요약하면 autoencoder는 한 점을 만들어내고 그 점에서 다시 본인을 만들어내는 시스템이다 Variational Autoencoder 얼추보면 autoencoder랑 동일해보이나 가장 큰 차이는 데이터의 확률 분포를 찾는 것이다.autoencoder는 한점을 만.. 이전 1 2 3 4 다음
