Rosy's Artificial Intelligence Blog

.. https://colab.research.google.com/github/rwightman/pytorch-image-models/blob/master/notebooks/EffResNetComparison.ipynb#scrollTo=xx-j8Z-z_EGo 불러오는 중입니다... https://github.com/Tony607/efficientnet_keras_transfer_learning/blob/master/Keras_efficientnet_transfer_learning.ipynb Tony607/efficientnet_keras_transfer_learning Transfer Learning with EfficientNet in Keras. Contribute to Tony607/efficien..

1. 클렌징 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 import re def data_processing(text): text_re = re.sub('[-=+,#/\?:^$.@*\"※~&%ㆍ!』\\‘|\(\)\[\]\`\'…》]', ' ', text) #Single character removal text_re = re.sub(r"\s+[a-zA-Z]\s+", ' ', text_re) # Removing multiple spaces text_re = re.sub(r'\s+', ' ', text_re) return text_re text = "DF+#$%^ $^&@$%} a " data_processing(text) """ 'DF } ' ..

1. 군집화(clustering)이란? 주어진 데이터들의 특성을 고려해 데이터 집단(클러스터)을 정의하고 데이터 집단의 대표할 수 있는 대표점을 찾는 것으로 데이터 마이닝의 한 방법이다. 클러스터란 비슷한 특성을 가진 데이터들의 집단이다. 반대로 데이터의 특성이 다르면 다른 클러스터에 속해야 한다. (by 위키백과) 비지도학습종류 2가지 1. 데이터 클러스터링 2. 특성 변수 관계 탐색 -> 데이터 클러스터링? 여러번의 반복을 통해 데이터의 최적 분할을 진행하는 방법 -> 특성 변수 관계 탐색? 각종 연관성 분석 방법을 통해 변수 사이의 관계를 찾는것 2. 군집화 알고리즘 (1) K 평균 군집 중심점(centroid)라는 특정한 임의의 지점을 선택해 해당 중심에 가장 가까운 포인트들을 선택하는 군집화기법..

우선 window에서 쓰는 컴퓨터를 싹 다 지우고 우분투로 넘어오기 위해 ... 파일을 설치 했다. 진짜 삽질 정말 많이 했지만 우분투를 쓰게 되면 나의 편함이 훨씬 더 올라가기 때문에 어쩔수 없었다. 특히 개발할때는 우분투가 훨씬 편하기 때문에 끝까지 가보기로 하였다. 나같은 경우 hdd가 window파일 전용으로 설치되었기 때문에 무조건! 포맷을 하고 다시 하드를 인식시키는 과정이 필요하였다. 설치하면서 헷갈렸고 오류났던것만 정리한다. * 우분투 emergency mode 들어갔을때 > mount -o remount,rw / > vi /etc/fstab 이전에 설정한 부분 수정후 저장 > :wq > reboot * 우분투 하드디스크 권한 주기 > sudo chown -R user:user /media..

계속 push 안되서 뻘짓하다가 실수한점 git add * git commit -m "message" git push origin master message를 넣어주어야지 커밋됨... 간단한 commit방법 git add {변경한 파일병} git commit -m “{변경 내용}" 커밋이력확인 git log // 모든 커밋로그 확인 git log -3 // 최근 3개 커밋로그 확인 Please move or remove them before you can merge git add -A git stash git pull https://www.zerocho.com/category/Git/post/581042fdcae2d100152ceae6 (Git) Github 사용하기, remote, clone, push..

0. 자연어처리? - 프로그래밍언어처럼 기계가 이해하는 언어가 아닌 한국어, 영어처럼 사람이 사용하는 언어를 기계가 분석하고 이해해서 사람과 커뮤니케이션 할 수 있도록 해주는 연구분야 1. 기계번역이란? - 자연어처리의 하나의 번역 - NLU + NLG 1.1 규칙기반 기계번역 1.2 통계기반 기계번역(SMT, Statistical Machine Translation) - 두 언어의 parallel corpus에서 co-occurance 기반의 통계 정보를 바탕으로 번역을 수행 - 지금 사용 X 1.3 인공신경망 기반 기계번역 (Neural Machine Translation) --> chapter 2 2. 인공신경망 기반 기계번역 (Neural Machine Translation) 2.1 구조 Enco..

0. Language Representation 인간의 언어를 다차원 벡터로 표현하여 컴퓨터가 이해할 수 있도록 하자! 언어를 어떻게 잘 표현해낼 수 있을까? 어떤식으로 표현해야지 좋을까? 어떻게 지식표현 체계로 바꿀 수 있을까? 1. One HOT - 희소표현(Sparse Representation) 과거 word prepresentation 방법은 원핫 인코딩(one-hot encoding) 방식을 주로 사용해왔음 원핫 인코딩을 통해서 원핫 벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현 이러한 표현 항식은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다. 단어들 간의 관계성을 고려하여 표현하지 않음 2. 워드 임베딩(Word Embedding) 단어를 ..

0. Contextual Representation - 문맥에 따른 다른 단어를 구별할 수 없다. Word2vec이나 Glove같은 경우? - Open a bank(은행) account & On the river bank(둑) ==> 같은 vector로 표현 Contextual Representations 경우? - 문맥에 따라서 Contextual Representation이기 때문에 같은 bank라도 다른 의미로 인식 1. ELMo(Embeddings from Language Model) - LSTM으로 랭귀지 모델을 만든다 - backward & forward 를 각각 더하는것이기 때문에 완전한 양방향이라고 할 수 없다. 2. OpenAI GPT - Transformer 이해 필요 3. BERT -..

1. 자연언어 (Natural Language) * 자연언어란? - 인간 고유의 언어 - 정보 전달의 수단 * 인공언어란? - 특정 목적을 위해 인위적으로 만든 언어 - 자연언어에 비해 엄격한 구문을 가짐 자연언어처리? 일상의 언어를 처리하는 것 * 자연어처리 = 컴퓨터과학 + 인공지능 + 언어학 2. 용어정리 * NLP - Natural Language Processing ( 자연어 처리) * NLU - Natural Language Undertanding(자연언어이해) -> NLP에 속한다 3. 자연어처리가 어려운 이유? - 동일한 표현이 다양한 방법으로 해석될 수 있는 애매성(ambiguity)을 내포 - 형태소 수준의 매매상 - 구문 수준의 애매성 ( 두개의 침실 or 두개의 스위트룸) - 구문적..

[Ubuntu]Anaconda 설치 > wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh > bash Anaconda3-5.1.0-Linux-x86_64.sh > source ~/.bashrc #bashrc 활성화 > conda --version # 버전 확인 > conda update conda #아나콘다 업데이트 > conda create --name nlp python=3.6 #가상환경 만들기 > conda info --envs > source activate nlp > conda install notebook ipykernel jupyterlab > jupyter notebook > python -m ipykernel i..