멋쟁이사자처럼 AIS752 [1219] 시계열 데이터와 비즈니스 데이터 분석 시계열 분석 1. tensorflow 링크 https://www.tensorflow.org/tutorials/structured_data/time_series 2. window_size 비즈니스 데이터 분석과 군집화 1. 오가닉 트래픽(Organic Traffic) 광고나 소셜미디어, 리퍼럴 사이트와 같은 채널을 통해 사이트로 유도되는 트래픽을 제외하고 검색 엔진을 통해 곧바로 유입되거나 동일한 도메인 안에서 유입되는 트래픽 '고객에게 자연스럽게 도달한다'는 의미 2. Attribute Information InvoiceNo : 송장번호, 6자리 정수 이 코드가 문자 'c'로 시작하면 취소를 의미 StockCode : 제품 코드 Description : 제품 이름 Quantity : 거래당 각 제품의 수.. 2022. 12. 19. [1215] RNN 텍스트 데이터 벡터화 하는 방법? 토큰화(str.split()) => one-hot-encoding => bag of words(min_df, max_df, analyzer, stopwords, n-gram) => TF-IDF(너무 자주 등장하는 단어는 낮은 가중치, 특정 문서에만 자주 등장하는 단어는 높은 가중치) RNN 은 순서가 있는 데이터를 예측할 때 주로 사용하는데 BOW 순서를 보존하지 않습니다. 그래서 시퀀스 방식의 인코딩을 사용했습니다. Embedding => 여러 각도에서 단어와 단어 사이의 거리를 봅니다. 가까운 거리에 있는 단어는 유사한 단어이고 거리가 멀 수록 의미가 먼 단어 입니다. => 의미를 좀 더 보존할 수 있게 되었습니다. 텍스트 데이터 전처리 방법? 정규표현식 => 텍스트.. 2022. 12. 15. [1214] KoNLPy와 RNN(1) KoNLPy 필요성 대표적인 자연어 처리 도구인 NLTK, Spacy는 한국어를 지원하지 않음 설치 => 복잡하다! 1) 자바 설치 2) Jpype를 설치하여 파이썬과 연결 3) 최종 설치 품사 태깅 클래스 간 비교 => Komoran은 자바용이라서 소속 개발자들이 울분을 토하고 있음. Pecab 깃허브 : https://github.com/hyunwoongko/pecab Pecab is pure python Korean morpheme analyzer based on Mecab 설치 : !pip install pecab from pecab import PeCab pecab = PeCab() pecab.pos("점심 메뉴 추천 받습니다.") >>> [('점심', 'NNG'), ('메뉴', 'NNG'), .. 2022. 12. 14. [1212] CNN 마무리와 NLP 입문 1004 날씨 분류 실습 CNN 복습 1) MNIST, FMNIST, cifar10, 말라리아 혈액도말 이미지, 날씨이미지 를 통해 이미지 분류 실습을 알아보았습니다. 2) CNN Explainer 를 통해 Conv, Pooling 과정을 이미지로 이해해 봤습니다. 3) 왜 완전밀집연결층을 첫 레이어 부터 사용하지 않고 합성곱 연산을 했을까요? 완전밀집연결층은 flatten해서 이미지를 입력해주는데 그러면 주변 이미지를 학습하지 못 하는 문제가 생깁니다. 합성곱, 풀링 연산으로 특징을 학습하고 출력층에서 flatten해서 완전연결밀집층에 주입해 주고 결과를 출력합니다. 4) 기존에 사용했던 DNN 에서 배웠던 개념을 확장해서 합성곱 이후 완전연결밀집층을 구성하는 형태로 진행해 봤습니다. 5) 이미지 전처.. 2022. 12. 12. [1207] 전이학습과 다차원 배열 1003 실습과 1004 실습 소개 1003 => 전이학습(trasfer learning) => 기존 유명한 논문의 CNN 모델이 이미 TF, keras, PyTorch 등에 구현이 되어있습니다. 그래서 해당 모델을 직접 구현하지 않고 가져다 쓸 수 있는게 전이학습입니다. 여기에서 미세조정 등을 해주게 되면 직접 모델을 구현했을 때에 비해 거인의 어깨 위에 올라가서 사용하기 때문에 조금 더 나은 성능을 내기도 합니다. 1004 => 날씨이미지 분류(TF, keras 의 이미지 전처리 기능을 사용하지 않고 넘파이로 직접 이미지 array를 만들어 봅니다. 다차원 배열을 만들어 CNN에 적용하는 실습이 목적입니다.) CNN 복습 Q. 스트라이드(몇 칸씩 이동하는지)를 크게 설정하면? A. 용량은 줄어들고 학.. 2022. 12. 7. 이전 1 2 3 4 ··· 11 다음
