전체 글146

• 

  11.21 오후 머신러닝 분류 모델링, KNN,선형회귀 3-1. 머신러닝 분류 모델링 1. 머신러닝 사람이 일련의 규칙을 입력하여 데이터(input)를 넣어 주었을떄 데이터를 학습하여 유의미한 패턴을 찾아내는 작업(output) 2. 기계학습 유형 3.supervise lerning 학습데이터로부터 f를 찾는 방법론 4. 3을 위한 데이터셋 독립변수 X 종속변수 Y = f(X) 범주형이면 classification 연속형이면 regression training데이터와 testing데이터로 분리 이떄 training만 잘된상태가 아닌 training에서 없는 데이터를 예측하는것이 중요하기떄문에 test데이터셋의 성능도 봐야합니다 또한 training 과정에서 함수의 특성을 결정지어주는, 기저가 되는 기저함수. 영어로는 basis function의 특징들, 복잡.. TIL/머신러닝 2022. 11. 21.

• 

  11.21 오전 인공지능,머신러닝, 딥러닝 /머신러닝 프로세스 개요 1. 인공지능과 머신러닝 개요 2.머신러닝 학습개념 3. 머신러닝 프로세스 및 활용 1.인공지능과 머신러닝 개요 1-1 인공지능과 머신러닝개요 ,인공지능 머신러닝 딥러닝비교 머신러닝: 인공지능을 구현하는 1가지 방법이다 => 결국에 머신러닝이라고 하는 건 유용한 함수를 학습하는것. [데이터 => 머신러닝(컴터)=> 함수 => 해결(컴터) => 결과물도출] 전통적 ai 일련의 로직들, 일련의 절차들을 직접 디자인을 해서 모두 다 사람의 지식을 그대로 모사하게끔 만들었고,그 다음에 컴퓨터에게 입력을 시켜서 최종적인 output을 내게끔 그렇게 디자인이 되어 있다. 최근 ai function의 기본적인 형태를 컴퓨터에게 알려주면 트레이닝 과정을 통해서 최종적인 optimal function, 굉장히 좋은 유용.. TIL/머신러닝 2022. 11. 21.

• 

  11.16 머신러닝 벤츠 그래디언트 부스팅 (선형회귀, 결정 트리 모델 ,엑스트라 트리 모델 (ExtraTree) , Boosting , GBM,LightGBM,XGBoost) 선형회귀 (Linear Regression) 정의 통계학에서, 종속 변수 y와 한 개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석 기법 선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정한다 주요 파라미터 fit_intercept 이 모델에 대한 절편을 계산할지 여부입니다. False로 설정하면 계산에 절편이 사용되지 않습니다(즉, 데이터가 중앙에 위치할 것으로 예상됨). n_jobs 계산에 사용할 스레드 수입니다. 선형회귀 특징 다른 모델들에 비해 간단한 작동 원리를 가지고 있다. 학습 속도가 매우 빠르다. 조정해줄 파라미터가 적다. 이상치에 민감하다. 데이터가 수치형 변수로만 이루어져 있을 경우, 데이터의 경향성이 뚜렷할 경우 사용하.. TIL/머신러닝 2022. 11. 17.

• 

  11.15 머신러닝 주택가격, 벤츠 append Kaggle 사이트: House Prices 복습 내용 skew 왜도 첨도 Skewness (왜도) 왜곡 정도를 말한다. 데이터 분포의 대칭성이 얼마나 결핍되었는지를 측정한다. 완전히 대칭인 분포는 skewness가 0이다. Positive Skewness는 오른쪽 꼬리가 왼쪽보다 더 길 때를 의미하고 평균(Mean)과 중위수(Median)가 최빈값(Mode)보다 크는 것을 의미합니다. Positive Skew : Mode – Median – Mean 순으로 존재 / 긴꼬리가 오른쪽 Negative Skewness 왼쪽 꼬리가 오른쪽보다 더 길 때를 의미하고 평균(Mean)과 중위수(Median)가 최빈값(Mode).. TIL/머신러닝 2022. 11. 16.

• 

  11.14일 주택가격 피처엔지니어링 0702 희소값 범주가 적은 값을 피처로 만들어 줄떄 문제점 1. 오버피팅이 발생할수 있다 2. one-hot-encoding을 사용할 경우 피쳐가 너무 많이 생겨 불필요하게 자원을 많이 소모할 수 있다. 너무 희소한 값이라면 one-hot-encoding 하기전 전처리 방법 1. 기타로 묶어준다 2.아예 결측치로 처리하고 pd.get_dummies 혹은 OneHotEncoder를 사용했을 때 인코딩 하지 않습니다 표준정규분포화 만드는 순서 로그변환 -> 스케일링 왜 데이터를 정규분포 형태로 만들어주면 머신러닝이나 딥러닝에서 더 나은 성능을 낼까요? 피처의 범위가 다르면 피처간 비교가 어려우며 경사하강법(Gradient Descent)이나 KNN, Clustering 등의 거리 기반 알고리즘에서는 머신러닝이 제대.. TIL/머신러닝 2022. 11. 16.

• 11/10 머신러닝 주택가격 피처엔지니어링 변수 스케일링 Feature의 범위를 조정하여 정규화하는 것을 의미합니다 Feature의 분산과 표준편차를 조정하여 정규분포 형태를 띄게 하는 것이 목표입니다 변수 스케일링이 중요한이유 Feature의 범위가 다르면,Feature끼리 비교하기 어려우며 일부 머신러닝 모델에서는 제대로 작동하지 않습니다. FeatureScaling이 잘 되어있다면 서로 다른 변수가 있더라도 비교하기 편리합니다 비교가 편리하기에 FeatureScaling 없이 작동하는 알고리즘에서 더 빨리 작동합니다 (트리기반 모델은 피처 스케일링이 필요 X - 데이터의 절대적 크기보단 상대적인 크기에 영향 받기에 ) 또한 머신러닝 성능이 상승합니다 일부 FeatureScaling은 이상치에 대해 강점이 있습니다 (RobustScaler) .. TIL/머신러닝 2022. 11. 10.

• 11.09 머신러닝 회귀 스케일링 피처 엔지니어링 상대경로는 현재 경로를 기준으로 하는 경로 EX) / 루트 (가장 최상의 디렉토리로 이동 / Web root) ./ 현재경로를 의미합니다. ../ 상위 경로를 의미합니다. 절대경로는 전체 경로를 다 지정하는 경로 ex) 윈도우 C: 부터 시작하는 경로입니다. 절대경로를 사용하면 다른 사람의 컴퓨터에서 동작하지 않기 때문에 되도록이면 상대경로를 사용하는 것을 권장합니다. 상대경로에서 기본적으로 같은 위치를 뜻하는 키워드는 . 입니다. dt 접근자 관련 참고링크 https://pandas.pydata.org/docs/reference/series.html#datetimelike-properties 로그(Logarithm) log를 count값에 적용하게 되면 한쪽에 너무 뾰족하게 있던 분포가 좀 더 완만한 .. TIL/머신러닝 2022. 11. 10.

• 

  11.08 머신러닝 bike log 회귀 - GridSearchCV 하이퍼파라미터 범위를 검사하여 최선의 모델을 선택하려면 GridSearchCV 사용 사용자는 하나 이상의 하이퍼파라미터에 대해 가능성이 있는 값을 정의한다. GridSearchCV는 교차검증을 사용하여 모델을 선택하는 브루트포스(brute-force)한 방법입니다. 지정된 조합만 보기 떄문에 해당 그리드를 벗어나는 곳에 좋은 성능을 내는 하이퍼 파라미터가 있다면 찾지못하는 단점이 있습니다. from sklearn.model_selection import GridSearchCV logistic = linear_model.LogisticRegression() gridsearch = GridSearchCV(logistic, hyperparameters, cv=5, verbose=0).. TIL/머신러닝 2022. 11. 9.

• 

  Tableau(태블로) 오늘배운것 정리해보기 태블로란 https://www.tableau.com/ko-kr 엑셀과 태블로의 차이 엑셀 사람이보기 좋은식 세부 데이터를 통합하여 집계하여 보여주는 프로그램 와이드형 데이터구조 시프레드 시트로 관리 테이블 중심으로 활용 행단위로 살펴본다 태블로 데이터의 시각적 분석을 한다 데이터분석을 위한 프로그램 집계된 데이터 전체를 보여주고 보고 싶은 관점으로 쪼개어 보여주는 프로그램 차트 중심으로 표현한다 측정값을 집계한다 필요없는 필드 처리하기 숨기기로 사용하지않을 필드를 없앨수있다 제거 하지않는이유 실수로 지울수도있고 , 다시 사용해야 할수도있어서 숨기기를 합니다 숨기기한 필드가 다시 필요하다면 톱니바퀴눌러서 행옆에 있는 톱니바퀴눌러서 숨겨진 필드표시로 살려낸다 배경색 배경부분 오른쪽클릭 서식 - 3번쨰 색상 .. 카테고리 없음 2022. 11. 4.

• 

  공부한거 정리해보기 배운 꿀팁 정리 1.쥬피터에서 해당셀 글자 일괄변경 esc+f 2.캐글에서 좋은 솔루션 찾는 법 ㄱ) Top 키워드로 검색 ㄴ) 솔루션에 대한 투표수가 많은 것 ㄷ) 프로필 메달의 색상( 왼쪽일수록 높음 - 신뢰도높음) 3.캐클에 제출할 파일명을 valid_accuracy = (y_train == y_valid_pred).mean() 로서 정확도를 측정한후 file_name = f"data/submit_{valid_accuracy:.5f}.csv" 이런식으로 파일명에 정확도 점수를 넣어주면 캐글과 노트북을 왔다갔다하며 점수비교하는 과정의 번거로움을 줄일수 있고 모델을 변경해서 (피처, 하이퍼파라미터 튜닝 등)여러번 예측을 하면 valid점수가 달라지는데 다른 점수와 비교 가능 4.또한 submit 을 지.. TIL/머신러닝 2022. 11. 3.

• 

  22.11.01 시각화 방식비교 lambda,map()함수 시각화 방식비교 subplot 상태기반방식 (state-based framework) 그림을 순서에 맞게 코딩하여 그리는 방식(논리적 흐름이 아닌 시간의 흐름에 따라 ) 즉 그리기의 한계를 벗어나지 못한다 plt뒤에 오는 명령어만 익히면되서 입문서에 많이쓰임 간단하고 빠르게 형상만 확인하는데 유리 공간제어를 코드순서와 일치시켜야해서 코딩을 오르락 내리락해야한다 즉 체계를 갖추기도어렵고 나열식 코드로 진행된다 같은데이터지만 일부분이 완전히 다른 그림을 만들수 있다 subplots 객체 지향방식 (objeck-oriented framework) 대상을 지정하여 그리는 방식 (논리에 따라 코딩) 결과물의 일부를 수정하기 유리한 방식 (코드를 재사용, 유지보수에 유리) 레이아웃 전체를 한번에 정의하고 시작 (전.. TIL/파이썬 2022. 11. 2.

• 22.10.31 보호되어 있는 글 입니다. 2022. 10. 31.