전체 글146

• [프로그래머스] 두 수의 곱 - 파이썬 문제 설명 정수 num1, num2가 매개변수 주어집니다. num1과 num2를 곱한 값을 return 하도록 solution 함수를 완성해주세요. 제한사항 0 ≤ num1 ≤ 100 0 ≤ num2 ≤ 100 입출력 예 num1num2result 3 4 12 27 19 513 입출력 예 설명 입출력 예 #1 num1이 3, num2가 4이므로 3 * 4 = 12를 return합니다. 입출력 예 #2 num1이 27, num2가 19이므로 27 * 19 = 513을 return합니다. 나의 풀이 def solution(num1, num2): return num1* num2 https://school.programmers.co.kr/learn/courses/30/lessons/120804 문제풀이/파이썬 2022. 12. 7.

• [프로그래머스] 나이 출력 - 파이썬 문제 설명 머쓱이는 40살인 선생님이 몇 년도에 태어났는지 궁금해졌습니다. 나이 age가 주어질 때, 2022년을 기준 출생 연도를 return 하는 solution 함수를 완성해주세요. 제한사항 0 < age ≤ 120 나이는 태어난 연도에 1살이며 1년마다 1씩 증가합니다. 입출력 예 ageresult 40 1983 23 2000 입출력 예 설명 입출력 예 #1 2022년 기준 40살이므로 1983년생입니다. 입출력 예 #2 2022년 기준 23살이므로 2000년생입니다. 나의 풀이 def solution(age): answer = 2022- int(age)+1 return answer https://school.programmers.co.kr/learn/courses/30/lessons/120820 문제풀이/파이썬 2022. 12. 7.

• 

  12월 5일 딥러닝 CNN 기초 회귀 모델이라는 것을 모델이 어떻게 알 수 있을까요? A: loss 에 손실함수를 작성하게 되면 어떤 문제인지 알 수 있습니다. (분류에서도 activation 지정하지 않아도 loss 를 보고 판단하게 됩니다. 분류 문제는 binary, 멀티클래스인지 명시적으로 지정해 주는게 좀 더 코드를 읽고 해석하기 좋습니다. 하지만 되도록이면 지정해 주세요.) 분류에서 출력층 활성함수를 시그모이드로한다면 출력층 유닛은 2로 하면 되나요? A: sigmoid 는 1개로 해주어야 확률값으로 출력을 받아 특정 임계값보다 크냐작냐로 binary 값을 만들어서 판단합니다. 분류에서 units이 2개라면 softmax 로 반환받는게 맞습니다. 이 때는 둘 중에 확률 값이 높은 값을 선택해서 사용합니다. 멀티클래스 예측값이 .. TIL/딥러닝 2022. 12. 6.

• 

  딥러닝과 머신러닝의 차이/ 활성화함수/ 기울기소실문제 Q1. 딥러닝은 무엇인가요? 딥러닝과 머신러닝의 차이는? 머신러닝은컴퓨터가 스스로 주어진 데이터 패턴을 학습해 이전에 없던 새로운 데이터를 마주해도 답을 낼 수 있는 방식으로서 어린아이가 반복적으로 경험하여 개념이나 특징을 알아가는 과정과 유사합니다 딥러닝은 인간 뇌에 뉴런의 작동 방식에서 아이디러를 얻어 온 학습방식으로 인공 신경망에서 발전한 형태 입니다 . 스스로 데이터 경로를 수정해 나가며 최적의 결과가 나오도록 학습하며 스스로 분류에 사용할 데이터를 학습하고 중요한 Feature을 자동적으로 골라냅니다 차이점 머신러닝 딥러닝 인간의 개입 지속적인 인간의 개입이 필요 설정하기가 더 복잡하지만 그 이후에는 사람이 개입을 하지 않아도 된다 하드웨어 딥러닝 알고리즘보다 덜 복잡한 경향이 있고 기존 컴퓨터.. TIL/딥러닝 2022. 12. 3.

• 

  11/28 월 머신러닝 "불균형 데이터 SMOTE" -2 SMOTE 실제로 데이터를 탐색해보면 불균형한 데이터가 매우 많습니다 EX) 불량품과 정상제품 / 1년중 눈이 오는 날과 오지않는날 / 10년간 지진이 발생한경우/ 암검진 대상중 암에 걸린환자와 아닌환자 이렇듯 균형있게 분포되있는 분류문제가 더 드뭅니다 이러한 불균형한 데이터를 해결하는 방법으로는Resampling 로서 under-sampling과 over-sampling이 있습니다 주요 골자는 두값의 비율을 비슷 하게 맞춰 줍니다 under-sampling over-sampling 더 값이 많은 쪽에서 일부만 샘플링하여 비율을 맞춰주는 방법 더 값이 적은 쪽에서 값을 늘려 비율을 맞춰준 방법 구현이 쉽지만 전체 데이터가 줄어 머신러닝 모델 성능이 떨어질 우려가 있습니다 어떻게 없던 값을 만들어야 하는지.. TIL/머신러닝 2022. 11. 30.

• 

  11/28 월 머신러닝 불균형 데이터 SMOTE -1 (혼동행렬) Q왜 아래 그림으로 혼동행렬을 이해하는 것을 추천할까요? A : 사이킷런과 기준이 같기 때문입니다. Q : 정확도로 제대로 된 모델의 성능을 측정을 하기 어려운 사례는 어떤게 있을까요? A : 클래스가 불균형한 데이터일 때, 제대로된 평가를 내리기 어렵습니다. EX ) 불균형한 데이터예시 금융 => 은행 대출 사기, 신용카드 사기, 상장폐지종목 여부 제조업 => 양불(양품, 불량품) 여부 헬스케어 => 희귀질병(암 진단여부) IT관련 => 게임 어뷰저, 광고 어뷰저, 그외 어뷰저 대회에서 어뷰저 관련 내용을 찾을 때는 Fraud 등으로 검색하면 여러 사례를 찾을 수 있습니다. 혼동행렬 실제 결과 예측된 결과 거짓 0 참 1 거짓 0 TN 예측 거짓 / 실제 거짓 아닌 것을 올바르게 틀리다고 예측함 FP .. TIL/머신러닝 2022. 11. 29.

• 

  Tensorflow 101 딥러닝강의 정리해보기 **Tensorflow 101 - 1. 오리엔테이션 - 링크 딥러닝 = 뉴럴넷 = 인공신경망 이모든말은 인간의 신경을 모방한 이론을 가리키는 같거나 비슷한 말로서 딥러닝이라는 용어를 머신러닝을 대표하는 용어로 사용하게 되었습니다 하지만 이런 표현은 엄연히 다른것입니다 체적인 딥러닝 원리를 몰라도 코드만 작성하면 딥러닝으로 문제를 해결할 수 있는 여러 도구들이 등장했어요. 이것이 라이브러리입니다 대표적인 예로 Tensorflow, Pytotch,Coffe,Theano 가있습니다 이러한 라이브러리(Tensorflow, Pytotch,Coffe,Theano)는딥러닝이라는 같은 알고리즘안에서 만들어진 라이브러로리서로 경쟁관계입니다 이러한 딥러닝 알고리즘 (이론)은 DecisionTree ,Rand.. TIL/딥러닝 2022. 11. 27.

• 

  데이터 분석가에게 ML기술질문으로 자주 등장하는 질문들 1) Cross Validation은 무엇이고 어떻게 해야하나요? 교차검증은 훌련데이터로 모델이 잘 훈련되었는지를 검증데이터를 사용해 검증하는 방법중 하나로 보통 훈련 데이터로 모델을 훈련한 후, 검정 데이터를 사용해 모델이 어떻게 검증되나를 지켜보며 그에 따라 모델의 하이퍼 파라미터를 조정하고 모델의 성능을 올립니다.이때 사용하는 검정 데이터가 한 세트밖에 없다면 검정 데이터로 직접 모델을 훈련하지 않더라도 검정 데이터에 모델이 과적합 될 수 있습니다. 과적합을 피하면서 파라미터를 튜닝하고 일반인 모델을 만들고 더 신뢰성 있는 모델 평가를 진행하기 위해서 사용됩니다 쉽게 말해 데이터를 여러 번 반복해서 나누고 여러 모델을 학습하여 성능을 평가하는 방법입니다 장점 단점 특정 데이터셋에 대한 과적합 방지 .. TIL/프로젝트 2022. 11. 26.

• 

  11.23일 수업 TIL Gradient Boosting Machine (XGBoost, lightGBM,CatBoost ) https://www.kaggle.com/c/mercedes-benz-greener-manufacturing Mercedes-Benz Greener Manufacturing | Kaggle www.kaggle.com train = pd.read_csv(f'{base_path}/train.csv.zip', index_col="ID") test = pd.read_csv(f'{base_path}/test.csv.zip', index_col="ID") submission = pd.read_csv(f'{base_path}/sample_submission.csv.zip', index_col="ID") 벤츠 데이터셋을 불러옵니다 ! 2.타입전환 cat_col = train.select_dtypes(include="o.. TIL/머신러닝 2022. 11. 26.

• 

  11.24일 얕은복사,깊은복사 / 혼동행렬 얕은복사(shallow copy) 1메로리에 있던 데이터를 2로 얕은 복사를 하면 2에 복사된것은 1의 a를 가져온게아니라 a로 가는 b라는 바로가기를 만들어준것 b = a b = a[:] b = copy.copy(a) 코드 예시 >>> import copy a를 지정한후 >>> a = [[1,2],[3,4]] b에 a를 카피 >>> b = copy.copy(a) 이떄 a에 5를 넣어주면 >>> a[1].append(5) >>> a [[1, 2], [3, 4, 5]] b또한 함께 바뀌게된다 (a로 가는 바로가기이므로 ) >>> b [[1, 2], [3, 4, 5]] 깊은 복사 copy.deepcopy 깊은 복사는 1메모리에 넣은 모나와라는 데이터를 2메모리에 깊은복사할시 모나와라는 데이터 자체가 새로 복.. TIL/머신러닝 2022. 11. 24.

• 

  11.22 오후 Learning rate ,bgd, SGD,모멘텀 4-3. 경사하강법 심화 Learning rate low learning rate: 손실(loss) 감소가 선형의 형태를 보이면서 천천히 학습됨 high learning rate: 손실 감소가 지수적인(exponential) 형태를 보이며, 구간에 따라 빠른 학습 혹은 정체가 보임 very high learning rate: 매우 높은 학습률은 경우에 따라, 손실을 오히려 증가시키는 상황을 발생 good learning rate: 적절한 학습 곡선의 형태로, Learning rate를 조절하면서 찾아내야 함 => 오전에 했던 내용 참고 경사 하강법에서는 학습시 스텝의 크기 (step size)가 중요하다. 학습률이 너무 작을 경우 학습률이 너무 클 경우 학습 시간이 오래걸림 (알고리즘이 수렴하기 위해 반.. TIL/머신러닝 2022. 11. 22.

• 

  11.22 오전 머신러닝 최적화 ,경사하강법 4-1. 최적화와 모형 학습 모형학습 머신러닝 모형이라고 하는 것은 Loss 함수를 정의하고 그 Loss함수를 최적화하게끔 하는 것이다 결국에 이 Loss오차를 measure하고 어떻게 이차이를 정의하는가 실제하고 모형이 출력해 주는 출력 결과물 2개의 차이를 최소화하는 최적의 모형을 찾아주는 과정 환경에서 축적된 경험을 가지고 데이터화해서 그 데이터를 가지고 함수를 만든다. Loss를 최소화해 주는 가장 좋은 어떠한 모형, 패턴을 찾는 것 머신러닝에서 러닝은 최적화다 큰틀에서 보자면 이와같은 최적화를 찾아가는 일련의 과정이다! 이러한 복잡할떄는 어떻게 최적화 할수있을까? 이 다음에 배울 최적화와 경사하강법은 복잡하고 기존의 방법으로 해결하기 어려웠던 그런 최적화 문제를 어떤 방식으로 해결하는가에 대해서.. TIL/머신러닝 2022. 11. 22.