바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

내적

- np.dot(a, b)

노름

- np.linalg.norm(a) #default: l2 norm

- np.linalg.norm(a,1) # l1 norm <->  np.ingalg.norm(a,2) # l2 norm

유클리드 거리 (a, b 두 개의 벡터가 있다고 할 때)

- np.linalg.norm(a-b)

넘파이에서 제공하는 np.arange

np.repeat & np.tile => 아래 링크에 정리 굿!

https://yeko90.tistory.com/entry/%EB%84%98%ED%8C%8C%EC%9D%B4-%EA%B8%B0%EC%B4%88-nprepeat-nptile-%EB%B0%B0%EC%97%B4-%EB%B0%98%EB%B3%B5-array-%EB%B3%B5%EC%82%AC

Reference

https://jimmy-ai.tistory.com/45

np.reshape(대상, (size))

https://yganalyst.github.io/data_handling/memo_5/

유클리드 거리 결과 담은 matrix 계산하기

https://pbj0812.tistory.com/329

원문 출처. 아래 내용을 인용하여 정리함 (아주 잘 정리되어있으니 대추천!!)

https://agronomy4future.org/?p=2295 

https://agronomy4future.org/?p=9774 

1. R-squared (결정계수)

정의: (단순 선형 회귀분석에서) 전체 제곱합 중에서 회귀 제곱합이 차지하는 비율

- R-squared가 높을 수록 "우리가 추정한 회귀 모형이 더 적합하다"고 볼 수 있음.

*x에 반응하는 y값이 거의 같은 값(constant)일 경우: R-squared 는 극도로 낮아짐

* 만일 y값이 완전 다 똑같다면 R-squared 는 계산되지 않음

SST = SSR + SSE

Data = Fit + Error

Data = Regression + Residual

SST = Sum of Squares Total; [실제 개별 y값에서 그 y 값 전체의 평균을 뺀값 (yi – ȳ)]의 제곱합
SSR = Sum of Squares due to regression; [예측된 개별 y 값에서 실제 y 값 전체의 평균을 뺀 값 (ŷi-ȳ)]의 제곱합
SSE = Sum of Squared Error; [실제 개별 y 값에서 예측된 개별 y 값을 뺀 값 (yi-ŷi)]의 제곱합

*ANOVA: ANalysis Of VAriance (분산분석), 각 데이터의 분산에 대한 해석.

- 상관계수(r)의 제곱 == R-squared 값

=> 결정계수 R-squared에 루트 == 상관계수 값!

2. 공분산(Covariance)

2.1 공분산 개념 이해의 필요성

: 변수 간 상관관계를 분석하는 '상관분석'이 '공분산' 개념을 base로 함. => 상관분석에 앞서 공분산 이해가 선행!

: 그러나, 이따 다루겠지만, 상관계수량와 공분산량이 아주 직접적인 상관성을 갖지는 않음,,

그저 상관계수 공식에서 공분산 공식이 사용될 뿐. (positive인지 negative인지 정도는 구분 가능)

2.2 공분산

: 두 변수간의 선형관계를 나타내는 값. 

- 하나의 변수가 증가 혹은 감소함에 따라 ➡️ 다른 변수는 어떻게 그 증감에 반응하는지에 대한 측도

2.3 공분산 계산

- [x의 개별 편차(xi - x̄) X y의 개별편차(yi - ȳ)]의 sum / 자유도 (n-1)

- 우리 데이터가 모집단이 아닌 표본집단이면 n이 아닌 n-1로 나눔

2.4 공분산 해석

*공분산은 제곱합이 아니므로, 음수가 나올 수 있음

- 공분산이 양수; 두 변수가 양의 상관관계

- 공분산이 음수; 두 변수가 음의 상관관계

2.5 공분산은 클수록 좋을까?(=공분산이 클수록 상관계수가 높을까?)

Q. “공분산은 무조건 커야 좋은 것일까?”

A. 공분산의 크기가 아니라 변수의 표준편차에 따라 달라진다” 라고 하는게 더 정확한 표현.

2.5.1 상관계수 r 계산

*상관계수 공식을 보면 여러 공식이 존재하는 것 같지만 사실은 모두 {공분산 / x, y 표준편차의 곱} 의 공식에서 다 수정된 것들.

2.5.2 <공분산과 상관계수 r의 관계> 결론

2.5.3 왜 실제로는, 공분산값이 아닌 상관계수 r값을 주요 지표로 사용하는가?

공분산은 두 편차의 곱을 자유도로 나눈것이기 때문에 원래의 측정치 보다는 무척이나 큰 값

분산의 경우, 원래의 값의 크기로 돌리기 위해 루트를 씌운 표준편차를 사용.

공분산도 마찬가지로 원래의 값 크기로 돌려야 하므로, 공분산에 x, y 표준편차의 곱을 나눠주어야 하고, 그 값이 상관계수 r.

양질의 자료 제공해주신 agronomy4future님께 다시 한번 감사합니다:)

*Covariance Matrix

https://www.youtube.com/watch?v=152tSYtiQbw 

1. GPU(Graphics Processing Unit)

CPU보다 효율적인 코어로 구성되어 대규모 데이터를 병렬로 빠르게 처리할 수 있도록 최적화된 '컴퓨팅 자원'

예전에는, 컴퓨터 연산 시 CPU & RAM에 의존함

CPU가 보유한 코어 개수만큼 Multi-Core를 이용하여 연산 수행

(pytorch나 tensorflow 에서, data loader 파트에서, core 갯수를 주고 데이터 loading 하는 부분이 여기에 속함)

1. GPU 서버

(대용량 연산에 장점을 가진) GPU를 활용한 '인프라'

2. GPU 클라우드

기존 문제 상황

- GPU를 직접 구매 또는 대여하여 서버를 구축하는 것은 큰 부담이 될 수 있음

- GPU 자원은 CPU와는 달리 여러 명의 사용자가 동시에 이용하기 위해서는 사전에 분배 및 할당 과정이 필요한데, 이를 관리하기 위한 소프트웨어의 개발 및 운영이 추가적으로 필요함.

GPU 클라우드를 통한 해결

-  여러 개의 GPU를 필요에 따라 구매하여 동시에 사용

- 고급 인프라를 구축할 필요 없이 GPU의 처리 능력을 기업과 개발자들이 편리하게 사용할 수 있게 됨

종류

- 구글 코랩

- Paperspace

- Jarvis Labs 등.

3. CUDA

:  NVIDIA에서 개발한 GPU 개발 툴 => 많은 양의 연산을 동시에 처리하는 것이 목표

- NVIDIA에서  많은 연구자들이 딥러닝에 사용할 수 있도록, 쉽게 설치할 수 있도록 오픈하였다.

- 현재는 nvidia-driver, CUDA, CUDNN만 설치하면 딥러닝을 쉽게 사용할 수 있다.

2. GPU 서버 접속

1. 서버란?: https://youtu.be/R0YJ-r-qLNE

2. ssh-key란?: SSH(Secure Shell)는 원격지 호스트 컴퓨터에 접속하기 위해 사용되는 인터넷 프로토콜.

- 서버에 접속할때 비밀번호 대신 key를 제출하는 방식이다. 비밀번호보다 높은 수준의 보안요건을 필요로 할때 사용된다.

- 공개키(public key)와 비공개키(private key)로 이루어지는데 이 두개의 관계를 이해하는 것이 SSH Key를 이해하는데 핵심이다. 키를 생성하면 공개키와 비공개키가 만들어진다. 이 중에 비공개키는 로컬 머신에 위치해야 하고, 공개키는 리모트 머신에 위치해야 한다.(로컬 머신은 SSH Client, 원격 머신은 SSH Server가 설치된 컴퓨터를 의미한다) SSH 접속을 시도하면 SSH Client가 로컬 머신의 비공개키와 원격 머신의 비공개키를 비교해서 둘이 일치하는지를 확인한다.

인용

https://elice.io/newsroom/gpu_definition_and_exampless

https://kaen2891.tistory.com/20

https://velog.io/@hyeseong-dev/%EB%A6%AC%EB%88%85%EC%8A%A4-ssh%EB%9E%80

KNN alogrithm ∈ Classifiers

1. assumption: Similar Inputs have Similar Outputs

2. Classification rule: For a test input x, assign the most common label amongst its k most similar training inputs

3. 특징

3.1 Distance metric: metric이 label similarity & semantically meaningful notion을 잘 반영할 때 KNN의 효과가 높아짐
- 흔히 Minkowski distance를 사용

3.2 n(=train data points의 개수)가 커질수록, kNN은 더욱 정확해짐 (물론 느려짐)

3.3 d(=각 data의 feature 개수 = 차원)이 너무 커지면, 차원의 저주(curse of dimensionality) 발생하여 모델 성능이 저하됨

- 물론, 차원 수가 늘어나도 그것에 영향을 덜 받는, Data with low dim structure가 있긴 함(digits / 인간 얼굴), 그러나 특이 케이스.

차원의 저주(curse of dimensionality) (in kNN)

Description

• data의 차원 수; d => d-dimensional space에 매핑됨
• train data가 n개
• hyper-cube: kNN points가 모두 포함된 smallest cube
• l = hyper-cube 모서리 길이
•  

차원의 저주 발생 조건

(학습 데이터 수에 비해) 차원 수가 커질수록 = n에 비해 d값이 너무 커지면

* 차원이 증가한다고 반드시 차원의 저주가 발생하는 건 X. number of train data보다 number of features가 많아지는 경우에만 발생

- data points 간 모든 distances가 아주 커지고 & concentrate within a very small range

   → 차원이 증가할수록 빈 공간이 많아진다.

   → 개별 차원 내에서 학습할 데이터 수가 적어짐

같은 데이터지만 1차원에서는 데이터 밀도가 촘촘했던 것이 2차원, 3차원으로 차원이 커질수록 점점 데이터 간 거리가 멀어짐. 차원이 증가하면 빈 공간이 생기는데 빈 공간은 컴퓨터에서 0으로 채워진 공간. 즉, 정보가 없는 공간이기 때문에 빈 공간이 많을수록 학습 시켰을 때 모델 성능이 저하. ∵ 차원 별 충분한 데이터 수가 존재하지 않으면 과적합이 될 수 있음. 알고리즘 모델링 과정에서 저장 공간과 처리 시간이 불필요하게 증가함.

고차원 공간은 이렇게 공간이 많아 훈련 데이터가 서로 멀리 떨어져 있고 새로운 샘플도 훈련 샘플과 멀리 떨어져 있을 가능성이 높다. 

   → 이것을 극복하기 위한 두 가지 방법

       (1) train data를 늘리려면, 기하급수적으로 많은 양의 데이터가 필요함: 거의 불가능

       (2) 차원 축소 알고리즘: 현실적

            - PCA, LDA, LLE, MDS, t-SNE etc.

- 반면, points와 hyperplane 간 distance는 stable하게 유지되거나 & 아주 작은 변화
   → 모든 points가 hyperplane에 매우 가까워져서, classification outcome을 변화시키기 위해 input을 약간 교란시킬 수도 있음

   → hyperplane을 사용하는 classifier ; Perceptron, SVMs, ...

이미지 & 내용 Reference

https://datapedia.tistory.com/15

https://for-my-wealthy-life.tistory.com/40

https://www.cs.cornell.edu/courses/cs4780/2018fa/lectures/lecturenote02_kNN.html

어려운 기호 발견할 때마다 업데이트할 예정 !! 😍

https://ko.wikipedia.org/wiki/%EC%88%98%ED%95%99_%EA%B8%B0%ED%98%B8

https://data-analysis-science.tistory.com/61

https://lsjsj92.tistory.com/543

http://taewan.kim/post/norm/

https://blog.naver.com/cindyvelyn/222136360080

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-2%EC%84%9C%ED%8F%AC%ED%8A%B8-%EB%B2%A1%ED%84%B0-%EB%A8%B8%EC%8B%A0-SVM

https://todayisbetterthanyesterday.tistory.com/33

Demonstration data (Demo Data)

: great for getting to grips with Sage Accounts before you move on to real data because any mistakes you make don't affect your live company

Structure of Policy Rules

where the device will be handling "greater than 100 upstream reserved flows"

apply profile Default Downstream Profile to request
continue processing message

The first action, apply profile..., specifies a single parameter that is the name of a traffic profile to be applied to the request.

The second action, continue processing message, instructs the MPE device to evaluate the remaining rules within the policy rules list (as opposed to immediately accepting or rejecting the request). The conditions and actions that are available for writing policies are discussed later in this section.

Reference

https://docs.oracle.com/cd/E89529_01/doc.124/wizard/concepts/c_pw_ref_understanding_and_creating_policy_rules_structure_of_policy_rules.html

https://docs.oracle.com/cd/E89529_01/doc.124/wizard/concepts/c_pw_ref_understanding_and_creating_policy_rules_policy_parameters.html

https://blog.naver.com/PostView.naver?blogId=wideeyed&logNo=221578747562&parentCategoryNo=&categoryNo=50&viewDate=&isShowPopularPosts=false&from=postView 

=> Random Forest의 주요 단점 중 하나가: 속도가 느리며 메모리를 많이 잡아먹는다는 점

=> XGBoost vs LGBM

https://neptune.ai/blog/xgboost-vs-lightgbm

https://machinelearningmastery.com/xgboost-for-regression/

https://lsjsj92.tistory.com/547

!pip install xgboost
from xgboost import XGBRegressor
model = XGBRegressor()

XGBoost에서 더 세밀한 configuration에 대한 공부가 필요하다!

(코드비교) https://dacon.io/competitions/official/235985/codeshare/7065?page=1&dtype=recent 

https://melonicedlatte.com/2021/03/14/181700.html