인공지능/ML 검색 결과

해당 글 12건

Multidimensional Streaming Outlier Detection - Introduction & Individual Data Points as Outliers

Multidimensional Streaming Outlier Detection - Introduction & Individual Data Points as Outliers Introduction 이전의 section에서는 multiple correlated time series 가 있어도 각 time series는 한 단위로서 처리 되었습니다. 다차원 데이터의 경우 각 instance는 분할 할 수 없는 $d$-dimensions 으로 구성되며 각 individual time series 에서 높은 수준의 temporal continuity을 보입니다. multidimensional data streams에서는 높은 수준의 temporal continuity가 반드시 존재한다 볼 수 없습니다. e.g...
인공지능/ML 2021. 8. 13. 18:04

Position Outliers in Discrete Sequences

Position Outliers in Discrete Sequences 이 글을 아래의 포스팅에 이어지는 글입니다. https://ardentdays.tistory.com/46 Outlier Detection in Discrete Sequences - Position & Combination Outliers Outlier Detection in Discrete Sequences - Position & Combination Outliers 10.1 Introduction Each time stamp가 discrete-valued( i.e., categorical) 에서 individual elements를 가지는 discrete.. ardentdays.tistory.com 10.2 Position Outl..
인공지능/ML 2021. 8. 13. 17:03

Outlier Detection in Discrete Sequences - Position & Combination Outliers

Outlier Detection in Discrete Sequences - Position & Combination Outliers 10.1 Introduction Each time stamp가 discrete-valued( i.e., categorical) 에서 individual elements를 가지는 discrete time-series를 sequence라 합니다. discrete-valued temporal scenarios 는 intrusion detection,system diagnosis , biological applications에서 많이 이용합니다. Temporal ordering and physical ordering intrusion detection과 system diagnosi..
인공지능/ML 2021. 8. 13. 16:40

PCA 변환 과정 및 특성

PCA 변환 과정 및 특성 우선 Least-squares formulation과 PCA를 비교한 뒤 이후 PCA를 위해 원래 데이터셋에서 어떻게 변환되는지 그 과정을 담고 특성을 정리해보도록 하겠습니다. Compare PCA with Least-squares formulation Least-squares formulation 은 data values에 대한 optimum fit을 갖는 $d-1$ dimensional hyperplane 을 찾고 나머지 orthogonal direction에 대해서 score 평가합니다. 그에 비해 Principal component Analysis는 어떠한 dimension에서도 optimal representation hyperplane 찾을 수 있습니다. 즉, PCA..
인공지능/ML 2021. 6. 13. 18:56

Outlier Variance Reduction Methods in Ensemble

Outlier Variance Reduction Methods in Ensemble classification의 많은 방법들이 bias-variance trade off의 similarity 덕분에 outlier detection에도 적용 가능합니다. 이러한 이유로 대부분의 outlier ensembles 은 classification domains 의 수정으로 적용되었는데, 다음과 같은 methods이 있습니다. 1. Randomized feature weighting diversity를 주기 위해 data의 various features 를 randomly 하게 scale 하는 방법입니다. 우선 모든 features 를 zero mean unit variance로 scale한 뒤 다음과 같은 dens..
인공지능/ML 2021. 6. 1. 15:54

데이터 분석을 위한 기본 DATA TYPES

데이터 분석을 위한 기본 DATA TYPES 실제 data는 attribute type이 여러 가지 섞여 있으며, point-to-point dependence 합니다. 이번 포스팅에서는 분석에 사용되는 여러 기본 data types에 대해 알아보도록 하겠습니다. 1. Categorical, Text and Mixed Attributes 현실에서 race, gender, ZIP code 같은 discrete unordered values 를 지닌 categorical attributes 을 포함한 data set 많습니다. 이러한 discrete unordered value를 다룰 때 주요 challenge는 discrete data의 의미를 보존하면서 distance ( or similarity ) f..
인공지능/ML 2021. 6. 1. 11:56

Isolation Forests for Outlier Detection

Isolation Forests for Outlier Detection Isolation Forests and Outlier Isolatino forest는 isolation trees를 이용한 앙상블 combination입니다. isolation tree에서는 data는 랜덤으로 선택된 attribute, 랜덤으로 선택된 partition point에서 axis-parallel cuts 하게 재귀적으로 한 node에 하나의 instance가 남을 때까지 나눠집니다. isolation forest의 train 단계에서 unsupervised equivaluents of decision trees인 multiple isolation trees를 생성하고 각 tree는 binary하게 나뉘어집니다. 이때 별..
인공지능/ML 2021. 4. 30. 17:48

ROC Curve 설명(해석) 및 그리기(구현)-Python

ROC Curve 설명(해석) 및 그리기(구현)-Python Goal 이 페이지에서는 ROC Curve가 무엇이고, 구체적으로 어떻게 그리는지 알아보겠습니다. 그동안 ROC Curve에 대해서 알고있던 것들은 분류기(classifier)에 쓰이는 Metric이며, 왼쪽 위쪽으로 볼록하고 AUC값이 1에 가까울 수록 좋다 정도였습니다. 굉장히 흔하게 쓰이는 평가 Metric인데도 불구하고 몰랐다는 점에 공부 필요성을 느꼈고, 공부한 내용을 정리하기 위해 글을 올리게 되었습니다. ROC Curve를 그리는 방법을 이를 위해서 필요하다고 생각되는 False Positive Rate(FPR) 과 True Positive Rate(TPR), 그리고 Threshold와 FPR와 TPR 의 관계를 먼저 알아보겠습니다..
인공지능/ML 2021. 2. 28. 00:35