반응형 Data Science/Spark MLlib2 스파크 MLlib + 선형회귀법, Spark MLlib + Linear Regression - (2) Feature extraction 앞서 (1)편에서 얘기했던, 4가지의 과정 중에서 이번에는 Feature extraction에 대해서 얘기해볼것이다. (가장 첫번째 단계인 데이터 수집 및 준비 단계는 이미 이루어졌다고 가정한다.) 0. Feature Extraction Feature란, 어떤 결과의 원인에 해당하는 일이라고 설명했다. 우리가 머신러닝을 하는 대표적인 이유가 예측을 하기 위한 것이다. 그렇다면 "어떤 조건에 대한", "어떤 값에 대한" 예측을 할 것인지가 정해져야 하는데, 그 "조건"과 "값"이 원인 요소에 해당하는 것이고. 그것을 우리는 Feature라고 한다. 만약에 우리가 지도 학습을 하게 되는거라면, 다양한 이미 답이 만들어져 있는 것으로 학습을 시키게 될 것이다. 가령, 온도와 아이스크림 판매량 데이터를 가지고,.. 2017. 12. 15. 스파크 MLlib + 선형회귀법, Spark MLlib + Linear Regression - (1) 기초 0. 스파크 MLlib을 이용해서, 선형회귀(Linear regression)를 구현해보자.우선은, 선형회귀에 대한 기본적인 이해는 되어있다는 것으로 전제한다.만약에 안되어 있다면 이곳을 참고하자. 1. 스파크 MLlib의 디자인과 철학은 단순하다."모든 데이터가 RDD로 표현된 분산 데이터셋에서 다양한 알고리즘을 가져다 쓸수 있게 해주는 것" 가령, 스팸 메일 분류를 위해 MLlib을 쓴다고 하면 다음과 같은 과정이 있을 것이다.메일 메세지를 표현하는 문자열들이 담긴 RDD를 준비한다.MLlib의 feature 추출 알고리즘들 중 하나를 써서 문자열을 수치화된 특성으로 변환한다 (머신러닝에 적합하도록). 이는 벡터들의 RDD를 되돌려 줄 것이다.벡터의 RDD에 분류 알고리즘을 호출한다(예: 선형 회귀(.. 2017. 12. 4. 이전 1 다음 반응형