반응형 스파크 MLlib1 스파크 MLlib + 선형회귀법, Spark MLlib + Linear Regression - (1) 기초 0. 스파크 MLlib을 이용해서, 선형회귀(Linear regression)를 구현해보자.우선은, 선형회귀에 대한 기본적인 이해는 되어있다는 것으로 전제한다.만약에 안되어 있다면 이곳을 참고하자. 1. 스파크 MLlib의 디자인과 철학은 단순하다."모든 데이터가 RDD로 표현된 분산 데이터셋에서 다양한 알고리즘을 가져다 쓸수 있게 해주는 것" 가령, 스팸 메일 분류를 위해 MLlib을 쓴다고 하면 다음과 같은 과정이 있을 것이다.메일 메세지를 표현하는 문자열들이 담긴 RDD를 준비한다.MLlib의 feature 추출 알고리즘들 중 하나를 써서 문자열을 수치화된 특성으로 변환한다 (머신러닝에 적합하도록). 이는 벡터들의 RDD를 되돌려 줄 것이다.벡터의 RDD에 분류 알고리즘을 호출한다(예: 선형 회귀(.. 2017. 12. 4. 이전 1 다음 반응형