머신러닝 - 배치학습 vs 온라인학습

0.배치학습 vs 온라인학습

• 머신러닝 시스템을 분류하는 데 사용하는 다른 기준은 입력 데이터의 스트림(stream)으로부터 점진적으로 학습할 수 있는지의 여부

 

 

 

1. 배치학습? (Batch learning) = 오프라인 학습 

• 시스템이 점진적으로 학습할 수 없다.
• 강용한 데이터를 모두 사용해 훈련시켜야 한다.
• 즉, 학습한 것을 단지 적용만 한다. 
• 일반적으로 이 방식은 시간과 자원을 많이 소모하므로 보통 오프라인에서 수행
• 배치 학습이 새로운 데이터에 대해 학습하려면 전체 데이터를 사용하여 시스템의 새로운 버젼을 처음부터 다시 훈련할 필요가 있다.
• 주기적으로 데이터셋을 사용해 훈련하는데 몇시간이 소요된다.
• 장점 : 간단하고 잘 적용
• 단점 : 전체 데이터 셋을 사용해 훈련하는 데 몇시간이 소요될 수 있다. 또한 전체 데이터셋을 사용하기 때문에 엄청나고 많은 컴퓨터 자원이 필요할 수 있기 때문에 오히려 불편할 수 있다. 이런경우 점진적으로 학습할 수 있는 알고리즘을 사용하는 편이 낫다.

 

 

 

2. 온라인 학습(Online learning)

• 데이터를 순차적으로 한개씩 또는 미니배치(mini-batch)라 부르는 작은 묶음 단위로 주입하여 시스템을 훈련
• 매 학습 단계가 빠르고 비용이 적게 들어 시스템은 데이터가 도착하는 대로 즉시 학습할 수 있다.
• 장점 : 연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야 하는 시스템에 적합
  • -> 컴퓨터 자원이 제한된 경우에 좋은 선택
• 온라인 학습에서 중요한 파라미터
• -> 학습률(learning rate) : 변화하는 데이터에 얼마나 빠르게 적응할 것인지가 중요하다.
• 학습률을 높게하면 시스템이 데이터에 빠르게 적응하지만 예전 데이터를 금방 잊어버린다.
• 학습률을 낮게 하면 시스템이 관성이 더 커져 더 느리게 학습된다. 하지만 새로운 데이터에 있는 잡음이나 대표성 없는 데이터 포인트에 덜 민감해진다.

 

 

 

 

 

출처 : 핸즈온머신러닝