간단히 말하면: 빅데이터는 규모, 속도 또는 다양성이 일반적인 처리 방식을 넘어서는 데이터셋을 의미합니다. 규모가 크다고 해서 유용한 결론이 보장되는 것은 아닙니다.
실무에서 빅데이터를 활용하는 방법
먼저 입력이 명확하고 결과를 통제할 수 있는 좁은 과업을 선택합니다. 시스템이 사용할 수 있는 데이터와 스스로 결정해서는 안 되는 사항, 결과를 승인하는 사람을 기록합니다. 작은 표본을 수작업과 비교하고, 전형적인 오류를 발견한 뒤에야 더 광범위한 자동화를 다룹니다.
주의할 점
데모는 프로덕션이 아닙니다. 준비된 몇 가지 예시는 작동해도 예외 상황, 체코어 또는 새로운 입력에서는 실패할 수 있습니다. 실제 테스트 사례와 사람의 검토, 비용 측정이 없다면 확장은 시기상조입니다.
의사결정을 위한 질문
- 기술이 개선해야 할 좁은 과업은 무엇입니까?
- 어떤 데이터를 사용할 수 있으며, 결과를 확인하는 사람은 누구입니까?
- 어떤 실제 사례에서 정확도와 비용을 측정할 것입니까?
- 오류가 발생하면 프로세스를 어떻게 중단하거나 되돌릴 것입니까?