[IBM developerWorks] Hadoop을 이용한 분산 데이터 처리, Part 3: 애플리케이션 개발

Hadoop을 이용한 분산 데이터 처리, Part 3: 애플리케이션 개발

Hadoop용 Ruby MapReduce 애플리케이션 개발하기

M. Tim Jones, 컨설턴트 엔지니어, Emulex Corp.

M. Tim Jones는 임베디드 소프트웨어 아키텍트이자 GNU/Linux Application Programming, AI Application Programming, BSD Sockets Programming from a Multilanguage Perspective의 저자이기도 한다. Jones의 공학 배경은 정지 위성을 위한 커널 개발에서 시작해 임베디드 시스템 아키텍처와 네트워크 프로토콜 개발에 이르기까지 다양한 분야를 아우른다. Jones는 콜로라도 주, 롱몬트 소재 Emulex 사에서 컨설턴트 엔지니어로 활약한다.
(An IBM developerWorks Contributing Author)

요약: 단일 및 다중 노드 아키텍처에서 Hadoop을 구성, 설치 및 사용하는 방법에 대해 살펴보았으므로 이제 Hadoop 인프라 내에서 애플리케이션을 개발하는 작업을 살펴볼 차례입니다. 시리즈의 마지막 기사인 이 기사에서는 Hadoop API와 데이터 플로우를 살펴본 후 이러한 API와 데이터 플로우를 간단한 맵퍼 및 축소자 애플리케이션에서 사용하는 방법을 보여 줍니다.

이 연재 자세히 보기

Tags for this article:  데이터베이스_및_데이터_관리, 리눅스

여기에 태그 달기!

원문 게재일:  2010 년 7 월 14 일
번역 게재일:   2010 년 10 월 19 일
난이도:  중급
영어로:  보기
PDF:  A4 and Letter (104KB | 13 pages)Get Adobe® Reader®
페이지뷰: 307 회

---------------------------------------------------------------------------------------------------------------

이 시리즈의 처음 두 기사에서는 주로 단일 및 다중 노드 클러스터를 위해 Hadoop을 설치 및 구성하는 방법에 대해 설명했다.

이 마지막 기사에서는 Hadoop 프로그래밍을 살펴보며 특히, Ruby 언어 내에서 맵핑 및 축소 애플리케이션을 개발하는 과정을
설명한다. 이 기사에서 Ruby를 선택한 첫 번째 이유는 개발자가 알고 있어야 하는 매우 뛰어난 오브젝트 지향 스크립트 언어

이기 때문이며, 두 번째 이유는 Java™ 및 Python 언어를 다루는 튜토리얼의 참고자료 섹션에서 수많은 참고자료를 볼 수 있

기 때문이다.

이 기사에서도 MapReduce 프로그래밍을 통해 streaming API(Application Programming Interface)를 소개한다.

이 API는 Java 이외의 언어로 애플리케이션을 개발할 수 있는 방법을 제공한다.

먼저 기능 관점에서 맵핑과 축소를 간단하게 살펴본 후 Hadoop 프로그래밍 모델 및 아키텍처 그리고 작업을 작성, 분배 및 관

리하는 요소에 대해 자세히 살펴보자. 

원문 링크 : http://www.ibm.com/developerworks/kr/library/l-hadoop-3/index.html