교육정보 빅데이터 기술 전문가
교육기간 : 94시간, 총16일
|
구분
|
담당자
|
시간
|
비고
|
|
빅데이터
이해 및 트렌드 특강
|
빅데이터
기술 전문가
|
2시간
|
1일차
|
|
빅데이터
기술 전문가 Overview
|
심탁길
교수
|
5시간
|
1일차
|
|
빅데이터
기술 전문가
|
심탁길
교수
|
63시간
|
2일차 ~ 10일차
|
|
빅데이터
프로젝트
|
PJT Team
|
24시간
|
주 1회(4시간) x 6일
|
교육 대상
|
심사범위
|
선발기준
|
|
|
직무
기준
|
|
|
|
선수
조건
|
필수
조건
|
|
|
우대
조건
|
|
|
교육 목표
·
빅데이터
처리 수요 증가에 따라 DB 분산 처리 및 관리에 대한 해법이 필요한 상황에서 빅데이터 기반의 분산처리
및 NoSQL 관리 기법을 학습하게 하여 빅데이터 관리 시스템 구축 비용 절감 및 효과적 빅데이터 전략
수립 방안 제시
·
빅데이터
핵심 기술인 하둡과 NoSQL의 논리적 구조와 물리적 구조에 대한 이해를 기반으로 하둡 관리 및 활용, MapReduce 프로그래밍, NoSQL(MongoDB) 관리 고급
기술을 습득하여 현업에 바로 적용할 수 있는 빅데이터 기술 전문가 양성
교육 내용 및 운영 계획
|
일차
|
단원명
(학습모듈) |
세부
내용
|
세세부
내용
|
중요도
|
소유
시간 |
|
|
1
|
공통
|
특강
|
빅데이터
이해
및 동향 분석 |
빅데이터
배경
|
하
|
2
|
|
빅데이터
기술 소개 및 동향
|
하
|
|||||
|
빅데이터
활용 사례 분석 및 적용 방법
|
하
|
|||||
|
Overview
|
빅데이터
기술 과정 소개 |
학습
모듈 및 학습 방법 소개 등
|
하
|
5
|
||
|
2
|
기본
|
빅데이터
아키텍처 및 개념
|
하둡
프로젝트 개요
|
빅데이터와
하둡
|
중
|
2
|
|
하둡의
역사
|
중
|
|||||
|
하둡
아키텍처 및 기본 개념
|
중
|
|||||
|
하둡
활용 사례 연구
|
중
|
|||||
|
전공
|
하둡
분산 파일
시스템 |
하둡
분산 파일시스템(HDFS) 개요
|
HDFS 아키텍처 및 특징
|
중
|
2
|
|
|
동작
원리 이해
|
중
|
|||||
|
파일
읽기/쓰기
|
중
|
|||||
|
전공
|
하둡
분산 파일시스템(HDFS) 응용
|
네임노드
설계 및 구성
|
중
|
2
|
||
|
하둡
환경 설정 최적화
|
중
|
|||||
|
HDFS 보안
|
중
|
|||||
|
Racw Awareness 구성
|
중
|
|||||
|
고가용
클러스터 구성
|
중
|
|||||
|
HDFS REST API 사용법
|
중
|
|||||
|
HDFS의 클러스터
운영 및 관리 |
HDFS 상태 점검
|
중
|
1
|
|||
|
클러스터간
데이터 복제
|
중
|
|||||
|
클러스터
리밸런싱
|
중
|
|||||
|
네임노드
메타데이터 백업 및 복구
|
중
|
|||||
|
Mountable HDFS
|
중
|
|||||
|
3
|
전공
|
빅데이터 MapReduce
|
MapReduce의
구조와 성능 |
MapReduce 아키텍처
|
중
|
7
|
|
MapReduce 처리
방식
|
상
|
|||||
|
Mapper, Reducer 기능
구현
|
중
|
|||||
|
Input/Output Format 입출력 제어
|
중
|
|||||
|
Combiner, Partitioner 중간 값 제어
|
중
|
|||||
|
4
|
전공
|
빅데이터 MapReduce 응용
|
Custom Input/Output Format 작성 방법
|
상
|
7
|
|
|
Custom Counter 작성
방법
|
하
|
|||||
|
압축
코덱을 이용한 입출력 제어 방법
|
중
|
|||||
|
다중
입출력 경로 제어 기능
|
중
|
|||||
|
비텍스트
데이터 처리 방법
|
중
|
|||||
|
응용
알고리즘(TF-IDF, PageRank) 사용 방법
|
중
|
|||||
|
5
|
전공
|
빅데이터 MapReduce
|
빅데이터 MapReduce 고급 분석
|
기계
학습 개요
|
중
|
7
|
|
Mahout 내용 분석 및 CLI 사용법
|
중
|
|||||
|
Clustering 라이브러리
개요
|
상
|
|||||
|
Classification 라이브러리
개요
|
상
|
|||||
|
Recommendation 라이브러리
개요
|
상
|
|||||
|
각 알고리즘
사용 및 활용 방법
|
중
|
|||||
|
6
|
전공
|
빅데이터
하둡 에코시스템 |
분산
수집 시스템(FLUME)
|
FLUME 개념 및 아키텍처 소개
|
중
|
7
|
|
SOURCE, SINK, DECORATOR 동작
|
중
|
|||||
|
FLUME CLI 및 웹콘솔
사용 방법
|
하
|
|||||
|
HDFS, NoSQL 연동
방법
|
중
|
|||||
|
FLUME 컴포넌트(Plugin) 개발 방법
|
중
|
|||||
|
7
|
전공
|
쿼리
분석 엔진(Hive/Pig)
|
HIVE 개념 및 아키텍처 소개
|
중
|
7
|
|
|
HIVE CLI 및 웹콘솔
사용 방법
|
중
|
|||||
|
Complex Query 제작
방법
|
중
|
|||||
|
Hadoop Streaming 연동
|
중
|
|||||
|
JDBC 기반 HIVE API 사용방법
|
하
|
|||||
|
8
|
전공
|
NoSQL(HBase, Cassandra)
|
NoSQL 개념 및 아키텍처 소개
|
중
|
7
|
|
|
NoSQL CLI 사용
방법
|
하
|
|||||
|
데이터
모델링, 저장 및 조회
|
상
|
|||||
|
API를 이용한 클러스터 제어
|
중
|
|||||
|
MapReduec를 이용한
데이터 처리
|
상
|
|||||
|
9
|
전공
|
빅데이터
하둡 에코시스템 |
데이터
통합
|
Sqoop 개념 및 아키텍처 소개
|
중
|
3
|
|
HDFS와 RDBMS간 데이터 Integration
|
중
|
|||||
|
MySQL데이터 HDFS Import
|
상
|
|||||
|
HDFS 데이터 MySQL Export
|
중
|
|||||
|
HDFS와 RDBMS간의 Internal 데이터전송
|
중
|
|||||
|
전공
|
웍플로우
관리
|
Oozie 개념 및 아키텍처 소개
|
중
|
4
|
||
|
Oozie MapReduce 작업
실행
|
중
|
|||||
|
Oozie HDFS 작업
실행
|
중
|
|||||
|
Oozie HDFS 작업
실행
|
중
|
|||||
|
Custom Java 작업
실행
|
하
|
|||||
|
웍플로우
제작 및 관리 방법
|
상
|
|||||
|
10
|
전공
|
응용
실습 과제: 추천 시스템 구축
|
영화
추천 시스템 개념 및 아키텍처
|
중
|
7
|
|
|
MovieLens 데이터셋
설명
|
중
|
|||||
|
추천
시스템 알고리즘 구현 방법 설명
|
중
|
|||||
|
Flume, MapReduce, Mahout, HBase를 이용한 영화 추천 시스템 실전 구축
|
상
|
|||||
댓글 없음:
댓글 쓰기