[ADsP 1 과목: 데이터의 이해] 제 1 장 데이터의 이해

1.1.0 핵심 포인트

1) 데이터

(1) 데이터 정의 

• 존재적 특성 : 객관적 사실
• 당위적 특성 : 추론, 예측, 전망, 추정을 위한 근거 (데이터 -> 정보 -> 지식 -> 지혜)

(2) 데이터 특징

• 정성적 데이터 : 언어, 문자 (예: 회사 매출이 증가)
• 정량적 데이터 : 수치, 도형, 기호 (예: 나이, 몸무게, 주가 등)

(3) 지식

• 암묵지 : 학습과 경험을 통해 개인에 체화된 지식 (예: 김치 담그기, 자전거 타기), 공유와 전달이 어려움, 내면화 -> 공통화 필요 
• 형식지 : 문서나 매뉴얼처럼 형식화된 지식 (예: 교과서, 비디오, DB), 공유와 전달이 용이, 표준화 -> 연결화

2)데이터와 정보

(1) 데이터

• 개별 데이터 자체로 의미가 중요하지 않은 객관적 사실

(2) 정보 

• 데이터의 가공, 처리와 데이터 간 연관관계 속에서 의미가 도출 

(3) 지식

• 정보를 구조화하여 유의미한 정보를 분류하고 개인적 경험을 결합하여 내재화한 것

(4) 지혜 

• 지식의 축적과 아이디어가 결합된 창의적 산물 

3) 데이터베이스 활용

(1) 용어

• 1950년대 미국의 군대의 데이터의 기지라는 뜻으로 데이터베이스 탄생
• 1963년 미국 SDC가 개최한 심포지엄에서 공식 용어로 사용
• 1970년대 초반 유럽에서 데이터베이스라는 단일어로 일반화 됨
• 1975년 국내에서 미국의 CAC가 KORSTIC을 통해 처음으로 서비스 됨 

(2) 정의

• EU : 체계적이거나 조직적으로 정리되고 전자식 또는 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물 
• 국내 저작권법 : 소재를 체계적으로 배열 또는 구성한 편집물로 개별적으로 그 소재에 접근하거나 그 소재를 검색할 수 있도록 한 것 
• 국내 컴퓨터용어사전 : 동시의 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위해여 일정한 구조에 따라서 편성된 데이터의 집합 

(3) 특징

• 통합된 데이터(integrated data) : 동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미함. 데이터 중복은 관리상의 복잡한 부작용을 초래함. 
• 저장된 데이터(stored data) : 자기 디스크나 자기 테이프 등과 같이 컴퓨터가 접근할 수 있는 저장 매체에 저장되는 것을 의미 함. 데이터베이스는 기본적으로 컴퓨터 기술을 바탕으로 한 것. 
• 공용 데이터(shared data) : 여러 사용자가 서로 다른 목적으로 데이터를 공동으로 이용한다는 것을 의미함. 대용량화되고 구조가 복잡한 것이 보통 
• 변화되는 데이터(changeable data) : 데이터베이스에 저장된 내용은 곧 데이터베이스의 한 상태를 나타냄. 다만 이 상태는 새로운 데이터의 삽입, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 항상 현재의 정확한 데이터를 유지해야 함. 

1.1.1 데이터와 정보

1. 데이터의 정의

1) 데이터의 정의

• 데이터(data)라는 용어는 1646년 영국 문헌에 처음 등장하였으며 라틴어인 dare(주다)의 과거분서형으로 '주어진 것'이란 의미로 사용되었다.
• 1940년대 이후 컴퓨터 시대가 시작되고 자연과학뿐만 아니라 경영학, 통계학 등 다양한 사회과학이 진일보하며, 데이터의 의미는 과거의 관념적이고 추상적인 개념에서 기술적이고 사실적인 의미로 변화되었다.
• 데이터는 추론과 추정의 근거를 이루는 사실이다. (옥스퍼드 대사전)
• 단순한 객체로서의 가치뿐만 아니라 다른 객체와의 상호관계 속에서 가치를 갖는 것으로 설명 되고 있다.

2) 데이터의 특성

• 존재적 특성 : 객관적 사실 (fact, raw material)
• 당위적 특성 : 추론,예측,전망,추정을 위한 근거 (basis)
• 예: 수요조사나 실험, 검사, 측정 등을 통해 데이터를 수집, 축적하고 다양한 방법으로 분석하여 간단한 마케팅 리포트에서부터 심도있는 논문, 미래 예측을 위한 경영전략 또는 정책을 수립하는 일련의 가치 창출과정에서 가장 기초를 이루는 것이 데이터이다. 

3) 데이터의 유형 

• 정성 데이터(qualitative)는 그 형태와 형식이 정해져 있지 않아서 저장 · 검색 · 분석하는 데 많은 비용과 기술적 투자가 수반 된다.
  • 예: 주관식 응답, SNS에 올린 글 등 형태와 형식이 정해져 있지 않은 데이터
• 정량 데이터(quantitative)는 데이터의 양이 크게 증가 하더라도 저장 · 검색 · 분석하여 활용하기 용이하다.
  • 예: 지역별 온도, 풍속, 강우량과 같이 수치로 표현되는 데이터

4) 지식경영의 핵심 이슈 

• 데이터는 지식경영의 핵심 이슈인 암묵지(暗默知, tacit knowledge)와 형식지(型式知, explicit knowledge)의 상호작용에 있어 중요한 역할을 한다.
• 암묵지와 형식지의 상호작용
  • 암묵지: 개인에게 축적된 내면화(internalization)된 지식 -> 조직의 지식으로 공통화(socialization) 
  • 형식지: 언어, 기호, 숫자로 표준화(externalization)된 지식 -> 개인의 지식으로 연결화(combination)

2. 데이터와 정보의 관계 

1) DIKW의 정의 ★

• 데이터(Data) : 개별 데이터 자체로 의미가 중요하지 않은 객관적 사실
• 정보(Information) : 데이터의 가공, 처리와 데이터 간 연관관계 속에서 의미가 도출된 것 
• 지식(Knowledge) : 데이터를 통해 도출된 다양한 정보를 구조화하여 유의미한 정보를 분류하고 개인적 경험을 결합시켜 고유의 지식으로 내재화된 것
• 지혜(Wisdom) : 지식의 축적과 아이디어가 결합된 창의적인 산물 

2) DIKW 피라미드 

DIKW 피라미드 (출처: http://ai4school.org/?page_id=2746)

• 이 피라미드에서는 데이터, 정보, 지식을 통해 최종적으로 제혜를 얻어내는 과정을 계층구조로 설명하고 있다.
• DATA: 존재형식을 불문하고, 타 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호를 의미 (예: A마트는 100원에, B마트는 200원에 연필을 판매한다.) 
  • INFORMATION:  데이터의 가공 및 상관관계간 이해를 통해 패턴을 인식하고 그 의미를 부여한 데이터 (예: A마트의 연필이 더 싸다.)
    • KNOWLEDGE: 상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물 (예: 상대적으로 저렴함 A마트에서 연필을 사야겠다.)
      • WISDOM: 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 (예: A마트의 다른 상품들도 B마트보다 쌀 것이라고 판단한다.)

1.1.2 데이터베이스 정의와 특징

1. 용어의 연혁 

1. 1950년대: 미국에서 군대의 군비상황을 집중 관리하기 위하여 컴퓨터 도서관을 설립하면서 데이터(data)의 기지(base)라는 뜻의 데이터베이스가 탄생
2. 1963년 6월: 미국 'SDC'가 개최하 심포지엄에서 데이터베이스라는 용어 공식사용. 데이터베이스 초기 개념인 '대량의 데이터를 축적하는 기지' 
3. 1963년: GE의 C.버크만은 데이터베이스 관리 시스템인 IDS 개발
4. 1965년: 2차 심포지엄에서 시스템을 통한 체계적 관리와 저장 등의 의미를 담은 '데이터베이스 시스템'이라는 용어 등장
5. 1970년대 초반: 유럽에서 '데이터베이스라는 단일어가 일반화 됨.
6. 1975년: 미국의 CAC가 KORSTIC을 통해 서비스되면서 우리나라에서 데이터베이스 이용이 이루어짐. 
7. 1980년대: KORSTIC이 해외 전문 데이터베이스를 확충하여 'TECHNOLINE'이라는 온라인정보검색 서비스를 개시하여 본격적인 데이터베이스 서비스 시대를 맞이함.
8. 1980년대 중반: 국내의 데이터베이스 관련 기술의 연구, 개발 중

2. 데이터베이스의 정의 (★흐름 파악)

1. EU <데이터베이스의 법적보호에 관한 지침> : 체계적이거나 조직적으로 정리되고 전자식 또는 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물 
2. 국내 <저작권법> : 소재를 체계적으로 배열 또는 구성한 편집물로서 개별적으로 그 소재에 접근하거나 그 소재를 검색할 수 있도록 한 것
3. 국내 <컴퓨터 용어 사전> : 동시에 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위하여 일정한 구조에 따라서 편성된 데이터의 집합
4. 국내 <Wikepedia> : 관련된 레코드의 집합, 소프트웨어로는 데이터베이스관리시스템(DBMS)을 의미 
5. 국내 <데이터분석 전문가 가이드> : 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의하여 체계적으로 수집 · 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체 

3. 데이터 베이스의 특징 

• 데이터베이스의 일반적인 특징
  • 통합된 데이터(integrated data)
    • 동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미. 데이터 중복은 관리상의 복잡한 부작용을 초래.
  • 저장된 데이터(stored data) 
    • 자기 디스크나 자기 테이프 등과 같이 컴퓨터가 접근할 수 있는 저장 매체에 저장되는 것을 의미. 데이터베이스는 기본적으로 컴퓨터 기술을 바탕으로 한 것
  • 공용 데이터(shared data) 
    • 여러 사용자가 서로 다른 목적으로 데이터를 공동으로 이용한다는 것을 의미. 대용량화되고 구조가 복잡한 것이 보통
  • 변화되는 데이터 (changable data) 
    • 데이터베이스에 저장된 내용은 곧 데이터베이스의 현 상태를 나타냄. 다만 이 상태는 새로운 데이터의 삽입, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 항상 현재의 정확한 데이터를 유지해야 함.
• 데이터베이스의 다양한 측면에서의 특징
  • 정보의 축적 및 전달 측면 
    • 기계가독성 : 일정한 형식에 따라 컴퓨터 등의 정보처리기기가 읽고 쓸 수 있음.
    • 검색가독성 : 다양한 방법으로 필요한 정보를 검색
    • 원격조작성 : 정보통신망을 통하여 원거리에서도 즉시 온라인을 이용 
  • 정보 이용 측면
    • 이용자의 정보 요구에 따라 다양한 정보를 신속하게 획득
    • 원하는 정보를정확하고 경제적으로 찾아낼 수 있다는 특성
  • 정보 관리 측면
    • 정보를 일정한 질서와 구조에 따라 정리, 저장, 검색, 관리 할 수 있도록 하여 방대한 양의 정보를 체계적으로 축적하고 새로운 내용 추가나 갱신 용이 
  • 정보기술 발전 측면
    • 데이터 베이스는 정보처리, 검색 · 관리 소프트웨어, 관련 하드웨어, 정보전송을 위한 네트워크 기술의 발전을 견인할 수 있음.
  • 경제 · 산업 측면 
    • 다양한 정보를 필요에 따라 신속하게 제공 · 이용할 수 있는 인프라로서 특성을 가지고 있어 경제, 산업, 사회 활동의 효율성을 제고하고 국민의 편의를 증진하는 수단으로서 의미를 가짐.

1.1.3 데이터베이스 활용 (# 약어의 의미)

1. 기업내부 데이터베이스 

정보통신망 구축이 가속화되면서 1990년대에는 기업내부 데이터베이스는 기업 경영 전반에 관한 인사, 조직, 생산, 영업 활동을 포함한 모든 자료를 연계하여 일관된 체계로 구축, 운영하는 경영 활동의 기반이 되는 전사 시스템으로 확대되었다.

• OLTP (On-Line Transaction Processing)
  
  • 호스트 컴퓨터와 온라인으로 접속된 여러 단말 간의 처리 형태의 하나이다. 여러 단말에서 보내온 메시지에 따라 호스트 컴퓨터가 데이터 베이스를 액세스하고, 바로 처리 결과를 돌려보내는 형태를 말한다. 데이터 베이스의 데이터를 수시로 갱신하는 프로세싱을 의미한다. 주문 입력 시스템, 재고 관리 시스템 등 현업의 거의 모든 업무는 이 같은 성격을 띄고 있다. 
• OLAP (On-Line Analytical Processing) 
  • 정보 위주의 분석 처리를 의미하며, 다양한 비즈니스 관점에서 쉽고 빠르게 다차원적인 데이터에 접근하여 의사 결정에 활용할 수 있는 정보를 얻을 수 있게 해주는 기술이다. OLTP에서 처리된 트랜잭션 데이터를 분석해 제품의 판매 추이, 구매 성향 파악, 재무 회계 분석 등을 프로세싱하는 것을 의미한다. OLTP가 데이터 갱신 위주라면, OLAP는 데이터 조회 위주라고 할 수 있다.
• CRM (Customer Relationship Management) 
  • '고객관계관리'라고 한다. 기업이 고객과 관련된 내외부 자료를 분석 · 통합해 고객 중심 자원을 극대화하고 이를 토대로 고객특성에 맞게 마케팅 활동을 계획 · 지원 · 평가하는 과정이다. 
  • CRM은 최근에 등장한 데이터베이스 마케팅(DB Marketing)의 일대일 마케팅(One-to-One marketing), 관계마케팅(Relationship marketing)에서 진화한 요소들을 기반으로 등장하게 되었다.
  • 고객데이터의 세분화를 실시하여 신규고객획득, 우수고객 유지, 고객가치증진, 잠재고객 활성화, 평생고객화와 같은 사이클을 통하여 고객을 적극적으로 관리하고 유도한다. 기존 마케팅이 단발적인 마케팅 전술이라면 CRM은 고객과의 지속적인 관계를 유지하면서 '한번 고객은 평생고객'이 될 수 있는 기회를 만들며, 평생고객화를 통해 고객의 가치를 극대화하는 것. CRM은 고객의 정보, 즉 데이터베이스를 기초로 고객을 세부적으로 분류하여 효과적이고 효율적인 마케팅 전략을 개발하는 경영전반에 걸친 관리체계며, 이를 정보기술이 밑받침되어 구성된다. 
• SCM (Supply Chain Management)
  • 기업에서 원재료의 생산 · 유통 등 모든 공급망 단계를 최적화해 수요자가 원하는 제품을 원하는 시간과 장소에 제공하는 '공급망 관리'를 뜻한다. SCM은 부품 공급업체와 생산업체 그리고 고객에 이르기까지 거래관레에 있는 기업들 간 IT를 이용한 실시간 정보공유를 통해 시장이나 수요자들의 요구에 기민하게 대응토록 지원하는 것이다. 세계적으로 선도적 위치에 있는 제조업체, 물류업체, 유통업체들은 SCM을 통해 거래선들과 긴밀하게 협력함으로써 그 이익을 훨씬 더 극대화하고 있다.
• ERP (Enterprise Resource Planning)
  
  • 인사 · 재무 · 생산 등 기업의 전 부문에 걸쳐 독립적으로 운영되던 각종 관리시스템의 경영자원을 하나의 통합 시스템으로 재구축함으로써 생산성을 극대화하려는 경영혁신기법을 의미한다.
  • 과거 경영지원을 위한 각 서브시스템은 해당 분야의 업무를 처리하고 정보를 가공하여 의사결정을 지원하였지만 별개 시스템으로 운영되다 보니 정보가 다른 부문과 동시에 연결되지 않아 불편과 낭비를 초래하였다. 전사적 자원관리(Enterprise Resource Planning, ERP)는 이러한 문제점을 해결하기 위한 것으로 어느 한 부문에서 데이터를 입력하면 회사의 전 부문에서 동시에 정보를 활용할 수 있다. ERP는 완전히 새로운 것이 아니라 1980년대 초 등장한 종합생산관리시스템(Material Requirement Program, MRP)과 1980년대 후반에 개발된 MRP Ⅱ 보다 개념과 기능이 크게 향상된 것이라 할 수 있다. 
• RTE (Real-Time Enterprise) 
  • 회사의 주요 경영정보를 통합관리하는 실시간 기업의 새로운 기업경영시스템이다. 전사적 자원관리(ERP), 판매망관리(SCM), 고객관리(CRM) 등 부문별 전산화에서 한발 나아가 회사 전부문의 정보를 하나로 통합하므로써 경영자의 빠른 의사결정을 이끌어 내려는 목적에서 만들어졌으며 기업활동이 글로벌화되고 기술의 발전으로 제품 수명이 짧아지는 현실에 대응되고 있다. 이를 통해 대기업-중소기업 간의 협업적 IT화의 비중이 점차 확대되고 있다.
• BI (Business Intelligence)
  • 비즈니스 인텔리전스(BI, Business Intelligence)란 기업이 보유하고 있는 수많은 데이터를 정리하고 분석해 기업의 의사결정에 활용하는 일련의 프로세스를 말한다(양정식 외, 2013; Turban & Volonino, 2010). 즉 기업의 사용자가 더 좋은 의사결정을 하도록 데이터를 수집, 저장, 분석, 접근을 지원하는 응용시스템과 기술인 것이다. 고객의 수익성, 고객별 위험도, 고객의 행동 패턴 정보 등이 BI의 산출물이다. BI 시스템은 다양한 분석과 그 결과를 공유할 수 있는 기반 시스템을 구축하고 고급 정보를 이용해 신속하고 정확한 의사결정을 하도록 함으로써 최대의 이윤을 창출할 수 있도록 지원해 주는 솔루션의 집합이다(노규성 · 조남재, 2010; Laudon & Laudon, 2006). 실무적으로 BI는 질의(query), 보고(reporting), 온라인 분석처리(OLAP, Online Analytic Processing), 통계분석, 예측, 데이터마이닝등의 결합이다.
• EAI (Enterprise Application Integration) 
  • 기업 내 상호 연관된 모든 애플리케이션을 유기적으로 연동하여 필요한 정보를 중앙 집중적으로 통합, 관리, 사용할 수 있는 환경을 구현하는 것으로 e-비즈니스를 위한 기본 인프라. 기존의 점 대 점 인터페이스(Point-to-Point Interface)에서는 애플리케이션 수의 실질적 한계와 유지 보수의 어려움 및 애플리케이션 추가 시 방대한 비용 및 시간 손실이 있었으나 EAI를 도입한 인터페이스에서는 새로운 애플리케이션 도입 시 어댑터(Adapter)만 필요한 손쉬운 확장성이 보장된다.
• KMS (Knowledge Management System)
  • 기업의 환경이 물품을 주로 생산하던 산업사회에서, 지적 재산의 중요성이 커지는 지식사회로 급격히 이동함에 따라, 기업 경영을 지식이라는 관점에서 새롭게 조명하는 접근방식이다. 지금까지 기업정보 시스템은 기업 내외의 정형화된 정보만을 관리해 왔다. 재무, 생산, 영업 등 기업활동에서 발생하는 수치 데이터를 저장, 관리하는 것이 정보시스템의 역할이었고 실제 판단을 하고 의사결정을 내리는 것은 기업 내 인적 자원이 수행하는 것 이었다. 그러나 의사결정의 주체인 인적 자원이 떠나면 그가 갖고 있던 지식 자원도 함께 떠나가고 기업의 지적 자원이 소실된다는 관점에서 지식관리 시스템은 출발했다.
• 제조부문
  • 제조업의 데이터베이스 기술 적용은 2000년을 기점으로 전환되었다.
  • 클라이언트/서버 기반의 내부 정보시스템에서 웹으로 전환되고 있다.
  • ERP에서 SCM으로 대기업 위주로 발전하고 있다.
  • 대기업은 중소기업과의 협업으로 인해 중소기업에 투자를 확대할 필요성을 인지하고 있으며 RTE 을 통한 협업적 IT화의 비중을 확대하고 있다.
• 금융부문
  • 1998년 IMF 이후, 금융부문은 업무 프로세스 효율화나 통합시스템 구축으로 확산되었다. 
  • 2000년대 초반, EAI, ERP, e-CRM를 통한 정보 공유 및 통합 그리고 고객 정보의 전략적 활용이 시작되었다.
  • 2000년대 중반, DW 도입을 통한 DB마케팅 강화 그리고 DW를 위한 최적화와 BI 기반의 시스템 구축이 급속도로 퍼지게 되었다.
  • 최근 바젤2 등의 대형 프로젝트가 마무리 되면서 향후 EDW(Enterprise Data Warehouse)의 확장이 기대되고 있다.
• 유통부문
  • 2000년 이후, IT 환경 변화에 따라 CRM과 SCM 구축이 활발하게 진행되고 있다.
  • 상거래를 위한 인프라와 KMS를 위한 백업시스템 구축도 함께 진행되고 있다.
  • RFID의 등장으로 유비쿼터스 시대를 준비하고 있다.

2. 사회기반구조로서의 데이터베이스 

• 1990년대 사회 각 부문의 정보화가 본격화되면서 데이터베이스 구축이 활발하게 추진되었다.
• 정부를 중심으로 무역, 통관, 물류, 조세, 국세, 조달 등 사회간접자본(SOC) 차원에서 EDI를 활용하여 부가가치통신망(VAN)을 통해 정보망이 구축되기 시작하였다.
• 1990년대 후반에는 지리, 교통부문의 데이터베이스가 구축되기 시작해 2000년대 들어서 더욱 고도화 되어 일반 국민들도 가정에서 손쉽게 생활에 필요한 정보를 습득하고 있다.
  • EDI (Electronic Data Interchange) : 주문서, 납품서, 청구서 등 무역에 필요한 각종 서류를 표준화된 양식을 통해 전자적 신호로 바꿔 컴퓨터통신망을 이용, 거래처에 전송하는 시스템이다.
  • VAN (Value Added Network) : 부가가치통신망. 공중 전기통시사업자 (예컨대 한국전기통신공사) 로부터 통신회선을 차용하여 독자적인 네트워크를 형성하는 것. 독자적인 네트워크로 각종 정보를 부호, 영상, 음성 등으로 교환하거나 정보를 축적한거나 또는 복수로 해서 전송하는 등 단순한 통신이 아니라 부가가치가 높은 서비스를 하는 것이다.
  • CALS (Commerce At Light Speed) : 전자상거래 구축을 위해 기업 내에서 비용 절감과 생산성 향상을 추구할 목적으로 시작된, 제품의 설계 · 개발 · 생산에서 유통 · 폐기에 이르기까지 제품의 라이프 사이클(life cycle) 전반에 관련된 데이터를 통합하고 공유 · 교환할 수 있도록 한 경영통합정보시스템을 말한다. 1980년대 초 미 국방성의 제품의 전 생산 · 유통 과정에서 컴퓨터를 활용한 자동화시스템을 구축해 효율적인 군수 조달하기 위한 목적으로 개발된 시스템이다. 
• 1) 물류부문 
  • CVO(Commercial Vehicle Operation System)
  • PORT-MIS(항만운영정보시스템)
• 2) 지리/교통부문
  • GIS(Geographic Information System)
  • RS(Remote Sensing)
  • GPS(Global Positioning System)
  • ITS(Intelligent Transport System)
  • LBS(Location Based Service)
  • SIM(Spatial Information Management)
• 3) 의료부문
  • PACS (Picture Archiving and Communications System)
  • U헬스 (Ubiquitous-Health)