[GCP] 한국 Cloud Onboard Online 3 : 스토리지, 컨테이너

모듈3 : 스토리지, 컨테이너

 

Cloud Storage

데이터 암호화

앱엔진 : 객체 스토리지, 로그, 데이터스토어 백업 

Cloud SQL : 테이블 가져오기 및내보내기

 

Cloud Bigtable

분석용 DB로 쓰기 적절함.

관리형 NoSQL. 키 벨류 형태.

HBase API를 기반.

굉장히 많은 데이터를 다룰 수 있음.

 

Cloud SQL

자동복제, 관리형 백업, 수직확장(읽기 쓰기), 수형확장(읽기), 자동관리

수평 스케일링이 불가능. 

App engine 등과 함께 쓰기 좋음.

유럽, 서울 혹은 같은 지역에 같은 DB가 여러개 필요하면 Cloud Spanner를 사용.

강력한 일관성 적용 가능

 

Cloud Datastore

NoSQL

스케일 아웃, 

 

 

Cloud SQL을 사용하다가 Cloud Spanner로 전환할 수도 있나요?

해당 작업을 수행하시려면 마이그레이션을 거쳐야 합니다. 

https://cloud.google.com/solutions/migrating-mysql-to-spanner

 

 

클라우드 컨테이너

컨테이너 및 쿠버네티스

IaaS(Compute Engine) 과 PaaS(App Engine) 중간단계.

 

앱엔진의 문제? 컨트롤하는 영역이 적다. CPU 사용량, 메모리 사용량, 하드웨어 자원 등.

KubernetesEngine은 앱엔진 처럼 자동화되면서 ComputeEngine처럼 설정할 수 있는 것이 많음.

 

컨테이너는 커널 상단까지 가상화함으로써 간편하게 전달할 수 있음. 이식성이 좋음

 

IaaS의 유연성과 PaaS의 확장성을 제공하는 컨테이너.

하드웨어 OS의 추상화. OS에 의존하지 않음.

 

구글이 제공하는 서비스는 거의 모두 컨테이너에서 실행됨 매주 평균 40억개.

 

Kubernetes는 이 많은 컨테이너를 관리함.

 

Kubernetes

Google Kubernetes Engine : 구글 관리형 쿠버네티스

Istio : 서비스메시(컨테이너 간 커뮤니케이션 보안), 보안, 인증 등

Anthos : GKE와 온프레미스 쿠버네티스를 관리할 수 있도록 함. 하이브리드 클라우드 및 멀티클라우드에 적절함.

 

 

 

 

Cloud Source Repostitories : 깃헙

Cloud Functions : 작은 이벤트 처리 (챗봇 데이터를 저장하는 기능 등)

 

Operation Suite : 가시성 확보

•  Monitoring 

• Logging

• Debug

• Error Reporting

• Trace

• Profiler

 

Operation Suite 로 앤엔진, Cloud SQL을 사용하는 프로젝트에 대한 모니터링, 분석도 가능한가요?

https://cloud.google.com/sql/docs/mysql/monitor-instance#cloud-monitoring

네 관련 문서 확인부탁드립니다. 

 

 

데이터베이스 예시

트랜섹셔널 DB : 고객이 계속 접속해서 작업하는 DB. 쓰기 속도가 매우 중요함.

한달 수익의 평균, 매출 합 등 분석이 가능함.

분석을 위해서는 트랜섹셔널 DB를 사용하기 문제가 있음.

CPU, 메모리 과부하 문제, 

원천데이터는 항상 엉망진창임. 분석에 적절하지 않음.

 

ETL (Extract Transform Load) : Null삭제, 필터링, 그룹화 등을 거쳐서 다른 DB에 저장

 

복제한 데이터를 통해 실험, 분석이 가능함.

 

OLAP : Analytic

 

데이터 분석 결과를 레포팅해야함.

 

 

 

정형데이터 - Unstructured

비정형데이터 - Structured

 

Transactional - 실시간 이용 DB

Data Analytics - 데이터 분석 DB

 

 

Cloud Storage : 오디오, 이미지, txt 등 

Cloud SQL : RDB, 한개의 데이터베이스

Cloud Spanner : RDB, 여러개의 데이터베이스 / 전세계 서비스의 경우, DB가 있는 곳이 아닌 곳에서 접근하려면 시간이 오래 걸림. 스케일아웃 - 여러인스턴스를 생성할 수 있음.

Cloud Datastore : NoSQL ver1

Cloud Firestore : NoSQL ver2 

Cloud Bigtable : 데이터가 키-벨류인 경우, 레이턴시가 비교적 낮음.

Cloud BigQuery : 데이터가 표 형태인 경우, 복잡한 분석이 가능함

 

 

 

Cloud Storage는 BLOB 스토리지임.

 

 

 

https://cloudonair.withgoogle.com/events/korea-cloud-onboard-coreinfra-online-2020/watch?talk=module3