Google Cloud Platform 에서 PUB/SUB 사용하기

Google Cloud Platform 에서 PUB/SUB 사용하기

Google Cloud Platform(GCP)에서 실시간으로 안정적인 메시징 및 데이터 스트리밍을 제공하는 글로벌 서비스가 Pub/Sub 이다.

1. GCP Pub/Sub 서비스 소개 

1.1 확장 가능한 메시징 미딜웨어

Cloud Pub/Sub는 실시간 메시징 서비스로 개별 응용 프로그램간에 메시지를 주고 받을 수 있다. 그리고 GCP 또는 인터넷의 다른 곳에 있는 시스템 또는 컴포넌트들을  분리하기 위하여 Cloud Pub/Sub을 활용할 수 있다. Cloud Pub/Sub는 1초에 100만건을 낮은 대기 시간에 '적어도 한 번은' 제공되도록 설계되어 있다고 한다.

1.2 모든 데이터에 연결

Cloud Pub/Sub을 사용하여 여러 소스로부터 데이터에 publish와 subscribe 한 후, Google Cloud Dataflow에 의한 데이터의 파악도 실시간으로 실행할 수 있다. Cloud Pub/Sub을 사용하면 분산 응용 프로그램 구성 요구산의 복잡한 종석성을 줄일 수 있다. Cloud Pub/Sub는 구글의 광고에서 GMail까지 구글 앱에 사용되는 동일한 메시징 기술이라고 한다.

1.3 GCP의 Pub/Sub 특징

  • 뛰어난 확장성
    • 기본적으로 1초에 1만건의 메시지를 보낼 수 있고, 요청에 따라 100만 건 이상을 보낼 수 있음
  • Push / Poll 전달
    • Subscribers이 인터넷 또는 방화벽 내에 위치 여부에 상관없이 유연한 전달 옵션들을 가짐
  • 암호화
    • 모든 메시지 데이터는 전송될 때나 저장될 때도 암호화 되어 안전하게 보호
  • 복제된 스토리지
    • 모든 메시지를 여러 영역의 여러 서버에 저장하여 'at least once' 메시지 전달이 제공되도록 설계
  • 메시지 큐
    • 1:1 통신 패턴을 지원하기 위해 단일 Topic과 Subscription을 사용하는 확장 가능한 메시지 큐 생성
  • 종단 간 응답 확인
    • 응용 프로그램 수준에서 명시적인 응답을 확인함으로써 신뢰할 수 있는 응용 프로그램을 쉽게 구축 가능
  • Fan-Out
    • 1:N 또는 N:N 통신 패턴들을 지원하기 위해 하나의 Topic 메시지를 publish하고, 다중의 subscriber들이 복사본들을 받음
  • REST API
    • 많은 프로그래밍 언어에서 API 라이브러들과 함께 JSON 메시지를 사용하는 간단하고 상태가 없는 인터페이스


2. GCP Pub/Sub 서비스 사용하기

GCP의 모든 기능들이 동일하게 프로젝트 기반에서 동작한다. 따라서 Pub/Sub 서비스를 사용할 때도 우선 프로젝트를 생성이 필요하다. (참고: https://mansoo-sw.blogspot.kr/2016/10/google-cloud-platform-comput-enginevm.html)

2.1 Google Cloud Access Token 생성

GCP에서는 특정 서비스를 사용하기 위해서는 Access Token이 필요한데, 이것은 GCP Console에서 쉽게 생성할 수 있다.

Google Cloud Access Token 생성은 API 관리자에서 생성할 수 있다. 아래 그림과 같이 대시보드에서 '사용자 인증 정보로 이동' 버튼을 누른다.

'사용자 인증 정보 만들기' 버튼을 눌러 '서비스 계정 키'을 선택한다.


사용자 인증 정보에서는 '서비스 계정' 타입을 설정할 수 있는데, 여기서는 'Compute Engine default service account'을 선택하고, '키 유형'은 JSON 파일형태로 설정 후 '생성' 버튼을 누른다. 

인증 정보의 종류는 'Google Cloud Pub/Sub API'을 선택하고, 아래 항목은 설정된 환경에 맞춰 선택한다.

마지막 단계에서 '완료' 버튼을 누르면 JSON 파일을 다운로드 받을 수 있다. AWS와 동일하게 생성된 JSON 파일은 한번만 다운로드 받을 수 있기 때문에 잘 관리해야 한다.


2.2 Topic 만들기

프로젝트가 생성되면 '제품 및 서비스' 버튼()'을 누른 후 '게시/구독' 항목을 선택한다. 그리고 '주제(Topic) 만들기'를 선택하여 '주제 만들기' 팝업 창에서 'topic' 이름을 설정하면 된다. Topic 이름은 메시지를 구분하는 ID로 메시지가 Publisher로부터 Subscriber에게 전달된다.



Topic 이름은 'twitter' 로 입력 후 생성했다.



메시지를 구독(Subscription)하려면 아래와 같이 Topic(주제) 선택, 그 다음에 '+새구독' 을 선택 후 subscription 이름을 입력한다. 생성된 subscription은 왼쪽 화면에서 '구독' 버튼을 누르면 subscription 항목들을 볼 수 있다.

Subscription 이름도 'twitter'로 했다.




2.3 Topic / Subscription 사용하기 

간단하게 Node.js을 이용하여 topic을 publish하거나 publish된 topic에 대해 subscribe 후 받을 수 있도록 한다.

Node.js을 사용하여 GCP Pub/Sub을 이용하려면 npm 툴을 사용하여 google-cloud/pubsub 모듈을 설치하야 한다.

[Node.js 설치 / Linux]
만일 Node.js가 설치되지 않았다면 다음과 같이 설치 한다. 
$ sudo apt install nodejs-legacy
$ sudo apt install npm

[Node.js 설치 / macOS]
$ brew install node

Node.js와 NPM이 설치되었다면 google-cloud/pubsub 모듈을 설치할 수 있다. 단지 npm 툴의 버전은 3.0 이상이 되어야 한다.

[google-cloud/pubsub 모듈 설치]
$ mkdir ~/gcp_test
$ cd ~/gcp_test
$ npm install --save @google-cloud/pubsub

그리고 '2.1 Google Cloud Access Token 생성' 에서 다운로드 받은 JSON 파일을 복사하거나, 경로를 확인한다. 다음 JavaScript 소스는 'twitter' subscription에 subscribe 후에 'message' 이벤트를 받으면 화면에 표시를 하고, 단 한번 'New message' 데이터로 topic을 publish 하는 예제이다.

ACK을 보내지 않기 때문에 메시지를 지속적으로 받게 된다.

// This is a Javascript sample code for Google Cloud Platform's Pub/Sub Service
// 'xxxx' in source code means that you have to change it to your information.
// Your Google Cloud Platform project ID
const projectId = 'mansoo-xxxx-analysis';
// Imports the Google Cloud client library
const PubSub = require('@google-cloud/pubsub');
// Instantiates a client
const pubsubClient = PubSub({
projectId: projectId,
keyFilename: './xxxx.json'
});
// The name for the new topic
const topicName = 'twitter';
const subName = 'twitter';
var subscription = pubsubClient.subscription(subName);
// Register a listener for `message` events.
subscription.on('message', function(message) {
console.log('Received message: id = ' + message.id + ', data = ' + message.data + ', attributes = ' + message.attribute);
// Called every time a message is received.
// message.id = ID used to acknowledge its receival.
// message.data = Contents of the message.
// message.attributes = Attributes of the message.
});
var topic = pubsubClient.topic(topicName);
topic.publish({
data: 'New message!'
}, function(err) {});
view raw pub-sub.js hosted with ❤ by GitHub

[실행]
$ node pub-sub.js

3. 참고


댓글

댓글 쓰기

이 블로그의 인기 게시물

macOS가 갑자기 부팅이 되지 않을 경우 데이터 복구 또는 백업 방법

이미지
어느날 갑작스럽게 Mac이 부팅 되지 않을 때, 그 안에 담겨진 소중한 자료들을 복구 할 수 있는 방법을 소개 합니다. 최악의 상황인 HW 문제가 있다면 소중한 자료들의 확보는 분명 어렵겠지만, OS적인 문제로 부팅이 되지 않을 경우는 다음과 같은 시도를 통해 확보가 가능할 수 있다. Mac 제품 특히 저장 장치가 SSD인 Mac은 저장장치가 메인 보드에 장착되기 때문에 일반 노트북처럼 2.5인치 내장 저장장치를 꺼내 다른 컴퓨터에 연결할 수 없다. 이런 경우 수리 센터에 맡길 수 있겠지만, 데이터 복구는 개인 정보 때문에 지원받지 못할 수 있다. 그렇다면 어떻게 하면 될까? 바로 '외장 저장장치'에 최신 macOS를 설치 후(시동 디스크 생성과 동일), 이 외장 저장장치로부터 macOS을 부팅하여 Mac 내부에 있는 저장장치에 접근이 가능할 수 있고, 데이터도 복구를 할 수 있다. 1. MacBook 또는 iMac 하드웨어 설정 초기화(NVRAM 초기화) 사용하다가 갑자기 어느날 macOS가 부팅이 안되면 우선 머리가 하얗게 되어 아무런 생각이 없을 것이다. 부팅을 여러번 시도할 것이고, 그래도 안된다면 수리 센터를 생각해 볼 것이다. 비용도 비용이지만 소중한 내 자료를 백업 가능할지 모르겠다. 일반 사용자가 하드웨어 설정(보통 이런 설정은 NVRAM에 저장됨)을 바꾸지는 않을 것이다. 하지만 설치한 하드웨어 또는 소프트웨어들에 의해 값들이 변경될 수 있다. NVRAM에 저장되는 정보의 예를 들면 무선랜에 연결되면 다음에 다시 연결될 수 있도록 연결된 무선랜의 이름과 암호를 저장한다. 이러한 하드웨어 설정들이 동작에 일부 영향을 줄 수 있다. 이 NVRAM을 초기화를 위해서는 전원 버튼을 누른 후 바로 'option' + 'command' + 'P' + 'R' 네 키를 동시에 누르면서  약 20초 동안 유지하면 된다. 애플 로고가 두 세번 보일 수도 ...
자세한 내용 보기

C++로 프로그래밍할 때 인자 또는 리턴 값으로 std::vector 등 STL 데이터 타입 처리하는 좋은 방법

C++ 프로그래밍할 때 std::vector 등 STL 데이터 타입을 호출하는 함수로 넘겨주거나 받아야 할 경우가 있다. 이런 경우 메모리 문제 또는 속도 문제 때문에 고민을 많이 할 것 같은데, C++11 이상을 지원하는 컴파일러를 사용하는 분이라면 이 글에서 도움을 받아 가기 바란다. 함수 인자로 넘길 때 이 경우는 사용이 명확하다. Call by Reference으로 데이터를 넘기면 된다.  Call By Reference로 인자로 넘기는 방법은 pointer 를 사용해도 되지만, reference을 사용하는 것이 좋다. void foo1(std::vector & data) {   ... } void foo2(std::vector const& data) {   ... } void foo3(std::vector data) { } int main(int argc, char* argv[]) {   std::vector my_data {10, 20, 30};   foo1(my_data);   foo2(my_data); } 위 코드에서 foo1()과 foo2()는 Call by Reference로 값을 넘기는 반면에 foo3()는 Call by Value로 main()에서 my_data를 넘기게 된다.  foo1()의 data는 main()의 my_data를 참조(reference)하고 있어서 foo1()에서의 데이터 변경은 main()의 my_data에 영향을 주게 된다. 그리고 foo2()는 main()의 my_data를 참조는 하지만 수정을 할 수가 없는 것이라서 단순히 값만 참조할 수 있게 된다. 반면 foo3()에서의 data는 main()의 my_data를 넘기는 순간에 값을 복사하기 때문에 메모리가 증가하게 된다. 또한 foo3()에서 data를 ...
자세한 내용 보기

Git 저장소를 병합하는 방법(How to merge repositories in Git)

GIT 저장소를 다른 저장소에 병합하는 방법 Git? Git은 컴퓨터 파일의 변경 내용을 추적하고 여러 사람들일 공유하는 파일에 대해 협업할 수 있도록 파일의 변경을 제어하는 버전 제어 시스템이다. 기존에 CVS, SVN 등 다양한 버전 제어 시스템들이 나왔지만, 최근에는 Git으로 통일되는 것 같다. Git은 분산 리비전(개정) 관리 시스템으로서 속도, 데이터 무결성 및 분산 된 비선형 작업 진행을 지원하는 것이 목표이다.  Git은 Linux 커널 개발을 위해 2005년 리누스 토발즈(Linus Torvalds)가 개발 되었으며, 다른 커널 개발자들도 초기 개발에 기여했다. 대부분의 다른 분산 버전 제어 시스템과 마찬가지로 Client-Server 버전 제어 시스템과는 다르게 중앙 서버와 관계없이 모든 컴퓨터의 Git 디렉토리는 파일 변경 이력(버전)을 추적할 수 있는 분산형 저장소이다. Client-Server 버전 제어 시스템으로 많이 사용했던 SVN(Subversion)은 네트워크 연결이 안될 경우 독립적인 위치에서 동시에 개발이 진행될 때 코드 병합과 이력 관리에 많은 어려움이 있었다. Git은 이런 기본적인 문제점들을 해결하면서 보다 진보적인 방법들을 제공한다.  인터넷 검색을 통해 보다 세부적인 내용과 더불어 다양한 기능들에 대해 찾아 보기 바란다. 서로 다른 저장소를 한 곳에 병합하는 방법 프로젝트 특성에 따라 한 개 이상의 저장소들에서 개발이 진행되다가 저장소의 병합이 필요할 때가 있다. 특정 디렉토리를 생성하여 복사해서 추가하면 되겠지만, 이련 경우에는 기존 저장소의 수정 이력(버전) 정보는 포기해야 한다.  쉽게 기존 저장소의 수정 이력 정보를 포함하여 저장소를 병합하는 방법이 있다. 우선 다음과 같이 세 개의 저장소가 있다고 가정한다. git/project1 git/project2 git/project3 project2와...
자세한 내용 보기