- 원본 영상
- kubecon north america 2022 자료
Intro to gRPC
What is gRPC?
Language & platform independent glue for microservices
Created by Google, as next version of Stubby
- Stubby connected large number of microservices at Google scale : O(10^10) RPCs per second
Uses http2 and benefits from binary framing, multiplexing, streaming and HPACK compression
Generally used with Protocbuf for payload serialization
Use Protobuf IDL in .proto
Generate sever & client subs using protoc compiler
Extend server stub to add server logic
Use client stub to invoke methods
Note : protobuf is not mandatory to use gPRC
- There are other integrations like google/flatbuffers and Microsoft/bond
개인 정리
gRPC는 http2 위에서, binary, streaming 등의 특성을 가지고 있고 일반적으로는 Protobuf 로 직렬화한다.
궁금점 : http2 위인데 어떻게 양방향이 보장되지? 브라우저에서 동작하는 gRPC-web 은 단방향이라고 명시되어 있는데?:
- 찾아본 결과 : http2 자체가 bidirectional flow 이다. 출처 : RFC 7540
- 결론 : http2 에 대해서 제대로 모르는 것 같다. 이번주 중으로 http2 를 추가로 공부하자.
공부하면서 추가적으로 알게 된 것 : gRPC는 http2 에서 동작하고 단일 http2 연결에서 stream이 너무 많으면 스트림 간의 쓰레드 경합이 발생하고 연결 패킷 손실로 인해서 결국에는 호출이 차단된다. 출처- msdn
protobuf 가 필수는 아니지만, 이미 많은 지원이 되어있다. 물론 flatbuffers, bond 와 같은 대체 프로젝트들도 있다.
Protobuf
What’s Protobuf aka Protocol Buffers?
- Google’s Lingua Franca for serializing data : on the network and in storage
- Strongly typed
- Binary format
- Extensibility and backward compatibility
- Code generators for Java, C++, Go and many other languages
Why gRPC?
- Multi-language
- On every platform
- Strict Service contracts
- Performant & Efficient on wire
- Extensible, Customizable
- Easy to use
- Streaming, BiDiStreaming APIs
- Open & Standard compliant
- Production Ready
gRPC in Microservice & Service Mesh
- New paradigm: convert a monolithic application into a mesh of microservices
- In-process calls become gRPC calls between microservices over the network
- Scaling involves new VMs/clusters/networks and RPCs crossing the boundaries
- Need to manage traffic and security now!
- Servie Mesh to the Rescue!
개인 정리
monolithic 에서 microservice 로, microservice의 복잡성을 해결하기 위해 mesh 로 패러다임이 변화하고 있고 이런 상황에서 gRPC는 아주 좋은 선택이다. 이제 트래픽과 보안을 관리하는 방법을 알아보자.
So What’s a Service Mesh?
- Policies for Traffic Management and Security
- Control Plane (e.g. Istio) stores and manges policies
- In the proxy mode transparent proxies enforce/implement politices
- gRPC sends requests to the virtual IP of the service
- Proxy interrupts requests, applies policies and forwards to local service instance
- But with gRPC, there is proxyless mode!
개인 정리
원본 영상에서는 performance 비교를 한다.
gRPC는 proxyless mode를 지원하고 이를 사용하게 되면 그렇지 않았을때(대조군 envoy)에 비해 자원 사용량과 성능 측면에서 장점을 보인다.
궁금점 : proxyless mode? 그게 어떻게 가능하지? 이렇게 되면 기껏 msa 복잡성을 낮추기 위해 mesh를 도입하고 endpoint를 추상화한게 다 무효 아닌가?:
- 해결 : 찾아보니 Istio (일반적으로 kubernetes 에서 service mesh로 쓰는 프레임워크) 에서 지원해주는 것이였다. 출처 - istio 공식 문서
- 구체적인 동작 방식은 Proxyless gRPC 의 10분 20초 경 architecture 그림을 보면 빨리 다가온다.
Service Mesh With xDS
- xDS Data Plane APIs from Envoy: Open & Extensible
- Right choice for gRPC Service Mesh!
Security In the Service Mesh
Why is Security SO Important?
- Remember the paradigm shift of breaking a monolith into microservices?
- In-process calls are now gRPC calls between microservices over the network
- This is network traffic needs to be authenticated, encrypted and authority.
Service Mesh with Security
- Security Infrastructure provides certificates and keys
- Control plane configures mTCS in CDS(client side) or LDS(servce side)
- gRPC uses provided certs and transport_socket configuration to create mTLS connections
- mTLS gives you encryption + authentication + server authorization
- Server uses “authorization policy” aka RBAC to autorize RPCs based on client identities
Using gRPC in Proxyless Service Mesh.
gRPC Microservices & Observability
- Using gRPC, a monolith now split into microservices spread over diverse infrastructure
- Behavior of the “system” now dependent on individual microservices, network, compute & other infrastructure
- If an issue aries, how can we debug and fix it? needed to incrase reliability and efficiency of this new paradigm
- We need an “observable’ system where internal state is visible or can be inferred
- Can gRPC provide this “observability” into your microservices?
gRPC Observability
- 3 traditional pillars of observability: logs, metrics and traces
- Use gRPC’s “interceptor” framework to collect the raw data for the 3 pillars
- Integrate with exporters and anlytics backends to provide end-to-end observability
gRPC Observability aka O11y
개인 생각
- grpc 를 사용하려면 결국에는 잘 확인할수 있어야한다. logs나 metrics 이나 어떻게 흘러갔는지 trace 같은 걸 말이다.
- 단적인 사례로 뱅크샐러드 기술블로그 - 프로덕션 환경에서 사용하는 golang과 gRPC 를 읽어보면 얼마나 이를 위해서 노력하는지 알수 있다.
- 개인 생각 : HTTP는 아주 오랜기간 사용되었고, 정말 넓은 분야에서 사용되었기에 충분한 시각화, 질의 도구들이 있다. 하지만 gRPC가 이것들이 부족함을 지적하는 파트라고 생각한다.
gRPC Observability in GCP
- gRPC library enhanced with necessary plugins for logging, metrics & traces
- Raw data exported via Stackdriver exporters to Google CloudOps backend
- Admin console to enable/administer feature
- Consumer dashboard to visualize
gRPC Observability with Java
- grpc-gcp-observability artifact to be added to your application build
- grpc-gcp-observability pulls in other required dependencies e.g. Stackdriver exporter
- Call observability init() from the app
- You get observability when application run in Google Cloud and with appropriate config
gRPC Observability: Metrics & Trace
- Private Preview of Metrics & Traces coming soon- before end of Q2’22 for Java and Go
- Integrated with Google Cloud Monitoring and Google Cloud Trace
- Incorporate metrics views into Minotoring dashboards and charts
- Trace Overview shows recent traces: select individual trace to see breakdown of traffic
개인 생각
- gcp 에서 사용하면 기본적으로 이런 도구들을 제공한다는 일종의 홍보라고 해석했다.
- 근데 proxyless 사용하면 이 기능 제한된다고 홈페이지에 나와있던데 … 출처 - gcp Traffic Director 문서
정리
새롭게 알게된 것
- http2 가 양방향을 지원하고 이를 grpc가 적극 사용하고 있다.
- http2 에 대한 공부가 더 필요하다.
- istio 의 내부 동작 구조
- 기존에는 proxy를 써서 어떻게 동작했는지, proxyless를 사용하려면 어떻게 동작해야하는지에 대해서 대략적으로 알게되었다.
- observability의 3가지: logs, metrics, traces
- 대략 감만 있었는데 명확히 써놓으니까 더 잘 다가온다.
- 뱅크샐러드가 프로덕션에서 grpc를 사용하기 위해서 노력한 것들:
- 관련 자료 찾아보면서 글을 발견해서 찾아보게 되었다.