[AWS Re:Invent 2018 정리 (1)] AWS Lambda 로그 개선

AWS Lambda를 좋아합니다.

서버 없이 코드를 실행할 수 있다는 점이 매력적입니다.

실제로 Lambda로 웹 어플리케이션을 만들었고 서비스를 운영하고 있습니다.

다만 가끔 이건 당연히 되야될 것 같은데 안되는 경우가 종종 있습니다.

로그 조회라던지, 언어마다 자주 사용하는 라이브러리가 기본 제공이 안 된다던지, ttfb개선이 안 된다던지...

근데 이제 로그 조회는 훨씬 편해졌습니다.

기존 Lambda Log 문제

Lambda의 로그는 CloudWatch에 쌓입니다.

써보신 분들은 알겠지만 람다 로그 조회에는 큰 문제가 있습니다.

로그를 통합으로 조회하기가 어렵다는 점입니다.

대략 5분 안쪽 간격으로 로그스트림 쌓이고 로그 스트림에 들어가야지만 검색이 가능합니다.

로그 그룹이 계속해서 만들어지는데 로그 스트림 이름으로만 검색할 수 있음

로그 메시지 내용으로 검색하는 건 로그 그룹 내에서만 가능

로그 그룹에서는 검색 기능이 없다고 봐도 되고, 로그 스트림을 선택해야지만 그 안에서만 검색 기능을 활용할 수 있습니다.

내가 보려는 로그가 어떤 시간에 발생했는지 잘 모르는 상황이라면,,,, 검색이 불가능하다고 보면 됩니다.

CloudWatch Log Insight

근데 얼마전에 갑자기 새로운 메뉴가 생겨서 들어가보니

놀라운 기능(어쩌면 당연히 있어야 하는)이 생겨있었습니다.

로그 인사이트입니다.

위에서 말한 문제를 해결해주는 기능입니다.

로그 그룹 레벨에서 검색(쿼리)이 가능합니다.

이런 식의 쿼리도 가능하네요

여기까지 요약하자면,

- 람다 로그는 클라우드 워치 쪽에 쌓인다.

- 쌓이는 건 잘 쌓이는 데, 보기가 너무 힘들다. 검색도 잘 안된다.

- 클라우드 워치가 이제 로그를 검색하고 좀 더 쉽게 보게 해주는 기능을 제공한다.

아마존 블로그의 CloudWatch Log Insights 소개

형식 및 데이터 요소의 범위가 방대하고 원시 로그의 크기가 매우 크기 때문에 분석이 어려울 수 있습니다. 개별 AWS 고객이 매일 100테라바이트 이상의 로그 파일을 일상적으로 생성하는 상황에서 find 및 grep 같은 구식 도구는 더 이상 충분하지 않습니다!

 

새로운 CloudWatch Logs Insights는 이러한 상황에 도움을 줄 수 있습니다! 클라우드 규모에서 작동하도록 설계된 완전관리형 서비스로, 설치나 유지 관리가 필요하지 않습니다. 엄청난 양의 로그를 몇 초 안에 처리하며 고속의 대화형 쿼리 및 시각화 기능을 제공합니다. 모든 로그 형식을 처리하고 JSON 로그의 필드를 자동으로 검색할 수 있습니다. 예상하시겠지만, 탁월한 유연성을 제공하는 이 서비스는 앞으로 로그 탐색에 가장 많이 사용되는 도구 중 하나가 될 것입니다.

주요 기능 살펴보기

아마존 re:Invent 2018 영상에서 CloudWatch Log Insights 관련 부분을 요약해보겠습니다. (이분 말이 너무 빨라서 2배속 해놓은 줄 알았어요;;;)

- 고객들은 로그분석에 원시적인 도구를 사용하는 경우가 많았고, 비용이 많이들고, 시간도 많이들고, 복잡하다.

- 클라우드워치가 로그 매니지먼트도 해주고, 로그 분석도 해준다.

- 어제 CloudWatch Log Insight를 출시했다. fully-managed 로그 분석 서비스다.

- 쓰기 쉽고, 빠르고, 확장성 있다.

- 비용은 쿼리를 실행한만큼 낸다. (미국 동부 리전 기준 $0.0005 / GB scanned)

- 다양한 쿼리가 가능하다.

- Json Field도 분석해준다.

- 이 쿼리를 Dashboard로 만들어 실시간 확인할 수 있다.