jq cheat sheet
Developer documentation for products at Zendesk
developer.zendesk.com
jq 는 한번 대대적으로 정리하자고 생각만 하면서 못하고 있는 중입니다.
매번 안쓰던 방식으로 구현해야 할 시점이 되면 검색하느라 시간을 낭비하고...
전자책 출판이라도 목표로 좀 대대적인 정리를 해보고 싶은 느낌입니다!
여튼, 꽤 쏠쏠한, 특히 배열 관련한 많은 내용이 있어서 퍼와봅니다.
제작년에 출간했던 <NGINX 쿡북>의 개정판 번역서 작업을 완료했습니다!
지난주부터 여러 서점에 배포되기 시작했고
온라인 서점에서도 쉽게 구입하실 수 있습니다.
초판 번역은 참 버거웠는데, 개정판 작업은 의외로 빠르게 끝낼 수 있었습니다.
리버스 프록시의 대표주자이자 k8s ingress controller의 대표주자인 NGINX!
아직 익숙하지 않다면 <NGINX 쿡북> 개정판으로 NGINX를 정복해 보는건 어떨까요!?
NGINX 쿡북 - YES24
애플리케이션의 성능, 신뢰성, 보안을 책임지는만능 웹 서버 소프트웨어 엔진엑스 제대로 활용하기엔진엑스 설치 및 사용법부터 다양한 모듈과 실전 운영 팁까지 다룬다. 엔진엑스라는 애플리
www.yes24.com
본 포스팅은 본인 책에 대한 판매 링크를 포함하고 있습니다.
판매를 통해 소소한 수수료를 지급받을 수 있습니다!
트위터에서 돌아다니는 트윗과 짤이 좋은 점은 여러가지가 있지만
하나의 트윗 140자에서 많은 것을 함축적으로 이야기 해야 하기 때문에
컨텐츠(?)의 밀도가 높아서 스낵(snack)처럼 소비하기 좋다는 점입니다 ㅋ
오늘도 지나가다 <6 Linux command you must learn in 2023>라는 트윗을 봤고
여기에 올라와 있던 리눅스 초보자를 위한 터미널 주요 명령을 가져와 봤습니다.
익숙하지 않은 명령들이나 의미를 잘 몰랐던 명령들을 되뇌이는 기회를 만드십시오!
이미지에 포함된 내용들은 사실 굉장히 단순한 명령들입니다.
하지만 처음 접하시는 분들은 요런 것들도 헷갈릴 수 있다고 봅니다!
#리눅스 #리눅스기초명령어 #linuxcommand #linuxcommandline
GS네오텍에서 잘 정리해둔 자료가 있어서 읽어보았습니다.
시장의 싸움은 CMAF와 LL HLS로 압축된 느낌이고 (WebRTC 등은 다른 용도로)
각각은 대부분의 CDN 벤더가 잘 처리해주고 있는 것처럼 생각됩니다.
AWS의 예제로 CloudFront를 사용하는 시나리오가 설명되어 있는데
다른 특별한 구성이 필요해 보이지는 않는 느낌입니다.
다만, 내용은 CMAF에 대해서만 염두하고 있는 느낌이고
LL HLS에 대해서는 시험이나 고려되지 않은 것 같습니다.
https://www.slideshare.net/awskorea/low-latency-live-service-implementation-with-aws
AWS 를 활용한 저지연 라이브 (Low Latency Live) 서비스 구현 - 류재춘 컨설턴트/에반젤리스트, GS Neo…
라이브 방송의 성장과 더불어 최근 저지연 라이브 (Low Latency Live) 에 대한 관심이 높아지고 있습니다. 본 강연에서는 Low Latency Live 관련 기술적인 배경과 Latency를 줄이는 원리에 대한 설명을 하고,
www.slideshare.net
CMAF를 사용하는 경우 Chunked Transfer가 핵심 기술이 되고
LL HLS를 사용하는 경우 Chunked Transfer가 핵심은 아니긴 합니다.
아래 장표를 보고나서... 이 자료는 CMAF 기반의 Low Latency 구성이구나를 깨달았습니다.
실제 사용자 환경은 정말 다양하고 품질도 천차만별이라
Low Latency 라이브 서비스를 어떻게 구현할 것인지의 고민이 많을 수 밖에 없습니다.
Trade-off 장표가 그런 고민들을 일목 요연하게 보여줍니다.
AWS Document를 뒤져봐도 Low Latency HLS에 대해서는 이렇다할 내용이 없는 것 같습니다.
규격상 몇 가지 걸리는 부분들이 있고 CloudFront에 대해서도 고민이 되는 부분인데
조금 더 검색력을 높여 구글신, ChatGPT와 함께 골머리 싸봐야겠습니다.
(추가)
ChatGPT 만세... AWS Elemental MediaPackage가 LLHLS를 지원하네요
셋업해서 한번 시험해 봐야겠습니다!
브라우저 등에서 문제가 생겼을 때 tcpdump나 wireshark 등으로
TCP 레벨 등에서의 분석을 하는 경우가 종종 있습니다.
하지만, 이렇게까지 해야 하는가... 하는 자괴감이 들때가 많습니다.
할 때 마다 새롭고...
그리하여 찾아보니,
크롬 브라우저에 대한 내용만이긴 하지만
네트워크 레벨의 동작 로그를 추출/분석하는 방법이 있어서
미래의 나는 분명 까먹을테니.. 여기에 정리해 봅니다.
시작은 이상한 HTTP2 RST 동작을 분석하는 것이었는데
결국 늘 그렇듯... 또 이렇게 블로그에 글 하나를 적고 있습니다 ㅠㅠ
간단합니다.
브라우저에서 chrome://net-export/ 를 입력합니다.
노출되는 도구에서 개인정보 저장 등의 옵션을 고른다음 채취를 시작하면 됩니다.
여러가지 도구가 있는 것 같습니다만
온라인에서 쉽게 사용할 수 있는 도구가 역시 편한 것 같습니다.
https://netlog-viewer.appspot.com/#import
https://netlog-viewer.appspot.com/#import
netlog-viewer.appspot.com
채취한 파일을 import 에 넣어주기만 하면 분석화면으로 바뀝니다.
참 쉽죠?
그 다음 분석부터는 각자의 역량입니다!
https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/query-logs.html
Public DNS query logging - Amazon Route 53
If users are submitting DNS queries for your domain, you should start to see queries in the logs within several minutes after you create the query logging configuration.
docs.aws.amazon.com
Route53 은 CloudWatch Logs 로 로그를 보내 분석하기 쉽습니다.
다만, 이놈의 AWS 는 언제나 문서는 많지만, 원하는 문서를 찾기가 어렵긴합니다.
CWL에서 Log Insights로 Route53 로그를 쿼리할 때
도대체 어떤 컬럼명이 존재하는지 찾는 것도 마찬가지입니다.
일단은 위의 페이지에서 컬럼명을 추정할 수 있고
추정된 컬럼을 쿼리에서 사용할 수 있습니다.
몇 가지 샘플 쿼리를 미래의 나를 위해 남겨둬 봅니다.
filter (queryType="A" or queryType="AAAA")
| stats count(*) by queryName, queryType, responseCode, bin(1h)
| limit 50stats count(*) as numRequests by resolverIp
| sort numRequests desc
| limit 10filter responseCode="SERVFAIL"
| stats count(*) by queryName그리고 CWL 쿼리 문서는 아래의 경로에 있습니다.
정리가 잘 되어 있지 않지만... 대략...?
CloudWatch Logs Insights query syntax - Amazon CloudWatch Logs
When you create a query command, you can use the time interval selector to select a time period that you want to query. For example, you can set a time period between 5 and 30-minute intervals; 1, 3, and 12-hour intervals; or a custom time frame. You also
docs.aws.amazon.com
#cloudwatch #cloudwatchlogs #route53 #aws #awsroute53 #dns
일단 문서의 모든 내용을 이해한 것이 아니라 찾아보고 공부할 것들이 많이 있다.
실제 하드웨어의 스펙도 실무에서 쓰는 것과 다른 부분이 많기 때문에
어떤 항목들에 대한 튜닝과 개선을 통해
넷플릭스 만큼은 아니더라도 대역폭을 더 적은 자원을 소모하면서
뽑아낼 것인가에 대한 연구는 해볼만할 것 같다.
FreeBSD의 기술행사인 EuroBSDCon 2022에서 발표된
넷플릭스의 프레젠테이션 자료는 아래와 같다.
공부해보자!
글로벌 Edge Location을 이용한 가속 상품 Global Accelerator
속칭 GA는 모니터링 할 수 있는 메트릭을 많이 제공하지는 않습니다.
Flowlog를 제공하긴 하지만 뭔가 서비스 레벨에서 모니터링하긴 애매하고...
가능한 지표들을 가지고 CloudWatch 대시보드로 구성해 보았습니다.
AWS의 제품들 중 일부는 특정 리전에서만 사용할 수 있거나
특정 리전에서만 모니터링 할 수 있는 제품들이 있습니다.
Global Accelerator 역시 그런 제품중 하나로
GA의 지표들은 US West 혹은 us-west-2로 표기되는 Oregon 리전에서 제공됩니다.
GlobalAccelerator 메트릭을 선택하면
하위에 여러가지 메트릭이 다시 나옵니다.
참 애매한 것이 중복되서 제공되는 메트릭들이 있어서
GlobalAccelerator, Listener, EndpointGroup 등이
뭉쳐서 나오는 것들이 있어서... 처음 보면 당황하기 딱 좋습니다.
개인적으로 추천드리는 첫번째 지표는 Accelerator 입니다.
실제 GA 인스턴스?가 처리하는 지표 다섯가지가 이곳에 있습니다.
GA의 ProcessedBytesIn은 외부 혹은 업스트림으로부터 수신한 바이트
반대로 ProcessedBytesOut은 외부 혹은 업스트림으로 송신한 바이트입니다.
보통은 GA를 업스트림 가속으로 쓰기 때문에 In을 사용자가 업로드한 바이트
Out을 업스트림으로 내보낸 바이트로 생각하면 편리합니다.
다만 상황에 따라 이 메트릭이 별로일 수도 있습니다.
GA는 IPv4 only 일때 두개의 공인 IP, v4+v6 일때 4개의 IP를 제공하는데
이 메트릭으로는 합계 트래픽만 볼 수 있기 때문입니다.
이때 활용하는 것이 AcceleratorIPAddress 지표입니다.
이 메트릭은 기본적으로 Accelerator의 메트릭중 ProcessedBytesIn/Out과 같습니다.
다만 차이점은 GA에 할당된 IP 단위로 보여준다는 점입니다.
즉, 특정한 IP에 문제가 생기는 경우에 대해 확인이 가능하다는 것을 의미합니다.
네, 요렇게 지표를 추가하면 GA VIP 별로 트래픽 흐름을 볼 수 있습니다.
다음 포스팅에서는 GA의 전송량대신 대역폭으로 보는 법을 살펴보겠습니다.
익숙한게 대역폭인데 AWS는 DataTransfer를 Bytes로 측정하다보니
CloudWatch 등의 메트릭도 동일한 기조로 되어 있어 다소 불편함이 있습니다 ㅎㅎ
요걸 CloudWatch Math로 풀어보겠습니다.
#aws #globalaccelerator #awsga #accelerator #가속 #아마존 #아마존웹서비스 #글로벌엑셀러레이터 #IT #cloud #publiccloud #cloudwatch