Cloud & Dev. Story2016.08.03 16:43

HTTP/2 시대가 시작되면서 다양한 성능 개선을 위한 사례들을 요즘 찾아보고 있습니다. QUIC 도 그중 하나이고 TCP Fast Open 이라는 표준 역시 살펴봐야 할 사례인 것 같습니다. 공부할 건 많고 시간은 없고 머리는 안돌아가고... 그래도 일단 필요한 링크들을 모아봅니다. 먼저 공부하시는 분들이 계시다면 정리해서 공유를... 굽신...


# TCP Fast Open - TCP 의 3 way handshake 로 발생하는 RTT 및 Latency 의 한계를 극복하려는 노력 / Handshake 할때부터 컨텐츠를 담아 전달해 보자는 것이 요지.



출처 : 구글 기술문서 (아래의 링크5)



링크1 - RFC 7413 - TCP Fast Open (Experimental) : https://tools.ietf.org/html/rfc7413

링크2 - Cent OS 7 + nginx 환경에서 TCP Fast Open 활성화 하기 : https://goo.gl/pRmWZO

링크3 - TCP Fast Open 위키피디가 : https://en.wikipedia.org/wiki/TCP_Fast_Open

링크4 - curl 7.49.0 의 특정 운영체제 버전에서 옵션 제공 : https://curl.haxx.se/libcurl/c/CURLOPT_TCP_FASTOPEN.html

링크5 - 구글에서 발표된 기술 문서 : http://goo.gl/rz1sqX

링크6 - Keycdn 의 아티클 (일종의 요약) : https://www.keycdn.com/support/tcp-fast-open/


- NoPD -

저작자 표시 비영리
신고
Posted by 노피디
HTTP 2.02016.07.04 16:02

웹 컨텐츠 전송을 위한 프로토콜의 대세가 h2 혹은 http/2 로 자리잡아 가면서 맥(Mac)의 쉘에서도 http/2를 테스트 해야하시는 분들이 많이 늘었을 것으로 생각됩니다. 알려진 내용에 따르면 curl 의 7.34.1 버전 이후에는 --http2 옵션을 통해 http2 로 서버와 통신을 하도록 강제할 수 있지만 환경에 따라서 안되는 경우가 많습니다. curl 은 http/2 를 지원하기 위해 nghttp2 라이브러리를 이용하고 있기 때문에 우선은 nghttp2 를 설치해야 합니다.




nghttp2 가 설치되면 이를 이용해서 curl 을 다시 build 하거나 설치해야 합니다. 홈브루(Homebrew)를 이용하면 간단하게 새로운 버전으로 빌드를 하면서 설치할 수 있으니 아래의 커맨드를 참고해서 설치를 진행하도록 합시다. 아래와 같이 설치한 후 brew info curl 명령을 통해 nghttp2 에 초록색 체크박스가 잘 들어왔다면 일단 설치는 제대로 잘 된거라 봐도 되겠습니다.





그런데 여기까지 하고나서도 curl 을 --http2 옵션으로 실행했을 때 지원하지 않는 프로토콜이라고 에러가 떨어진다면 심볼릭 링크를 한번 교체해줄 필요가 있습니다. 환경 설정에 따라, 사용자 계정에 따라 sudo 를 통해서 권한 상승을 해야 할 필요도 있으니 상황에 따라 적절한 옵션으로 심볼릭 링크를 교체해 주시면 되겠습니다. 




여기까지 해서 마무리가 잘 되었다면 curl --http2 옵션으로 http2 가 활성화된 사이트들, 예를 들어서 아카마이의 https://http2.akamai.com 이라던가 구글 메인 페이지 (https://www.google.com) 쪽으로 요청을 던져볼 수 있게 되셨을 겁니다. 일단 개인적으로 여기까지 해서 문제는 없었습니다만 다른 문제를 겪는 분이 계시다면 댓글로 남겨주시면 한번 살펴보도록 하겠습니다!



- NoPD -




저작자 표시 비영리
신고
Posted by 노피디
Development2016.02.22 15:59

윈도 환경에서는 그렇게 많이 사용되지 않지만 맥이나 리눅스 등의 환경에서는 컬(curl) 명령이 무척 자주 사용됩니다. curl 명령을 이용해서 간단한 HTTP 요청을 쉽게 만들고 요청(Request), 응답(Response) 헤더는 물론이고 전달되는 데이터까지 쉽게 살펴볼 수 있기 때문입니다. 하지만 curl 명령을 이용해서 큰 사이즈의 JSON 응답을 내려주는 API 를 조회하는 경우 그 내용을 살펴보기가 다소 쉽지 않다는 단점이 있습니다. 때문에 JSON Formatter 나 유사한 기능을 제공하는 편집기로 본문을 가공하여 확인해야만 했습니다. 


오늘 소개해드리는 커맨드라인 툴인 jq 는 이런 불편을 제거해주기 위한 훌륭한 도구가 될 것 같습니다. Github 에 소스코드가 공개되어 있는 jq 는 awk 나 grep 처럼 파이프(Pipe)를 이용하여 응답 컨텐츠에 포함된 JSON 형태의 데이터를 전달, 가공하여 리턴해주는 역할을 하게 됩니다. 이를 통해 번거롭게 JSON 형태의 데이터를 재가공할 필요 없이 터미널 상에서 curl 명령을 약간 바꾸는 것만으로 쉽게 JSON 을 확인할 수 있게 됩니다. 백문이 불여일견이니 한번 사용예를 보도록 하겠습니다. 



시험용 서버가 준비되지 않아 쉽게 쓸 수 있는 블로그스팟의 피드를 JSON 형태로 받아보기로 하겠습니다. 개인의 블로그에 영향을 주지 않도록 구글블로그의 공식 채널을 이용해봤습니다. 복사해서 붙여넣기 쉽도록 위의 명령을 다시 적어드리면 curl -v "https://googleblog.blogspot.kr/feeds/posts/default?alt=json" | head -n 10 이 되겠습니다. 캡쳐에서는 빠졌습니다만 less 도 연결해 주시는 것이 정신 건강에 좋습니다. jq 를 이용하지 않았기 때문에 원본 서버가 전달해주는 컨텐츠를 그대로 표현하게 되겠죠?



네, 상당히 사람 프랜들리하지 않은 결과가 나왔습니다. 180k 바이트가 넘는 컨텐츠이기 때문에 한줄로 연결된 데이터를 보는 것은 사실상 불가능하고 외부 JSON Pretty Formatter 를 이용하거나 편집기를 이용해서 보기 좋게 바꿔야 합니다. 하지만 매번 그렇게 하는 것도 참 번거로울 거라는 생각이 딱 들죠? 이럴때 유용한 커맨드라인 툴이 바로 jq 입니다. 이제 파이프를 이용하여 jq 로 응답 결과를 전달해서 간편하게 데이터를 가공해 보도록 하겠습니다. 



여기서도 친절하게 명령을 다시 적어드려 보겠습니다. curl -v "https://googleblog.blogspot.kr/feeds/posts/default?alt=json" | jq '.' | head -n 10 이 바로 명령입니다. 앞선 명령과의 차이는 파이프로 연결된 jq '.' 가 추가된 정도입니다. 하지만 결과는 정말 아릅답게 출력이 된 모습을 볼 수 있습니다. curl 명령을 이용해서 디버깅을 하거나 테스트를 수행하는 경우에 정말 간편하게 응답을 해석할 수 있게 된 것입니다. jq 는 다양한 운영체제용으로 준비되어 있어 공식 웹사이트나 github 에서 필요한 환경에 맞는 소스코드/실행파일을 다운로드 받으실 수 있습니다. 




커맨드라인 JSON Pretty Formatter - jq 공식 웹사이트 방문하기 [바로가기]



저작자 표시 비영리
신고
Posted by 노피디
Development2015.09.21 18:06

웹 사이트를 만들때 가장 많이 손이 가는 부분이 어딜까요? 아마도 동일한 원본 이미지를 가지고 다양한 사이즈로 변조하는 작업에 많은 공수가 들어가실 겁니다. 이는 비단 이미지에 대한 변조 공수 뿐만 아니라 이후 유지보수와 관리의 관점에서도 많은 이슈를 낳곤 합니다. 반응형 웹 시대에 미디어 쿼리를 이용하여 뷰포트에 맞는 이미지를 내려주는 것은 필수이다보니 손을 놓고 있을 수도 없는 계륵(?)처럼 느껴지시는 분도 많을 것 같습니다. 물론 아카마이(Akamai)와 같은 컨텐츠 전송 네트워크 사업자에서 제공하는 Front End Optimization 기술을 이용하면 편리하게 실시간 변환이 가능하지만 간단하게 소규모로 서비스를 기획하는 단계에서는 이 역시 쉬운 선택이 되기는 힘듭니다.


오늘 소개해 드리는 TinyPNG 라는 서비스는 API 기반으로 실시간 PNG/JPG 이미지에 대한 가공을 제공하는 곳으로 HTTP 기반의 웹 서비스이다보니 사용하기도 편리하고 비용도 그리 비싸지 않아 연동에 대한 설계만 잘 해두면 쏠쏠하게 이용해볼 수 있는 서비스가 될 것 같습니다. 첫 500개의 이미지 변환에 대해서는 별도 비용이 발생하지 않고 간단히 HTTP 기본 인증 (Basic Authentication) 으로 구성되어 curl 명령만으로도 쉽게 테스트 해보실 수 있습니다. 이마저 번거로운 분들을 위해 간단히 계정을 만들어 시험을 해봤습니다.


TInyPNG 웹 사이트 바로 방문해보기 [바로가기]




귀엽게 생긴 곰 녀석(?)이 맥북을 들고 작업하는 모습이 인상적인 TinyPNG 의 첫 페이지 입니다. 화면의 하늘색 박스에 이름과 이메일 주소만 넣으면 바로 API Key 를 발급받을 수 있는 링크를 메일로 전송해줍니다. 메일로 전달받은 링크를 클릭하면 인증이 완료되며 API Key 와 무료로 사용할 수 있는 이미지 갯수 등이 표시된 페이지로 연결됩니다. 물론 상용으로 등록하고 싶은 분들을 위해 결제정보를 입력할 수 있는 화면도 친절하게 연결되어 있습니다.





화면 가운데 커다랗게 표시된 API Key 는 Basic Authentication 방식의 해싱 값으로 사용될 데이터입니다. ID / PWD 를 이용하지 않고 바로 해싱된 값이 있다는 것은 그냥 헤더에 해당 값이 들어가면 된다는 이야기와 동일하겠죠? 이제 간단하게 curl 을 이용해서 변환을 테스트 해보겠습니다. 왠지 JPEG 는 스펙상 사이즈 조절 등이 쉬울 것 같아 일부러 PNG 파일을 하나 받아서 테스트를 해봤습니다. 잡스옹, 저의 모르모트가 되어주실거죠? ㅇ9응??)




https://api.tinify.com/shrink 주소로 변환할 파일을 업로딩 하면 TinyPNG 에서 파일을 변조한 뒤 변환된 정보와 다운로드 받을 수 있는 경로정보를 JSON 형태의 응답으로 받게 됩니다. 이유는 알 수 없지만 첫번째 리사이즈 시도의 결과물은 두번째 리사이즈 파일과 용량도 동일하고 모든 조건이 같았는데 이상하게 열리지 않더군요. PNG 헤더 등을 점검하는 것은 다소 귀찮아 다시 curl 을 통해 동일한 용량의 동일한 파일을 다운로드 받아 정상적으로 용량이 작게 변경된 것을 확인했습니다. 글을 적으면서 보니 첫번째 시도는 129942 바이트로 JSON 에 기술된 129526 바이트보다 큰 파일이 저장 되었네요. 다시 디렉토리 조회를 해보면 129526 바이트의 정상적인 파일이 내려온 것이 확인됩니다. API 이용시 2차 검증용으로 용량에 대한 확인을 하면 확실할 것 같네요!




단순히 용량을 줄이는 것 이외에 사이즈의 조절 (Crop 등) 에 관한 여러가지 API 옵션이 제공되고 있으며 API 호출시 JSON 형태로 구성하여 Body 영역에 전달하면 됩니다. GET 요청을 하면서 Body 에 정보를 담아 보내는 것이 표준에는 어긋나는 것 같습니다만 일단 TinyPNG 에서는 정상적으로 응답하고 있으니 참고하시기 바랍니다! 이미지 변조가 많은 계절, TInyPNG 등의 서비스로 간단한 이미지 변환은 쉽게 해보시는 것도 관리, 유지보수를 위한 좋은 선택이 될 것 같네요!





저작자 표시 비영리
신고
Posted by 노피디

티스토리 툴바