파이썬 데코레이터를 이용한 재시도 로직
소개 개발을 하다보면 실패를 가정하고, 재시도를 해야하는 경우가 종종발생한다. 이러한 경우 다양한 방법이 있겠지만, 외부 API연동작업을 하다보니 생각보다 이런일이 많이 발생하였다.
Tags
- python 8
- superset 6
- bi 6
- 슈퍼셋 6
- redshift 2
- database 2
- 비동기 1
- security 1
- ssh 1
- shell 1
- linux 1
- decorator 1
- loop 1
python
Apache Superset(v1.3) 테스트 6편 - 구글 OAuth 연동
개요 Superset은 python의 웹프레임워크 라이브러리 중 Flask App Builder 를 기반으로 만들어졌다. Flask App Builder 는 Django-admin에 영감을 받아 만들어졌으며 다양한 기능을 제공하며, 해당 라이브러리에 이해가 높다면 직접적인 Sup...
Apache Superset(v1.3) 테스트 5편 - 데몬화/Daemonization
개요 이전 글을 모두 읽었다면 알겠지만, Superset의 모든 기능을 사용하기 위해서는 3가지의 프로세스를 실행하여야한다. Superset websever Celery Worker Celery Beat
Apache Superset(v1.3) 테스트 4편 - Alert&Report
개요 Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS을 통하여 Alert 및 Report 메뉴를 활성화 시키는 방법을 알아보았다. 그러나 이러한 메뉴는 조건을 세팅할수만 있을 뿐 실질적인 Trigger역활을 하지는 못한다. Superset은 셀러리를...
Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS
개요 지금까지 Superset 설치 및 기본적인 UI에 대하여 알아보았다. 그러나 실제 Superset을 쓰기에는 아직 충분하지 않다.
Apache Superset(v1.3) 테스트 2편 - 메뉴설명
개요 Superset 웹 UI에 대한 메뉴 설명에 대하여 정리한다. 기본적으로 Superset의 일부 기본적으로 사용할만한 기능들 중 상당수는 비활성화 되어 있기 때문에 활성화를 시켜야하는데, 우선 기본적인 메뉴 설명 및 각 메뉴별로 활성화 가능한 메뉴에 대하여 이번 포스팅에서 함...
Apache Superset(v1.3) 테스트 1편 - 설치
개요 Self Service BI란 통계적 분석이나 데이터마이닝과 같은 전문지식이 없는 현업 직원 누구라도 기업데이터에 접속하여 분석 작업을 할 수 있는 것을 의미한다. 따라서 이를 충족하기 위해서 비전공자여도 쉽게 접근 할 수 있는 수많은 제품들이 있다. 이러한 다양한 제품들은...
파이썬의 비동기 라이브러리 비교
번역글입니다* 파이썬에서 사용할 수 있는 비동기 라이브러리인 multiprocessing, threading, 그리고 asyncio에 대한 내용에 대하여 찾다가 잘 정리된 글이 있어, 해당 포스팅에 대한 번역(적당히 의역)한 내용입니다. https://leimao.github...
superset
Apache Superset(v1.3) 테스트 6편 - 구글 OAuth 연동
개요 Superset은 python의 웹프레임워크 라이브러리 중 Flask App Builder 를 기반으로 만들어졌다. Flask App Builder 는 Django-admin에 영감을 받아 만들어졌으며 다양한 기능을 제공하며, 해당 라이브러리에 이해가 높다면 직접적인 Sup...
Apache Superset(v1.3) 테스트 5편 - 데몬화/Daemonization
개요 이전 글을 모두 읽었다면 알겠지만, Superset의 모든 기능을 사용하기 위해서는 3가지의 프로세스를 실행하여야한다. Superset websever Celery Worker Celery Beat
Apache Superset(v1.3) 테스트 4편 - Alert&Report
개요 Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS을 통하여 Alert 및 Report 메뉴를 활성화 시키는 방법을 알아보았다. 그러나 이러한 메뉴는 조건을 세팅할수만 있을 뿐 실질적인 Trigger역활을 하지는 못한다. Superset은 셀러리를...
Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS
개요 지금까지 Superset 설치 및 기본적인 UI에 대하여 알아보았다. 그러나 실제 Superset을 쓰기에는 아직 충분하지 않다.
Apache Superset(v1.3) 테스트 2편 - 메뉴설명
개요 Superset 웹 UI에 대한 메뉴 설명에 대하여 정리한다. 기본적으로 Superset의 일부 기본적으로 사용할만한 기능들 중 상당수는 비활성화 되어 있기 때문에 활성화를 시켜야하는데, 우선 기본적인 메뉴 설명 및 각 메뉴별로 활성화 가능한 메뉴에 대하여 이번 포스팅에서 함...
Apache Superset(v1.3) 테스트 1편 - 설치
개요 Self Service BI란 통계적 분석이나 데이터마이닝과 같은 전문지식이 없는 현업 직원 누구라도 기업데이터에 접속하여 분석 작업을 할 수 있는 것을 의미한다. 따라서 이를 충족하기 위해서 비전공자여도 쉽게 접근 할 수 있는 수많은 제품들이 있다. 이러한 다양한 제품들은...
bi
Apache Superset(v1.3) 테스트 6편 - 구글 OAuth 연동
개요 Superset은 python의 웹프레임워크 라이브러리 중 Flask App Builder 를 기반으로 만들어졌다. Flask App Builder 는 Django-admin에 영감을 받아 만들어졌으며 다양한 기능을 제공하며, 해당 라이브러리에 이해가 높다면 직접적인 Sup...
Apache Superset(v1.3) 테스트 5편 - 데몬화/Daemonization
개요 이전 글을 모두 읽었다면 알겠지만, Superset의 모든 기능을 사용하기 위해서는 3가지의 프로세스를 실행하여야한다. Superset websever Celery Worker Celery Beat
Apache Superset(v1.3) 테스트 4편 - Alert&Report
개요 Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS을 통하여 Alert 및 Report 메뉴를 활성화 시키는 방법을 알아보았다. 그러나 이러한 메뉴는 조건을 세팅할수만 있을 뿐 실질적인 Trigger역활을 하지는 못한다. Superset은 셀러리를...
Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS
개요 지금까지 Superset 설치 및 기본적인 UI에 대하여 알아보았다. 그러나 실제 Superset을 쓰기에는 아직 충분하지 않다.
Apache Superset(v1.3) 테스트 2편 - 메뉴설명
개요 Superset 웹 UI에 대한 메뉴 설명에 대하여 정리한다. 기본적으로 Superset의 일부 기본적으로 사용할만한 기능들 중 상당수는 비활성화 되어 있기 때문에 활성화를 시켜야하는데, 우선 기본적인 메뉴 설명 및 각 메뉴별로 활성화 가능한 메뉴에 대하여 이번 포스팅에서 함...
Apache Superset(v1.3) 테스트 1편 - 설치
개요 Self Service BI란 통계적 분석이나 데이터마이닝과 같은 전문지식이 없는 현업 직원 누구라도 기업데이터에 접속하여 분석 작업을 할 수 있는 것을 의미한다. 따라서 이를 충족하기 위해서 비전공자여도 쉽게 접근 할 수 있는 수많은 제품들이 있다. 이러한 다양한 제품들은...
슈퍼셋
Apache Superset(v1.3) 테스트 6편 - 구글 OAuth 연동
개요 Superset은 python의 웹프레임워크 라이브러리 중 Flask App Builder 를 기반으로 만들어졌다. Flask App Builder 는 Django-admin에 영감을 받아 만들어졌으며 다양한 기능을 제공하며, 해당 라이브러리에 이해가 높다면 직접적인 Sup...
Apache Superset(v1.3) 테스트 5편 - 데몬화/Daemonization
개요 이전 글을 모두 읽었다면 알겠지만, Superset의 모든 기능을 사용하기 위해서는 3가지의 프로세스를 실행하여야한다. Superset websever Celery Worker Celery Beat
Apache Superset(v1.3) 테스트 4편 - Alert&Report
개요 Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS을 통하여 Alert 및 Report 메뉴를 활성화 시키는 방법을 알아보았다. 그러나 이러한 메뉴는 조건을 세팅할수만 있을 뿐 실질적인 Trigger역활을 하지는 못한다. Superset은 셀러리를...
Apache Superset(v1.3) 테스트 3편 - FEATURE_FLAGS
개요 지금까지 Superset 설치 및 기본적인 UI에 대하여 알아보았다. 그러나 실제 Superset을 쓰기에는 아직 충분하지 않다.
Apache Superset(v1.3) 테스트 2편 - 메뉴설명
개요 Superset 웹 UI에 대한 메뉴 설명에 대하여 정리한다. 기본적으로 Superset의 일부 기본적으로 사용할만한 기능들 중 상당수는 비활성화 되어 있기 때문에 활성화를 시켜야하는데, 우선 기본적인 메뉴 설명 및 각 메뉴별로 활성화 가능한 메뉴에 대하여 이번 포스팅에서 함...
Apache Superset(v1.3) 테스트 1편 - 설치
개요 Self Service BI란 통계적 분석이나 데이터마이닝과 같은 전문지식이 없는 현업 직원 누구라도 기업데이터에 접속하여 분석 작업을 할 수 있는 것을 의미한다. 따라서 이를 충족하기 위해서 비전공자여도 쉽게 접근 할 수 있는 수많은 제품들이 있다. 이러한 다양한 제품들은...
redshift
Redshift 성능개선을 위한 KEY 변경 시 주의점
개요 Redshift는 마스터노드와 컴퓨팅노드 여러개로 구성할 수 있다. 적절한 DIST_KEY 사용 시 데이터가 균일하게 여러 컴퓨팅 노드에 저장되기때문에 성능상에 잇점을 가지게 되는데, 분산키로 설정되지 않은 컬럼이 Join이 발생하게 되면 Redshift는 쿼리에 있어 컴퓨팅...
Redshift의 보안 관리
개요 Redshift 보안관리에 대하여 정리한다. 권한에 대한 관리이기 때문에 superuse 권한이 있는 계정에서 확인하는 것이 좋다. 해당 내용은 Redshfit document를 참조하여 작성되었다. 데이터베이스 보안 관리 - Amazon Redshift CREATE...
database
Redshift 성능개선을 위한 KEY 변경 시 주의점
개요 Redshift는 마스터노드와 컴퓨팅노드 여러개로 구성할 수 있다. 적절한 DIST_KEY 사용 시 데이터가 균일하게 여러 컴퓨팅 노드에 저장되기때문에 성능상에 잇점을 가지게 되는데, 분산키로 설정되지 않은 컬럼이 Join이 발생하게 되면 Redshift는 쿼리에 있어 컴퓨팅...
Redshift의 보안 관리
개요 Redshift 보안관리에 대하여 정리한다. 권한에 대한 관리이기 때문에 superuse 권한이 있는 계정에서 확인하는 것이 좋다. 해당 내용은 Redshfit document를 참조하여 작성되었다. 데이터베이스 보안 관리 - Amazon Redshift CREATE...
비동기
파이썬의 비동기 라이브러리 비교
번역글입니다* 파이썬에서 사용할 수 있는 비동기 라이브러리인 multiprocessing, threading, 그리고 asyncio에 대한 내용에 대하여 찾다가 잘 정리된 글이 있어, 해당 포스팅에 대한 번역(적당히 의역)한 내용입니다. https://leimao.github...
security
Redshift의 보안 관리
개요 Redshift 보안관리에 대하여 정리한다. 권한에 대한 관리이기 때문에 superuse 권한이 있는 계정에서 확인하는 것이 좋다. 해당 내용은 Redshfit document를 참조하여 작성되었다. 데이터베이스 보안 관리 - Amazon Redshift CREATE...
ssh
빠른 SSH 접근을 위한 스크립팅
개요 최근에는 서버 접근 시 다이렉트로 SSH접근을 하지 않고, 중간에 배스천 호스트와 같은 게이트웨이를 거쳐서 진입하는 것이 일반적이다. 이러한 환경에서 원하는 서버에 접근하기 위해서는 수작업으로는 몇단계에 걸친 작업을 진행하여야만 진입이 가능하다. 이를 보다 빠르게 하기 위한 ...
shell
빠른 SSH 접근을 위한 스크립팅
개요 최근에는 서버 접근 시 다이렉트로 SSH접근을 하지 않고, 중간에 배스천 호스트와 같은 게이트웨이를 거쳐서 진입하는 것이 일반적이다. 이러한 환경에서 원하는 서버에 접근하기 위해서는 수작업으로는 몇단계에 걸친 작업을 진행하여야만 진입이 가능하다. 이를 보다 빠르게 하기 위한 ...
linux
빠른 SSH 접근을 위한 스크립팅
개요 최근에는 서버 접근 시 다이렉트로 SSH접근을 하지 않고, 중간에 배스천 호스트와 같은 게이트웨이를 거쳐서 진입하는 것이 일반적이다. 이러한 환경에서 원하는 서버에 접근하기 위해서는 수작업으로는 몇단계에 걸친 작업을 진행하여야만 진입이 가능하다. 이를 보다 빠르게 하기 위한 ...
decorator
파이썬 데코레이터를 이용한 재시도 로직
소개 개발을 하다보면 실패를 가정하고, 재시도를 해야하는 경우가 종종발생한다. 이러한 경우 다양한 방법이 있겠지만, 외부 API연동작업을 하다보니 생각보다 이런일이 많이 발생하였다.
loop
파이썬 데코레이터를 이용한 재시도 로직
소개 개발을 하다보면 실패를 가정하고, 재시도를 해야하는 경우가 종종발생한다. 이러한 경우 다양한 방법이 있겠지만, 외부 API연동작업을 하다보니 생각보다 이런일이 많이 발생하였다.