본문 바로가기
반응형

전체 글60

[패스트캠퍼스 + 온라인 강의 완강 후기] 클라우드를 활용한 데이터 파이프라인 구축 데이터 엔지니어링 조직에 합류했기 때문에, 데이터 프로세싱에 대한 전반적인 지식과 방법 그리고 운영 노하우 같은 것들을 파악하는 것이 중요했다. 특히 AWS 환경에서 데이터를 운영하고 있는 만큼, AWS에서 구축하고 실습하는 예제를 볼 수 있으면 좋겠다고 생각했는데 마침 패캠에서 "클라우드를 활용한 데이터 파이프라인 구축"이라는 강의를 통해 그 내용을 제공하고 있었다. 강의라는 것이 모두 그렇듯이 우리가 실제 업무 환경에서 마주할 수 있는 디테일하고 어려운 상황에 대해 묘사하고, 해결 방법을 제공해주진 않는다. 그러나 데이터 파이프라인을 구축할 때 어떤 리소스를 사용하는지, 어떤 아키텍쳐로 만드는지에 대한 이해는 가능하다 사실 AWS 서비스는 엄청나게 많고, 데이터 관련 서비스만 해도 수십개는 될 것 같.. 2023. 12. 8.
AWS Parameter Store (feat. KMS) 1. Parameter Store란? AWS Systems Manager 서비스의 기능이다. 텍스트 블록, 이름의 리스트, 비밀번호, 키 값 등을 저장할 수 있는 기능이다. 특히, 애플리케이션에서 사용되는 값들 중, 코드로 노출되면 안되는 (좋지 않은) 값들이 있다. 데이터베이스 아이디/비번, 외부 서비스에 접근하기 위한 액세스 키 등이 그런 것이다. 파라미터 스토어는 코드로 노출되어선 안되는 각종 파라미터들을 안전하게 저장하고 관리할 수 있도록 도와주는 기능이다. 대표적인 특징으로는 다음과 같은 것들이 있다. 무료 Key-Value 형식 KMS를 통해 파라미터에 암복호화 적용 가능 IAM을 통해 접근 권한 제어 가능 2. Parameter 생성 AWS Systems Manager의 파라미터 스토어로 가.. 2022. 11. 27.
AWS Lambda에 Jenkins + Bitbucket 연동해서 코드 배포하기 Jenkins와 Bitbucket을 이용하여 AWS Lambda에 코드 배포하는 전과정을 경험 해보자. 먼저 Jenkins를 설치하고, 플러그인을 설치한 후, Bitbucket과 AWS에 연결하기 위한 Credential을 설정한다. 그 후 연동된 Bitbucket에서 가져온 Jenkinsfile을 이용해서 배포 파이프라인을 구성하여 최종적으로 Serverless Framework을 통해 AWS Lambda에 코드가 배포되는 과정을 확인해 볼 것이다. Jenkins 설치 Jenkins 설치는 간단하다. brew를 이용해서 아래와 같은 명령어를 입력하면 된다. $ brew install jenkins 설치가 완료되었다면, 아래의 명령어로 Jenkins를 시작/종료/재시작 할 수 있다. $ brew serv.. 2022. 11. 8.
IAM 사용자에게 비용 권한 부여하기 계정을 운영하다보면, 비용 정보를 확인하고, 분석할 일이 있다. 그런데 기본적으로는 Root 계정에"만" 그 권한이 있는데, AWS 권장 사항에 따르면 Root 계정에 계속 접속하는 것은 보안상의 이유로 지양된다. 가이드에 따르면 Root 계정은 최초 계정 생성시에 접속하여 첫 IAM 사용자를 생성하는데 까지만 사용하고, 그 이외에는 접속하지 않는 것을 권장한다 (당연히 MFA 설정은 해야한다). 때문에 비용 정보도 IAM 사용자에게 권한을 부여해서, 해당 사용자의 계정을 통해 확인할 수 있도록 하는 것이 좋다. 본 글에서는 IAM 사용자에게 비용 관련 권한을 부여하는 방법을 소개 한다. 권한 설정은 크게 두 가지 단계로 이루어진다. Step 1. "결제 정보에 대한 IAM 사용자 및 역할 액세스" 활성.. 2022. 10. 31.
반응형