데이터 엔지니어링 조직에 합류했기 때문에, 데이터 프로세싱에 대한 전반적인 지식과 방법 그리고 운영 노하우 같은 것들을 파악하는 것이 중요했다. 특히 AWS 환경에서 데이터를 운영하고 있는 만큼, AWS에서 구축하고 실습하는 예제를 볼 수 있으면 좋겠다고 생각했는데 마침 패캠에서 "클라우드를 활용한 데이터 파이프라인 구축"이라는 강의를 통해 그 내용을 제공하고 있었다. 강의라는 것이 모두 그렇듯이 우리가 실제 업무 환경에서 마주할 수 있는 디테일하고 어려운 상황에 대해 묘사하고, 해결 방법을 제공해주진 않는다. 그러나 데이터 파이프라인을 구축할 때 어떤 리소스를 사용하는지, 어떤 아키텍쳐로 만드는지에 대한 이해는 가능하다 사실 AWS 서비스는 엄청나게 많고, 데이터 관련 서비스만 해도 수십개는 될 것 같..