반응형 etc3 [패스트캠퍼스 + 온라인 강의 완강 후기] 클라우드를 활용한 데이터 파이프라인 구축 데이터 엔지니어링 조직에 합류했기 때문에, 데이터 프로세싱에 대한 전반적인 지식과 방법 그리고 운영 노하우 같은 것들을 파악하는 것이 중요했다. 특히 AWS 환경에서 데이터를 운영하고 있는 만큼, AWS에서 구축하고 실습하는 예제를 볼 수 있으면 좋겠다고 생각했는데 마침 패캠에서 "클라우드를 활용한 데이터 파이프라인 구축"이라는 강의를 통해 그 내용을 제공하고 있었다. 강의라는 것이 모두 그렇듯이 우리가 실제 업무 환경에서 마주할 수 있는 디테일하고 어려운 상황에 대해 묘사하고, 해결 방법을 제공해주진 않는다. 그러나 데이터 파이프라인을 구축할 때 어떤 리소스를 사용하는지, 어떤 아키텍쳐로 만드는지에 대한 이해는 가능하다 사실 AWS 서비스는 엄청나게 많고, 데이터 관련 서비스만 해도 수십개는 될 것 같.. 2023. 12. 8. [MacOS] Address already in use 에러났을 때 로컬 환경에서 개발하고, 테스트 하다보면 종종 마주하는 에러. 어떠한 오류에 의해, 특정 주소(포트)에서 실행되고 있는 프로그램이 정상 종료되지 않은 것이므로, 간단하게 그냥 직접 종료시켜주면 되는 것이다. 1. 해당 포트가 열려있는지 검사 (찾고자하는 포트의 번호가 8000번 이라고 가정해보자) 일반적으로 아래의 두 가지 모두 가능하다. 특히 두번째 방법의 경우, Mac OS EI Capitan 이후의 버전을 사용하고 있거나, 자신의 로컬에 있는 netstat이 -p 옵션을 지원하지 않는 경우 쓸 수 있다. netstat -vanp tcp | grep 8000 또는, sudo lsof -i :8000 2. 강제 종료 kill -9 끝. 2020. 5. 13. 텔넷(Telnet) 연결된 세션에서 빠져나오는 방법 실험을 하다보면, 텔넷으로 접속해서 이것저것 해볼일이 있다. 가령 지금 내 상황같으면 (개발은 윈도우에서 하고, 실험 서버는 다른 PC의 우분투에서 돌아가고있다), 실험이 돌아가고 있는 우분투 서버에 putty를 이용해서 접속한 다음, 거기 위에서 돌아가고 있는 Redis에 값이 제대로 들어가고 있는지, 설정은 제대로 됐는지, 텔넷으로 접속해서 이것 저것 명령어를 실행해보기도 한다.("telnet localhost 6379"라는 명령어를 입력하면 Redis 쉘로 들어갈 수 있다.) 그렇게 Redis 쉘에 들어가서 해볼만한 작업을 다한 후 나오려고 하면 Ctrl + c 같은걸 입력해봐도 빠져나와지지 않아, 그냥 쓰던 putty 세션을 꺼버리곤 했는데 찾아보니 텔넷 세션에서 빠져나오는 방법이 있다. "Ctr.. 2017. 12. 22. 이전 1 다음 반응형
