본문 바로가기

분류 전체보기

Snowflake 기본 개념
Data & Database 2024. 6. 28. Snowflake 기본 개념 Main Page 둘러보기Upload local files : csv, json 등 로컬에 저장되어 있는 파일을 드래그 앤 드롭으로 간편하게 업로드 할 수 있다Load data from cloud storage : 클라우드 스토리지의 데이터를 가져올 수 있다. Query data : SQL 쿼리를 수행할 수 있는 Worksheets를 생성한다.Create User : 신규 유저 생성이 가능하다 Snowflake는 On-prem, 고객이 자체적으로 관리하고 있는 CSP의 Database Service, Snowflake에서 관리하는 DB 등 데이터 연결이 자유롭다 RoleRole 종류ACCOUNTADMIN : 시스템의 최상위 역할 ORGADMIN : 조직 수준에서 운영을 관리하는 역할, 조직의 모든 계정 ..
AWS - Database Data 이관/전송하기 (DMS)
Cloud/AWS 2024. 6. 25. AWS - Database Data 이관/전송하기 (DMS) AWS Database Migration Service (이하 DMS) 는 AWS 에서 제공하는 데이터베이스를 안전하게 마이그레이션 할 수 있는 솔루션입니다. 특징1. 마이그레이션에 필요한 설정 및 작업이 간단하다사용법1. 인스턴스가 생성 될 서브넷 그룹을 생성한다. (동일 VPC간 이전일 경우 Source 와 Target을 모두 접근할 수 있는 영역으로 선택하면 된다. 2. 데이터를 복제할 인스턴스 생성 후 Source 와 Target 을 연결하는 엔드포인트를 생성   2-1 인스턴스 생성Instance class : 이관 작업을 진행할 인스턴스의 스펙입니다. 고스펙으로 빠르게 진행하는 것을 권장 합니다.High Availability : 일회성 DB 통합 작업에는 Single-AZ 를 사용해도 무관합..
Ubuntu apt 패키지 초기화
Linux 2024. 5. 31. Ubuntu apt 패키지 초기화 apt 명령어 정리# 설치 가능한 패키지 검색apt install 패키지명# apt install openjdk*# 설치 된 패키지 검색apt --installed list 패키지명# 패키지 삭제apt remove 패키지명# 환경 구성 파일 및 종속 패키지 제거sudo apt remove --purge 패키지명sudo apt remove --auto-remove 패키지명 # 삭제 후 잔여 파일 확인sudo find / -name '파일명*'# apt 저장소 업데이트apt updateapt 설치시 에러The following packages have unmet dependencies:mariadb-server : Depends: 패키지명 (>= 특정 버전 이상 요구) but it is not going t..
Kubernetes Service
Docker & Kubenetes 2024. 5. 14. Kubernetes Service 각 Pod 들은 Kubernetes Cluster 내에서만 유효한 가상의 IP를 부여받고 같은 Cluster 내 Pod들 끼리 통신이 가능하다.예를 들면, Pod A 에서 Pod B로 통신 중에 에러에 의해 재기동 되면 Node 2 에 생성이 될 수도 있는데 이때 Pod B에는 새로운 IP가 부여된다.Pod A의 입장에서는 Pod B와 통신하려면 Pod B의 IP를 알아야 통신이 가능하기 때문에 관리자가 Pod A에 등록되어 있는 Pod B의 IP 주소를 수정해줘야 통신이 가능하다. 또한 Pod의 IP는 가상의 IP로 Cluster 내부에서만 유효하기 때문에 외부 클라이언트가 접근하지 못한다. 즉 APP을 Pod로 배포해도 접근이 안되기 때문에 사용을 못하는 것이다.이러한 불편함 때문에 SVC(Servi..
인터넷 상에 노출된 자격증명 탐지
IT Knowledge 2024. 5. 3. 인터넷 상에 노출된 자격증명 탐지 이제 많은 기업에서 클라우드 환경을 사용하고 있습니다.기업에서 보안을 위해 역량을 개선하고 보안 모범사례를 적용하고 있지만 일부 조직 및 개인에서는 여전히 모범사례를 지키지 않아 데이터 유출이나 랜섬웨어 감염같은 사이버 위협에 노출되어 있습니다. 그 중에서 가장 흔하게 발생하는 원인은 장기적인 자격증명 사용, 부적절한 API 토큰 관리, 자격증명 노출 등 관리부족으로 인한 보안사고 입니다. 이번에는 그 중에서 노출된 자격증명을 탐지하는 방안에 대해 살펴보고자 합니다. 자격증명 노출 유형Public 설정된 코드저장소조직이나 개인이 사용하는 공개 설정된 코드 저장소(Github, Gitlab, Bitbucket, AWS CodeCommit 등)에 자격증명이 업로드되어 유출되는 경우자격증명 하드코딩서비스 연동..
MLOps를 위한 EKS 클러스터 구축 - 2 (with. Kubeflow)
Docker & Kubenetes 2024. 4. 26. MLOps를 위한 EKS 클러스터 구축 - 2 (with. Kubeflow) 구축 프로세스1. EKS 생성2. EKS에 접근하기 위한 EC2 생성3. EKS Cluster에 접근하기 위한 IAM을 생성하고 Role을 부여4. EKS Cluster에 접근하기 위한 Kubectl, AWS CLI 등을 EC2에 설치 후 접근 확인5. EKS에 Kubeflow 설치 본 포스팅은 5번부터 진행됩니다. 1~4번은 아래 포스팅을 참고 바랍니다.MLOps를 위한 EKS 클러스터 구축 - 1 (with. Kubeflow) MLOps를 위한 EKS 클러스터 구축 - 1 (with. Kubeflow)본 포스팅은 MLOps 환경을 위해 EKS에 Kubeflow를 설치하기 위한 과정은 담았습니다. 구축 프로세스 1. EKS 생성 2. EKS에 접근하기 위한 EC2 생성 3. EKS Cluster에 접근..
MLOps를 위한 EKS 클러스터 구축 - 1 (with. Kubeflow)
Docker & Kubenetes 2024. 4. 19. MLOps를 위한 EKS 클러스터 구축 - 1 (with. Kubeflow) 본 포스팅은 MLOps 환경을 위해 EKS에 Kubeflow를 설치하기 위한 과정은 담았습니다. 구축 프로세스 1. EKS 생성 2. EKS에 접근하기 위한 EC2 생성 3. EKS Cluster에 접근하기 위한 IAM을 생성하고 Role을 부여 4. EKS Cluster에 접근하기 위한 Kubectl, AWS CLI 등을 EC2에 설치 후 접근 확인 5. EKS에 Kubeflow 설치 EKS 생성 클러스터 구성 이름 : test_kubeflow_eks 클러스터 버전 : 1.29v (2025년 3월 23일 표준 지원 종료) 클러스터 인증 모드 : EKS API 및 ConfigMap 네트워킹 지정 VPC : default Subnet : default-01a, default-01c 보안그룹 : defaul..
Deployments 와 StatefulSets
Docker & Kubenetes 2024. 4. 17. Deployments 와 StatefulSets Kubernetes 환경을 운영하면서 대부분 Deployment로 관리되고 운영되는데, MySQL, Jenkins 등 일부는 StatefulSet을 사용중 이었다. 비슷한 역할을 하는 리소스이긴 하나 분명 다른점이 있을 것인데 명확하게 설명하기 어려워 두 개의 차이점을 알아보고자 찾아보면서 정리하기 위해 해당 포스팅을 작성하게 되었습니다. 차이점을 이해하기 전에, 먼저 상태 저장의 의미인 Stateful 과 Non-Stateful 를 이해해야 합니다. Stateful / Non-Stateful Stateful 상태를 지속적으로 유지하는 상태 DB, 캐싱 등 데이터를 영구적으로 저장하고 관리해야 하는 경우에 사용되며 각각의 인스턴스가 고유 식별자를 가지고 있는 상태입니다. 즉, 각각의 Pod에 고유한 PV..
Apache Iceberg
Data & Database 2024. 3. 28. Apache Iceberg Apache Iceberg Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스로, Netflix에서 개발하여 2020년부터 오픈소스로 사용되었습니다. Apache Iceberg는 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리할 수 있고 데이터 처리를 위한 지원을 해준다는 것입니다. 기존 Apache Hive 기반의 빅데이터 처리 방식은 ACID 트랜잭션을 지원하지 않아 데이터의 일관성과 무결성 보장을 하지 않았지만, Apache Iceberg는 ACID를 보장하여 데이터의 일관성과 무결성을 보장할 뿐만 아니라 데이터 변경 시 레코드 단위로 수정/삭제가 가능하여 대량의 데이터를 전부 re-write할 필요가 없고, 실시간으로 데이터 변경을 처리하여 스트리밍 데이터 같은 실시간..

티스토리툴바