전체 글17 LLM Fine-Tuning 해보기 (PEFT LoRA 기법) 1. 학습 전 모델 출력 확인facebook/opt-125m 모델을 사용해서 출력 결과 확인 입력: "Ameria is"출력: "America is a country of immigrants. \n I'm not sure" 매우 크기가 작은 성능이 낮은 모델이므로 출력 내용에는 큰 의미를 두지말자.대충 어떤 느낌인지만 받아들이면 됨.!pip install -q -U transformers bitsandbytes accelerate peft datasetsimport torchfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig# 페북이 공개한 Open Pretrained Transformer# 파라미터 수: 0.1.. 2025. 11. 8. Kubernetes Custom CNI Plugin만들기 실습 - Kubernetes 마스터 1개, Worker 1개 - 우선 CNI 는 없는 상태이므로 Master, Worker 둘다 NotReady 상태 - Custom CNI 를 컴파일하기 위한 Go 설치 - 편의를 위해 빌드는 kube-master 에서 수행 예정wget https://go.dev/dl/go1.24.9.linux-amd64.tar.gzsudo rm -rf /usr/local/gosudo tar -C /usr/local -xzf go1.24.9.linux-amd64.tar.gzecho -e '\n# Go 환경 변수\nexport GOROOT=/usr/local/go\nexport GOPATH=$HOME/go\nexport PATH=$PATH:$GOROOT/bin:$GOPATH/bin' >> ~.. 2025. 11. 4. Kubernetes Custom Validating/Mutating Webhook 구현해보기 1. 세팅kubeadm k8s master 노드 및 worker 노드 (AWS, terraform) 2. 구조 요약 3. 설치 ## Kubebuilder 설치- $ go install sigs.k8s.io/kubebuilder/v4@latest ## 프로젝트 초기화$ mkdir custom-webhook-v2$ cd custom-webhook-v2$ kubebuilder init --domain kb.io --repo pod-webhook-project ## pod_webhook.go 파일 생성 (웹훅 스캐폴딩 생성)$ kubebuilder create webhook \ --group core \ --version v1 \ --kind Pod \ --defaulting \ --programm.. 2025. 10. 29. 포스팅 To-do List - Kubernetes Custom Validating/Mutating Webhook 구현해보기- Kubernetes Custom Operator 만들어보기- Custom Bridge CNI Plugin 만들어보기 (단일 노드 통신)- Flannel Config 및 Deploy 과정 살펴보기- Custom Inter-Node CNI Plugin 만들어보기 (Global IPAM)- Custom Inter-Node CNI Plugin + Tunnel 만들어보기 (VXLAN)- Flannel 코드 살펴보기- ClusterIP vs NodePort vs LoadBalancer- APIGateway vs Ingress- Pause Container 알아보기- Istio 구조 살펴보기 2025. 10. 27. K8s Operator 패턴 예시 구현해보기 (CRD, custom Controller) - 구성- Master 노드 1개, Worker 노드 1개- AWS EC2- Kubernetes (Kubeadm) - 요약1. 나만의 CRD (Custom Resource Definition) 인 OhMyNginx 를 만든다. - 내 리소스의 형식을 정의 2. OhMyNginx 리소스 (CR: Custom Resource) 를 만든다. - 리소스 자체를 생성 - Pod 리소스 생성할 때도 Pod의 이름이 있는 것처럼 여기도 OhMyNginx 리소스의 이름이 있을 수 있음. (OMN1, OMN2, ... 이런식으로) 3. 만들어진 리소스 메타데이터 (in API Server) 를 보고 Controller가 실제 필요한 K8s Primitive 리소스들을 생성한다. - Controller는 API S.. 2025. 10. 14. k3s, flannel 초기화 및 Pod 생성시 로그 확인 목표: Flannel에서 Pod에 IP가 할당되는 과정 (즉, eth0 인터페이스) 가 할당되는 과정을 알보자 - 클러스터 구성- master 노드 1개, worker 노드 1개 - master, worker 노드의 Subnet 확인- master: 10.42.0.1/24- worker: 10.42.1.1/24 - k3s 는 경량화 버전의 k8s 이므로 기존 k8s의 각 컴포넌트가 단일 프로세스로 구현되어 있음 - k3s-worker에서 k3s-agent 프로세스 로그 확인 - 그 중 flannel 관련 로그만 확인- k3s-agent 프로세스가 flannel 모듈 초기화 시작. 노드 간 통신 방식은 vxlan- flannel은 k3s-server (master 노드)와 통신하여 worker 노드에 할.. 2025. 10. 13. k8s Service 통신 - 서로 다른 노드에 있는 Pod 간 통신 - 구조- AWS- Terraform: Github- K8s Pod 구성 # 1. 'net-server': Nginx 웹서버 역할을 할 Deployment (변경 없음)apiVersion: apps/v1kind: Deploymentmetadata: name: net-serverspec: replicas: 2 selector: matchLabels: app: net-server template: metadata: labels: app: net-server spec: # nodeSelector를 이용해 이 파드를 워커 노드(k3s-worker)에 배포합니다. nodeSelector: kubernetes.io/hostname: k3s-worker containers: - name: nginx image: .. 2025. 10. 11. k8s Service 동작 방식 - 같은 노드 내의 Pod 간 패킷 전달 과정 Q. k8s 에서 Service는 어떤 과정을 통해 동작하는가?- k8s에서 Service의 IP로 패킷을 보내면 Service의 Endpoint로 등록된 Pod로 전달됨- 즉, source Pod는 Service의 IP만 알면 되며, destination Pod의 IP를 몰라도 됨- 어떤 과정을 거쳐 Service IP로 보낸 패킷이 destination Pod로 전달되는가? 또 반대로 응답은 어떻게 돌아오는가? - 시험 세팅- AWS EC2 VM 2개 (k3s-master, k3s-worker)- k8s 대신 k3s 사용- Client Pod 1개, Server Pod 2개 (Nginx Deployment), Service 1개 1. 같은 노드 내 Pod 로의 통신 - AWS Master, Worke.. 2025. 10. 11. Flannel CNI 통신 확인 - HTTP 요청 및 응답 전달 과정 (호스트 내 Pod 간, 서로 다른 호스트 Pod 간, 클러스터 외부 Pod, Loopback)- k3s, flannel 설치- 패킷 경로 확인, 라우팅 룰 확인- DNS 확인- 코드 확인 0. 준비 AWS 인프라 구성 EC2 x 2 (Master, Worker)VPC x 1Subnet x 1 Internet GatewayCloud-init 으로 k3s 설치 - k3s 설치 확인$ sudo k3s kubectl get nodes - 통신 확인용 pod, svc 생성 (yaml 파일은 github 참고)$ sudo k3s kubectl apply -f net-test.yaml$ sudo k3s kubectl get pod$ sudo k3s kubectl exec -it net-client -- wget .. 2025. 10. 9. 쉽게 시작하는 쿠버네티스 공부: 명령어 정리 강의 https://www.inflearn.com/course/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EC%89%BD%EA%B2%8C%EC%8B%9C%EC%9E%91/dashboard 쉽게 시작하는 쿠버네티스(v1.25) - 인프런 | 강의 쿠버네티스(☸)를 정말 시작하는 단계에서 필요한 내용을 담았습니다. 🧭 이 강의를 통해 쿠버네티스를 가장 손쉽게 구조를 이해하며 시작할 수 있습니다. 🥇, [사진] 쿠버네티스 항해의 첫 걸 www.inflearn.com 준비 실행 환경: intel 맥북 (M1, M2는 강의에서 제공하는 환경 그대로 설치하기 어려움) vagrant 및 virtualbox를 통한 Masternode 1개, Worker node 3개 설치(강의.. 2023. 10. 22. 이전 1 2 다음
