티스토리

만쥬의 개발일기

검색하기

블로그 홈

만쥬의 개발일기

kangmanjoo.tistory.com/m

만쥬는 아무것도 몰라

구독자: 4

방명록 방문하기

주요 글 목록

Argo Workflows의 설치 및 Ingress를 통한 외부 접속 (with. Public Cloud) 이번 포스팅에서는 퍼블릭 클라우드에 배포된 K8S 클러스터에 Argo Workflow를 배포하고, 외부에서 접속가능하도록 하는 과정을 진행해보겠습니다.같은 환경에서 진행하고 싶으신 분들은 다음 링크의 terraform 파일을 사용하시면 됩니다.➡️ 클라우드 세팅용 테라폼혹은 배포된 클라우드에서 다음 스크립트 파일을 다운받아 실행해주세요.➡️쿠버네티스 배포용 스크립트 파일목표 아키텍처최종 구성 아키텍처는 다음과 같습니다.Argo Workflow 설치먼저 다음과 같이 argoWorkflow를 설치해줍니다.kubectl create namespace argokubectl apply -n argo -f https://github.com/argoproj/argo-workflows/releases/download/.. 공감수 3 댓글수 3 2024. 10. 27.
[Devotion Young] - 티움 타워 투어 후기 ✈️ 지난 7월 8일, 데보션 영들과 함께 티움 투어를 다녀왔습니다.개인적으로 데보션영 활동 중에 워크샵 다음으로 재밌었던 것 같아요.티타워 내부에는 SKT에서 미래 기술을 재현한 투어 프로그램이 있는데요, 데보션 영 덕분에 따로 신청 절차 없이 방문할 수 있었습니다. 티 타워 방문할 때마다 저 큰 모니터암(?)에 달린 거대한 모니터는 뭘까 항상 궁금했었는데, 투어가 시작하자마자 이리저리 움직이면서 영상을 틀어주는걸 보고 저는 여기서 이미 압도되었습니다..그 후 마치 하나의 어트랙션을 타는 것처럼 스토리가 진행되었고, 곳곳에서 SKT의 기술력을 소개해주었습니다. 그냥 우리 이런 기술이 있어, 하고 보여주면 뻔한 얘기를 하는 것 같고 지루했을 텐데 정말 상상 이상의 노력을 들여서 방문객에게 관람과 체험의 즐거움.. 공감수 4 댓글수 0 2024. 10. 6.
[Devotion Young] - 쿠버네티스/앱 현대화 테크 세미나 후기 지난 5월 29일 을지로 SKT 타워에서 진행한 쿠버네티스/앱 현대화 테크 세미나에 다녀온 후기를 써볼까 합니다. 😊현재 클라우드 네이티브와 쿠버네티스를 관심있게 공부하고 있어 특히 즐거운 시간이었는데요,본 포스팅에서는 세미나 내용을 정리한 글을 바탕으로, 부족하지만 중간 중간 제 사견과 기반 지식/서칭한 내용을 바탕으로 살을 덧붙여 공유하고자 합니다. ✍️이번은 쿠버네티스/앱현대화 테크 세미나의 두 번째 시간으로, 지난 2월 28일 있었던 1부의 주제 "당신은 쿠버네티스를 어떻게 설치/관리하고 계시나요?" 에 이어"당신의 쿠버네티스는 안녕하십니까? 를 주제로 진행되었습니다. (3부와 4부는 하반기 진행 예정이라고 하시니 참고해주세요 🧐)이번 세미나 장소는 데보션영 발대식이 있었던 T타워 SUPEX .. 공감수 7 댓글수 3 2024. 10. 6.
[Go] - go의 lint, golangci와 gofumft go 기반 오픈소스인 Argo CD에 기여하기 위해 PR을 날리자, 깃허브 액션 lint 테스트에서 다음과 같이 실패하게 되었습니다.에러 코드를 보니 golangci-lint와 gofumpt로 go의 컨벤션을 지키고 있는듯해서, 로컬에서도 이를 설치해 테스트를 완료한 뒤 커밋을 해야겠다는 생각이 들었습니다.golangci란?golangci-lint 는 Go 프로젝트에서 여러 lint 도구들을 통합하여 동시에 실행할 수 있는 다중 Linter입니다.주요 Linter들:gofmt: 코드 포매팅을 확인합니다.go vet: 코드에서 잠재적인 오류를 찾아냅니다.staticcheck: 코드에서 비효율적인 부분을 검사합니다.errcheck: 오류를 확인하지 않은 부분을 찾아냅니다.ineffassign: 비효율적으로 .. 공감수 1 댓글수 0 2024. 9. 27.
[Trouble Shooting] - DCO 오류 해결 (with. git rebase) Argo CD에 기여를 할 때 PR을 작성하고 나면, 테스트에서 다음과 같이 DCO라는 녀석이 실패하는 경우가 있습니다.DCO란?Developer Certificate of Origin의 줄임말로, 자신의 코드에 대해 인증하는 방법들을 의미합니다.signed-off commit은 DCO의 일종으로 sign off로 자신의 코드에 이름과 이메일을 남겨 서명하는 것입니다.서명하는 방법은 간단합니다. 커밋 메세지를 쓸 때 다음과 같이 -s 옵션을 주면 됩니다.git commit -s -m "my message"그러나 개인 레포에서 개발하다가 오픈 소스를 개발할 때, 별 생각 없이 intellj 혹은 Goland 같은 IDE를 이용해 커밋을 하게 된다면 -s 옵션이 생략되어 DCO 인증에서 막히게 됩니다.하지만.. 공감수 1 댓글수 0 2024. 9. 27.
[Devotion Young] - 데보션 영 전용 세미나 후기 (취준생 이야기) 김한성님의 취준생이 가장 많이 하는 질문 TOP 5첫번째 세션은 SKT의 김한성 프로님께서 취준생들이 많이 하는 질문을 추려서 조언을 전해주셨습니다.1. 석사를 해야 될까요? (or 부트캠프, 코딩학원 등등)취준생 기준, 취준이 1~2년이 넘어가면 해보는 것도 OK!혼자서 공부하는 것보다, 학교/학원에서 공부하는 것이 체계적이고 습득력이 좋으므로하지만 비슷한 기술 스택과 포트폴리오로 차별점이 없어질 수 있다..결국 깊이의 차이를 보여줘야 함.전공생이 해야할 것기초 지식과 다양한 프로젝트(+대외활동, 스터디 등)이 많은 사람이 더 좋은 이미지이제 경쟁 상대는 국내 뿐만 아니라 인도/중국/동남아 사람들까지 포함됨프로젝트 경험은 중요한가?당연하지만 양보다는 질.독창적인 아이디어 전공 기초를 놓치면 안된다.OS.. 공감수 8 댓글수 4 2024. 9. 23.
[Devotion Young] - 데보션영 9월 워크샵 후기 지난 8월 29일 ~ 8월 30일 데보션 워크샵에 다녀왔습니다.최근 두달 간 너무 바빠서 블로그에 쓸 테크 / 트러블 슈팅 / 각종 세미나 후기 등이 엄청나게 밀려있는데 어쩌다보니 데보션 글을 계속 쓰게 되네요 허허 출발먼저 티타워에 집합 후 출발이 예정되어 있어, 5시 취침 후 8시에 미라클 모닝을 했습니다. 덕분에 하루 종일 피곤하더군요..티타워에 모여 데보션 티를 받아줍니다.이거 진짜 예쁘고 편해요. 역시 지구 최강 디자이너의 작품.. 지금도 학교 갈 때도 종종 입고 있습니다. 슈펙스 홀에서 간단한 설명을 듣고 갑니다.작년에 2박 3일로 방문해서 냉방병만 쎄게 얻어와 안좋은 기억이 남은 이천 SKT 인재개발원을 또 가게 되었네요,, (정말 슬픈 이야기)하지만 프로 분들이 20분이나 함께 가다니!!.. 공감수 8 댓글수 2 2024. 9. 6.
[Devotion Young] - 데보션 영 전용 세미나 후기 (취업 스토리) 지난 8월 4일 진행된 데보션 영 밋업에서는 데보션 영 전용 세미나가 열렸습니다.특히 이번 세미나는 취업을 주제로 했기 때문에, 관심사와 가까워 더 재미있게 들었던 것 같습니다. 😊1. 인턴 4번 하고 취업한 지독한 취업 스토리 : 정해웅님취업 성공자의 경험은 단순히 인턴 경험을 나열하는 것 이상이었습니다. 반도체 전공과 데이터 분석에 대한 관심을 결합해 다양한 인턴십 경험을 쌓은 후, 이 모든 경험이 결국 현재의 직무에 도달하는 데 큰 역할을 했다고 설명해 주셨습니다. 특히 삼성전자와 같은 대기업에서의 인턴 경험이 주는 실질적인 이점과, 대기업 커뮤니티에서 적극적인 참여를 통해 개인적인 성장과 더불어 팀에 기여한 과정이 인상 깊었습니다.가장 인상 깊었던 말씀은 '다양한 경험의 중요성'이었습니다. 스타.. 공감수 0 댓글수 0 2024. 8. 20.
[Devotion Young] - 데보션 영 3기 최종 합격 후기 & 발대식 이번 포스팅에서는 데보션 영 3기 지원 과정과 최종 합격 후기와 발대식 과정에 대해 이야기해보고자 합니다.기수당 활동 기간은 약 9개월 정도로, 매년 초 1월 경 신입 기수를 모집하는 것 같습니다.저는 지인이 2기에서 활동을 했어서 관심을 가지게 되었고, 지원해보았습니다.가장 매력적이라고 생각된건 역시 SKT의 기술/문화 체험 기회가 아니었나 싶네요 ㅎㅎ 서류 지원서류는 다음과 같은 주요 항목들로 구성되었습니다.1. DEVOCEAN YOUNG이 되기 위한 디테일한 자기소개 부탁드려요!이 항목에서는 진짜 내 이야기를 하는 데에 집중했다. 관심사, 하고 있는 일,하고 싶은 일 등2. DEVOCEAN YOUNG에 지원하시게 된 동기가 궁금합니다!이전부터 11번가 테크 블로그를 많이 봤었는데, 그 점을 주로 이.. 공감수 0 댓글수 0 2024. 8. 20.
[Proxmox/Trouble shooting] - sudo: setrlimit(RLIMIT_CORE): Operation not permitted 에러 가끔 프록스목스 KVM에서 sudo: setrlimit(RLIMIT_CORE): Operation not permitted 에러가 발생한다.다음 명령어로 해결 가능하다.echo "Set disable_coredump false" >> /etc/sudo.conf referencehttps://ryanburnette.com/blog/proxmox-pct-fix-sudo-setrlimit/ 공감수 0 댓글수 0 2024. 8. 17.
[Home Server] - 파일 공유용 SMB File 서버 구축하기 홈서버에 파일 공유 서버를 하나 구축하려고 계획을 하였는데, 헤놀로지는 너무 무거운듯 하여 우분투 컨테이너에 smb 서버를 하나 만들기로 하였습니다.먼저 우분투 컨테이너를 하나 만들어줍니다.우분투 컨테이너 생성후에는 다음 스텝으로 삼바 서버를 구축해줍니다.SMB 서버 구축apt updateapt updateapt upgrade -y삼바 설치apt install samba -y리눅스 서버에 계정을 추가해줍니다.sudo adduser {username}Samba에도 공유할 계정을 등록해줍니다.sudo smbpasswd -a {username}공유할 폴더를 생성해줍니다.mkdir /home/manjoo/share이제 conf파일을 수정해주어야합니다.파일 공유만을 가능하게 작업해보겠습니다.vi /etc/samb.. 공감수 0 댓글수 0 2024. 6. 14.
[CA] - 시스템 버스(Bus)란? 컴퓨터 구조에서 버스(Bus)란 CPU, 메모리, I/O 장치 사이의 정보 전송을 위한 통로입니다.이 통로를 통해 컴퓨터의 하드웨어 장치들은 데이터를 주고받고, 버스를 통한 데이터 전송 속도가 시스템 성능을 좌우합니다.버스는 신호의 종류에 따라 다음과 같이 분류됩니다.데이터 버스(Data Bus): 메인 메모리와 CPU 사이, 입출력 장치와 메인 메모리 사이, CPU 내부의 모듈들 간의 데이터가 이동하는 경로각 구성요소는 양방향으로 데이터 전달 가능주소 버스(Address Bus): CPU가 사용하고자 하는 데이터가 위치한 주소가 이동하는 경로 CPU와 메모리는 단방향으로 데이터 전달이 가능한 버스를 이용해 주소 전달은 CPU ➡️ 메모리로만 가능컨트롤 버스(Control Bus): CPU에서 발생하는 .. 공감수 0 댓글수 0 2024. 6. 14.
[이펙티브 자바] - 아이템 60 ~ 63 아이템 60 - 정확한 답이 필요하다면 float와 double은 피하라float와 double 타입은 과학 / 공학 계산용으로 설계되었다.해당 자료형들은 부동소수 타입으로, 정확한 결과를 위해서는 사용을 지양해야 한다.실수를 표현하는 방법 두가지실수를 표현하는 방법은 다음 두가지이다.고정 소수점 방식: 소수점에 이용하는 범위를 고정해 수의 표현 범위가 크지 않다.부동 소수점 방식: 소수점을 이용하지 않아 그만큼 다른 수를 표현할 수 있도록 더 넓은 표현 범위를 가진다.부동 소수점 방식을 사용하는 자료형인 double, float등 에서는 실수 연산에서는 소수점 단위 값을 정확히 표현하는 것이 아닌 근사값으로 처리해 오차가 발생한다.정확한 계산을 위해서는따라서 정확한 계산을 위해서는 BigDecimal .. 공감수 0 댓글수 0 2024. 6. 4.
[Network] - SSL 공인 인증서와 SSL 사설 인증서의 차이, SSL 인증서 확인하기 이번 포스팅에서는 SSL 프로토콜의 작동 방식이 아닌, SSL 인증서와 사설 인증서에 대해 알아보겠습니다.SSL(Secure Sockets Layer)은 암호화 기반 인터넷 보안 프로토콜입니다. 인터넷 통신의 개인정보 보호, 인증, 데이터 무결성을 보장하기 위해 출범했고, 현재 사용 중인 TLS 암호화의 전신입니다.SSL은 사용하고 있는 웹 서버에 SSL 인증서를 설치하여 암호 통신이 가능하도록 합니다.그리고 SSL 인증서가 설치된 웹서버는 HTTPS 통신이 가능합니다.공인인증서? 사설인증서?공인 SSL 인증서공인 SSL 인증서는 인증 기관(CA)에서 발급하는 인증서입니다.일반적으로 인터넷에서 접근하는 사이트들은 공인인증서가 적용되어 있다고 생각하시면 됩니다.사용자 PC에 따로 인증서를 설치하지 않더라도.. 공감수 0 댓글수 0 2024. 5. 31.
[docker] - dockerfile 문법과 작성법 : CMD vs ENTRYPOINT 도커파일은 도커로 이미지를 생성하기 위한 용도로 작성하는 스크립트 파일이다.도커 이미지를 빌드할 때는 전적으로 도커 파일에 의존해 빌드를 실시한다.도커 스크립트는 크게 어렵지 않지만 헷갈리는 것들이 있어 한 번 정리해두면 좋다.예시로 알아보는 명령어들도커파일 예시와 함께 각 명령어 사용법을 알아보자.# 베이스 이미지로부터 시작FROM python:3.9-slim# 작업 디렉토리 설정WORKDIR /app# 환경 변수 설정ENV FLASK_APP=app.pyENV FLASK_RUN_HOST=0.0.0.0# 라벨 설정LABEL maintainer="example@example.com"LABEL version="1.0"LABEL description="This is a sample Dockerfile."# 로.. 공감수 0 댓글수 0 2024. 5. 31.
배리어프리 앱 개발 콘테스트 최우수상 후기 : 배리어프리와 접근성 배리어프리 앱 개발 콘테스트란?배리어프리 프로젝트는 현대오토에버와 사단법인 그린라이트에서 주관하는 굉장히 긴 호흡을 가져가는 프로젝트이다.매년 4월경 모집을 하기 시작하며, 총 상금도 꽤나 규모가 있다.나의 경우는 23년 6월부터 시작해 24년 2월까지 약 8개월간의 기간을 소요했다.과정은 위와 같다.중간발표회와 제작발표회 등을 거치며 최종 제작 지원 팀을 선발하고, 마지막 완료발표회와 수상식을 끝으로 마무리되었다. 면접심사 (7월 8일)먼저 1차 서류심사를 합격한 20팀을 선발을 한다.그리고 20팀에 대한 면접심사를 진행한다. 면접심사는 영등포에 위치한 이룸센터에서 이루어졌고, 간단하게 15분정도 어플리케이션 개발계획을 발표한다.올 해 심사기준은 다음과 같았다. 개인적으로 심사위원분들의 질의와 관심도를.. 공감수 2 댓글수 3 2024. 5. 31.
MacOS pip install 시 error: externally-managed-environment 해결법 다음 명령어로 해결python3 -m pip config set global.break-system-packages true referencehttps://stackoverflow.com/questions/75608323/how-do-i-solve-error-externally-managed-environment-every-time-i-use-pip-3 공감수 0 댓글수 0 2024. 5. 23.
[Home Server] - 파일 공유용 smb 서버 구축하기 홈서버에 파일 공유 서버를 하나 구축하려고 계획을 하였는데, 헤놀로지는 너무 무거운듯 하여 우분투 컨테이너에 smb 서버를 하나 만들기로 하였습니다.먼저 우분투 컨테이너를 하나 만들어줍니다.우분투 컨테이너 생성후에는 다음 스텝으로 삼바 서버를 구축해줍니다.SMB 서버 구축apt updateapt updateapt upgrade -y삼바 설치apt install samba -y리눅스 서버에 계정을 추가해줍니다.sudo adduser {username}Samba에도 공유할 계정을 등록해줍니다.sudo smbpasswd -a {username}공유할 폴더를 생성해줍니다.mkdir /home/manjoo/share이제 conf파일을 수정해주어야합니다.파일 공유만을 가능하게 작업해보겠습니다.vi /etc/samb.. 공감수 1 댓글수 0 2024. 5. 16.
[Home Server] - wireguard로 VPN 서버 구축하기 컨테이너 생성먼저 와이어가드 서버를 올리기 위해 컨테이너를 하나 생성해주겠습니다.ubuntu 22.04 버전 이미지 템플릿을 받습니다.해당 이미지로 컨테이너를 생성해주고, wireguard를 docker로 실행해주겠습니다.hostname과 비밀번호를 설정해줍니다.아까 다운받은 템플릿을 선택해줍니다.Disk, CPU, Memory는 default 값으로 설정 후 네트워크에서 고정IP를 세팅해줍니다.설정에 이상이 없으면 컨테이너를 생성해줍니다.컨테이너 생성 이후 세팅몇가지 필요한 패키지를 설치해줍니다.apt update && apt upgrade -y && apt install curl && apt install net-tools도커와 도커 컴포즈를 설치해줍니다.curl -fsSL https://get.do.. 공감수 0 댓글수 0 2024. 5. 16.
[Home Server] - Proxmox OS 설치, 리버스 프록싱 서버 구축 현재 집에서 재미 반, 흥미 반으로 홈 서버용으로 구매한 미니PC에 프록스목스 OS를 설치하고 여러 편의용 서버를 가상화, 구동 중입니다.홈서버를 구축했던 내용을 하나씩 풀어보겠습니다.프록스목스(Proxmox)란?Proxmox는 KVM 가상화와 LXC 컨테이너 기술을 기반으로 하는 하이퍼바이저 OS입니다.가상 머신과 컨테이너를 웹 기반의 UI로 쉽게 관리할 수 있습니다.또한 백업/복원, 스토리지 관리 등 다양한 기능을 제공하며, 가장 큰 장점인 오픈소스 라이선스로 누구나 무료로 사용할 수 있습니다.Proxmox 세팅먼저 다음 url에 접속해 proxmox 이미지를 받아줍니다.https://www.proxmox.com/en/downloadsOS 설치가 완료되면 무료 dns를 제공해주는 사이트에서 ip를 등.. 공감수 0 댓글수 1 2024. 5. 16.
L4 스위치의 A to Z (Load Balancing, Traffic Flow, SSL Offload 등) 서버 부하 분산은 부하 분산 Network Switch 혹은 Nginx등의 소프트웨어가 담당합니다. 즉, 외부로부터의 요청을 받으면 이를 서버로 적절히 나누어 주게 됩니다. 개발을 하며 소프트웨어로 로드밸런싱을 구축하는 경험은 해보았으니, 하드웨어인 L4 스위치를 통해 어떻게 로드밸런싱을 하는지를 다뤄보겠습니다. L4 스위치의 역할과 Nginx의 역할은 거의 유사하기 때문에, L4 스위치의 기능들을 모두 이해한다면 Nginx같은 웹 서버에 대해서 이해하기 편합니다. L4 스위치란? L4 스위치를 사용하면 외부에서 들어오는 모든 요청을 서버가 아닌 L4 스위치가 받아서 서버들에게 적절히 나누어 줍니다. 위 그림의 Load Balancing을 하는 부분이 바로 L4 스위치의 역할입니다. 마치 리버스 프록시와.. 공감수 0 댓글수 2 2024. 4. 16.
[Network] - 프록시와 리버스 프록시 프록시란 프록시 서버는 클라이언트와 서버 사이에서 서로 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해주는 시스템 혹은 응용프로그램이다. 프록시(Proxy)는 대리라는 의미를 가지며, 서버와 서버 사이 중계기 역할을 한다. 프록시를 통해 통신함으로써 보안, 성능, 안정성에 이점이 생긴다. 그리고 프록시는 네트워크 상의 위치와 데이터를 제공하는 방향에 따라 포워드 프록시와 리버스 프록시로 나뉜다. 포워드 프록시(Forward Proxy) 개념 포워드 프록시 서버는 위 그림처럼 클라이언트의 뒤에 놓여 있다. 클라이언트가 서버에 접근하고자 할 때, 해당 타겟 서버 주소를 포워드 프록시 서버에 전달하면 프록시 서버는 인터넷으로 요청을 보낸 뒤 응답을 가져오는 방식으로 작동한다. 특징 포워드 프록시는 다음과.. 공감수 0 댓글수 0 2024. 4. 8.
[Elasticsearch / Seminar] - GenAI Workshop 후기 🚀개요 이번 포스팅에서는 4월 3일 엘라스틱 코리아에서 파트너사를 대상으로 진행한 세미나에 참여하게 되어 다녀온 후기와 배웠던 내용들을 간략하게 남기고자 합니다 🖐️ 세미나는 시청에 위치한 에티버스 타워에서 진행되었습니다. 덕분에 오랜만에 숭례문도 보고 왔습니다 ㅎㅎ 뒤쪽으로 SK의 그린빌딩도 보이네요 세미나는 오후 2시 ~ 오후6시까지 진행되었고, 약 70명 이상의 꽤 많은 파트너사 직원들이 참여해주신 행사였습니다. 이번 세미나는 엘라스틱 코리아의 솔루션 아키텍트이신 필립님께서 진행해주셨고, 입문자 수준에서엘라스틱서치와 GenAI에 대한 개요, 그리고 응용을 위한 실습을 위주로 이루어졌습니다. 그 중 제가 이해하고 좋았던 부분들에 대해 공유해보겠습니다. 🖊️Generative AI 소개 GenAI에 대.. 공감수 1 댓글수 0 2024. 4. 7.
[Elasticsearch] - 집계(aggregation) 집계(aggregation)란? 엘라스틱에서 집계는 데이터를 그룹핑하고 통곗값을 얻는 기능으로 강력한 검색 성능과 ES를 고성능 집계 엔진으로 활용하게 해준다. 집계를 잘 이해할수록 키바나를 더 잘 사용할 수 있다. ES에는 다음과 같은 집계들이 있다. 메트릭 집계 버킷 집계 파이프라인 집계 집계의 요청과 응답 형태 집계를 위해서 특별한 API를 사용하지 않아도, Search API의 요청 본문에 aggs 파라미터를 추가함으로서 쿼리에 대한 집계를 생성할 수 있다. 메트릭 집계 메트릭 집계는 필드의 최소/최대/합계/평균 등 통계 결과를 보여준다. 다음은 메트릭 집계의 종류이다. 메트릭 집계 설명 avg 필드의 평균값을 계산한다. min 필드의 최솟값을 계산한다. max 필드의 최댓값을 계산한다. sum .. 공감수 0 댓글수 0 2024. 4. 1.
[Elasticsearch] - 쿼리와 스코어링 쿼리 컨텍스트 vs 필터 컨텍스트 엘라스틱의 검색은 다음 두 가지로 나뉜다. 쿼리 컨텍스트 질의에 대한 유사도를 계산해 더 정확한 결과를 먼저 보여준다. 필터 컨텍스트 유사도를 계산하지 않고 일치 여부에 따른 결과만을 반환한다. 스코어 계산 과정을 생략해 쿼리 속도를 올릴 수 있다. 캐시를 이용할 수 있다. _search는 검색 쿼리를 위해 제공되는 REST API이고, match는 전문 검색을 위한 쿼리이다. 다음 예시를 보면 clothing 용어가 있는 도큐먼트를 찾아 총 3927개의 도큐먼트 중 스코어가 높은 순으로 정렬된다. 필터 컨텍스트와 쿼리 컨텍스트는 모두 search API를 사용한다. 단지 내용에 따라 쿼리가 구분되는데, 필터 컨텍스트는 논리(bool) 쿼리 내부의 filter 타입에 적.. 공감수 0 댓글수 0 2024. 4. 1.
[Elasticsearch] - 인덱스 템플릿 사용하기 인덱스 템플릿 인덱스 템플릿은 설정이 동일한 복수의 인덱스를 만들 때 사용한다. 인덱스를 파티셔닝하는 일이 많은데, 이 때 파티셔닝하는 인덱스들은 설정이 같아야 한다. 설정이 동일한 인덱스를 매번 일일이 작성하는 것은 매우 비효율적이다. 다음과 같이 템플릿 API를 사용해 현재 등록된 인덱스 템플릿을 본다. GET _index_tamplae 와일드카드 표현식으로 다음과 같이 특정 인덱스 템플릿을 확인할 수도 있다. GET _index_template/ilm* 인덱스 템플릿은 다양한 설정이 가능하지만 주로 매핑과 세팅 설정을 한다. 다음은 인덱스 템플릿을 생성하는 예시이다. PUT _index_template/test_template { "index_patterns": [ "test_*" ], "prior.. 공감수 0 댓글수 0 2024. 4. 1.
[Elasticsearch] - 엘라스틱 서치의 색인 With 분석기 역 인덱스 (Inverted index) ES는 텍스트와 도큐먼트를 인덱싱 시점에 용어 단위로 분해하고 역인덱스 사전을 구축한다. 특히, 기존의 데이터로 처리하기 힘든 대량의 비정형 데이터 검색이 가능하며, 전문 검색과 구조 검색 모두를 지원한다. 그리고 데이터들을 집계를 위해 최적화하고, 이를 바탕으로 병렬처리나 분산처리가 가능하다. 다소 생소한 개념인 역인덱스를 하는 과정을 알아보자. 먼저 평범한 관계형 DB에 다음과 같이 데이터를 저장한다고 생각해보자. 만약 이 데이터베이스에서 fox가 포함된 행을 찾는다면, Like %fox%를 사용해 모든 데이터베이스를 읽어야한다. 그러나 이러한 전방위 검색은 절대 해서는 안되는 불문율이 있다. (데이터가 많으면 시스템이 맛이 갈 수도 있다) 따라서 ES는 데이.. 공감수 0 댓글수 1 2024. 4. 1.
[ELK] - 엘라스틱 서치 기본 개념 & 용어 엘라스틱 서치(ES)의 모든 기능은 REST API 형태입니다. 몇가지 예시는 다음과 같습니다. 테스트는 키바나 → Management → Dev Tools 에서 실행했습니다. POST /user/_doc/3 { "name": "kim", "age": 10 } ➡️ es_index라는 인덱스를 만들고 1번 도큐먼트를 생성한다. GET user ➡️ user를 조회한다. GET user/_doc/3 ➡️ user 내부의 3번 도큐먼트만 조회한다. DELETE user ➡️ user를 삭제한다. GET _cat/indices?v ➡️내부 인덱스 목록을 확인한다. (앞서 DELETE를 했다면 user가 삭제된 것을 확인할 수 있다.) 인덱스, 도큐먼트.. 기존 RDB에서도 쓰는 용어이지만, 뭔가 개념이 다르다.. 공감수 0 댓글수 0 2024. 4. 1.
[ELK] - 엘라스틱 서치란? 엘라스틱 서치 엘라스틱 서치(Elastic Search, 통칭 ES)는 Full-text search engine으로 처음 개발되었지만, 검색엔진을 넘어 보안, 로그분석, 전문(Full-text)분석 등 다양한 영역에서 중요한 역할을 하고 있다. Kibana, Logstash, Beats들과 함께 Elastic Stack이라 불린다. ES가 타 NoSQL 제품보다 월등히 빠르고 어려운 검색, 집계 성능을 보이는 이유? ➡️검색 엔진인 동시에 데이터베이스이기 때문 충분한 크기의 클러스터가 구성되어 있다면 1초 이내의 응답 속도 보인다. ES의 또 하나의 특징은 바로 스코어링, 연관도에 따른 정렬이다. 타 데이터베이스도 제공하는 필드값 기준 정렬이 아닌, 유사도 스코어 정렬로 인해 복잡한 문자열 콘텐츠 검색.. 공감수 1 댓글수 2 2024. 3. 27.
[Elasticsearch] - Elasticsearch의 각 노드 별 적정 메모리 할당 Elasticsearch의 램 부족 현상 엘라스틱 서치를 멀티 노드 클러스터 환경에서 연습하던 중, 노드가 error code 137과 함께 죽는 현상이 종종 발생했습니다. 이는 메모리 부족과 관련된 이슈였는데, 사용 중인 랩탑의 총 메모리가 8GB에 불과해 노드 3개짜리 클러스터를 도커 컨테이너로 구성할 때 각 노드에 단 1GB씩을 할당해줘서 발생한 것이었습니다. (기존 아키텍쳐 그림입니다) 엘라스틱 서치를 사용할 때는 연습환경일지라도 한 노드 당 최소 4GB 이상씩을 할당해줘야하고, 물론 빠른 작업을 제공하기 위해서는 메모리는 많으면 많을 수록 좋습니다. 만약 메모리가 남는다면, 특히 인덱싱과 CRUD, 검색 및 집계 등을 처리하는 데이터 노드에 더 많은 메모리를 할당해주는 것이 일반적으로 좋습니다... 공감수 0 댓글수 0 2024. 3. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.