요즘 로컬로 LLM 구축해서 사용한다는 기사를 많이 접하고는 저도 한번 운영해볼까 합니다.
서버는 넉넉한 사양으로 준비되어있는게 있는데 이걸 가상화로 돌리기엔 무거울거고 깔아서 써야할거같긴한데 .. 혹시 가상화(VM)에 올려서 쓰시는분들 계신가요??
혹시나 쓰신다면 어떤모델을 쓰시는지 궁금하네요 ㅠㅠ
혹시 사내 LLM을 구축해서 사용하시는 유저분들 계신가요?
서버벨은 거의 모든 브랜드의 서버, 네트워크장비, 파트 및 옵션을 운영하고 있습니다.
Sponsored http://www.serverbells.com
서버벨은 HP, DELLEMC, IBM, LENOVO, CISCO, FUJITSU, ARISTA, ARUBA 등 전반적인 IT브랜드 신품/리퍼 재고를 유지 및 서버/스토리지/네트워크/옵션/파트 등을 전문적으로 운영하는 기업입니다.
자세히 보기답변 달기
IT 솔루션 또는 하드웨어 도입을 검토 중 이신가요?
IT운영 카테고리의 다른 질문들...
- 조직 내 PC 부팅 및 종료시간 파악법 [18]
- Luis. H
- | 479읽음
- 4일 전
- 댓글 : 약 23시간 전
- 웹사이트 튜닝 관련 [11]
- shhn1004
- | 346읽음
- 5일 전
- 댓글 : 약 19시간 전
- AD 네트워크 오류 [4]
- 강동원
- | 180읽음
- 5일 전
- 댓글 : 4일 전
- 윈도우 10에서 11로 업그레이드 기간 관련문의 [8]
- acasim1234
- | 443읽음
- 14일 전
- 댓글 : 12일 전
- 전산실 선배님들 면접 예상 질문드립니다 ㅠㅠ [11]
- 개똥벌레
- | 277읽음
- 16일 전
- 댓글 : 14일 전
- active directory 도메인 명 변경 문의 [8]
- jaejun001
- | 349읽음
- 16일 전
- 댓글 : 14일 전
월간 인기글
- 등록된 내용이 없습니다.
8개의 답변이 있습니다.
가상화를 시작하기 전에 서버가 LLM을 효과적으로 처리할 수 있는 다음 사양을 갖추고 있는지 확인하세요.
- CPU: 높은 코어 수(예: 16개 코어 이상)
- RAM: 64GB 이상
- GPU: 상당한 VRAM을 갖춘 고급 GPU(예: NVIDIA A100, RTX 3090)
- 스토리지: 충분한 용량(최소 1TB)을 갖춘 빠른 SSD
- 네트워크: 고속 네트워크 연결
그리고 장단점이 있으니 참고하세요.
- 장점
격리: VM에서 LLM을 실행하면 다른 프로세스로부터 격리되어 보안과 안정성이 향상됩니다.
유연성: 종속성과 환경을 더 쉽게 관리할 수 있습니다. 필요에 따라 VM을 신속하게 가동하거나 가동 중지할 수 있습니다.
백업 및 복구: VM을 쉽게 백업하고 복원할 수 있어 가동 중지 시간이 최소화됩니다.
- 단점
오버헤드: 가상화는 리소스 소비의 추가 계층을 추가하므로 베어 메탈 설치에 비해 잠재적으로 성능이 저하됩니다.
복잡성: GPU 패스스루와 함께 VM을 설정하고 관리하는 것은 호스트 OS에서 직접 실행하는 것에 비해 더 복잡할 수 있습니다.
가상화된 환경에서 LLM을 실행하면 약간의 성능 오버헤드를 감수하면서도 유연성과 격리성을 제공하므로 매우 효과적일 수 있습니다. 올바른 설정과 최적화를 통해 서버 하드웨어의 잠재력을 최대한 활용하여 고급 AI 모델을 로컬에서 실행할 수 있습니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입가상화로 하면 무리가 있을듯한데요~서버를 구매해서 구축을 하는방향이 좋을듯합니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입LLM 적용하기엔 VM은 부족하지 않을까 합니다.
아무래도 용량도 클테고 말이죠.
또, LLM 수행 환경에 따라 VM이 지원되지 않을 수도 있으니 참고하시고요.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입처리할 데이터양과 트래픽에 따라 판단해야 할 것 같습니다.
테스트용이고 양이 적으면 VM 도 충분할 것 같구요
추후 확장되면 스펙 업그레이드나 별도 서버 구성으로 변경하시면 될 듯 합니다
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입넉넉한 사양의 서버가 있다고 하면 우선은 가상화 하지 마시고
물리 서버로 운영 해 보시는게 좋을 듯 하네요.
어느정도 운영을 해 보시고, 사용량에 따른 리소스 점유율등을 체크 하신 후에
가상화에 올려도 되는지 판단해 보시는게 좋을 듯 합니다 .
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입가상 컴퓨터나 물리 컴퓨터나 큰 차이가 있지는 않겠고요.
단지 성능의 문제나 안정성에 있어서 물리 컴퓨터가 더 좋긴하겠지만...
유연성 및 장기적인 관점에서 본다면 가상 컴퓨터가 더 낫지 않을까 싶네요.
LLM은... 아직 능력부족과 적용할만한 내용은 있지 않은 상태이고요.
유사한 내용으로 서술식 문장에서 패턴을 찾아내어 그 패턴에 맞는 결과를 찾아 내는 결과 변환 서버를 가상 컴퓨터에서 구현해서 사용하고 있네요.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입정확하게 구축을 해보지 않아서 모르겠지만 무수한 양의 언더 데이터를 처리하기 위해서는 CPU 및 메모리 사용률이 기본적으로 높을텐데 가상화로 하기엔 부담이 될 것 같습니다.
차라리 물리적으로 서버를 구성하고 따로 관리하는게 좋을 것 같습니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입가상화든 standalone이든 사양만 된다면 문제가 있을까요?
다만 고성능이 필요한 부분이라 다른 VM에 영향을 주지 않으려면 standalone 형태가
맞지 않을까 생각합니다. 대부분 standalone으로 제안합니다.
모델은 GPT, Llama(라마), 팜(PaLM) 등의 모델이 인지도도 높고 인기도 높은편으로 알고 있습니다.
최근에는 IBM watsonx도 로컬 LLM 플랫폼으로 확장을 한것 같구요.
진행하셔서 좋은 결과 있으시면 공유해주세요.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입