LMStudio X AnythingLLM (feat. AutogenStudio )

로컬 LLM을 코드 베이스로 모델을 설치, 빌드, 배포하는 과정에 대한 전반적인 흐름을 살펴본 후, 노코드로도 진행 할 수 있는 다른 툴을 사용하면서 LLM 개발운영에 대한 전반적인 워크플로우를 알아보도록 한다

LMStudio 소개
ollama와 같이 외부 다양한 오픈소스 llm을 로컬에 개별 설치하고 로컬 서버로 운영할 수 있도록 도와주는 툴이다. ollama와 다른 점은 기본 인터페이스가 CLI가 아닌 GUI로 제공되고 있다는 점이다

AnythingLLM 소개
유사한 서비스로는 streamlit이나 chainlit이 있는데, 차이점은 코딩 작업 없이 LMStudio와 ollama 뿐만아니라 다양한 개별 모델들의 클라이언트 인터페이스를 구성할 수 있도록 도와주는 툴이다 *로컬기반이고 외부url 배포를 위해서는 유료 멤버십이 필요하다

대략적인 사용 순서
1) LMStudio( 또는 ollama) 설치, 원하는 모델 다운로드, 로컬 서버 구동
2) AnythingLLM 설치, 구동 중인 로컬 서버 정보 등록, 대화 생성, 컨텍스트 문서 추가, 이용

 

 

1. LMStudio

1) 모델 설치, 리스트라엘의 경우 Q값이 5이상을 권장한다

참고로 녹색표시된 블록은 해당 하드웨어에 무리없이 설치 및 이용 가능하다는 표시이다

2) 모델을 테스트하고 시스템 자원에 대한 현황을 파악할 수 있는 GUI를 제공한다 

3) 로컬 서버를 운영할 수 있는 기능과 GUI도 제공하고 있다

 

 

2. AnythingLLM

1) 모델( LMStudio) 선택 후, 서버 정보* 입력 *서버 정보 : LMStudio의 로컬 서버 실행해서 정보 얻기

2) 그 밖에 임베딩엔진과 백터db 선택하기

3) 로컬 서버로 실행한 결과, 첫 접속시 기본적인 이용 가이드가 제공된다 

4) 좌측 워크스페이스를 선택해서 채팅을 시작할 수 있다. 사용 예를 보면 답변을 잘하지 못한다. 이는 단순히 성능의 문제가 아니라 컨텍스트가 없기 때문이다.

5) 대화의 컨텍스트를 맞추기 위해, 대화 창에 관련 문서를 먼저 업로드하자

6) 대화 중간에 문서를 추가하려면 왼쪽 버튼을 클릭한다

7) (1)url 또는 파일을 업로드하면 (2)위에 목록이 추가되고 일부 항목을 선택하면 (3)오른쪽 영역(대화 워크스페이스 이름)으로 이동하고 (4)임베딩 버튼을 누르면 해당 데이터가 워크스페이스에 적용된다

8) 컨텍스트 설정 전과 달리 정상적인 답을 해주고 있다

9) 답변 내용이 url 또는 문서를 참조하고 있는 경우, 참조 경로를 추가적으로 제공해준다 

 

 

사용 전 단순 검색을 통해서 알때는 LMStudio와 AnythingLLM이 각각 경쟁 포지션인 줄 알았는데,, 사용해보니 세트로 동작할때 시너지가 나는 것 같다. 노코드로 'llm을 테스트해보는 데는' 가장 최선?의 툴이 아닐까 한다..

 

 

 

...

(여기서 부터 TMI 주의구간)

음.. 그런데 사실..

이 시장? 바닥?이 워낙 빠르게 바뀌다보니.. LMStudio와 AnythingLLM이 충분히 좋고 상세한 기능도 제공하고 나온지도 얼마 안되었지만.. 개인적으로 지금 시점에서 중요한 점은 툴이 출시하거나 업데이트된 시기가 얼마 안되었거나 인터페이스 적인 편의성은 생각보다 덜 중요한 것 같다. 

지극히 주관적으로 llm은 불쾌한 골짜기(이미지 출처, Mori(1970))를 넘어서고 있는 것 같다. 그런 측면에서 지금 포커싱해야할 부분은 LLM의 순위나 개별 성능은 이미 상향 평준화? 또는 필수 임계치는 넘어섰다.

 

물론 더 발전할테고 발전하면 좋겠지만, 기본 임계를 넘어선 지금 타이밍에 중요한 것은 에이전틱, 사실상 개인화를 얼마나 잘 구성하느냐이다. 여기서 부터는 사실 Mesh Up의 영역이라 생각된다. 그런 측면에서 노코드로 기본 LLM 구성뿐만 아니라 추가로 개별 에이전트까지 세팅할 수 있는 MS사의 오토젠 스튜디오 autogen studio 가 눈에 띈다. 

AutoGen Studio 2.0: Revolutionizing AI Agents

 

 

 

마지막으로 개인적으로 인상적이라 생각하는 ted의 고전 중 한 영상에 대한 링크를 달아본다. 

https://www.ted.com/talks/lisa_gansky_the_future_of_business_is_the_mesh?language=ko

리사 갠스키: 비지니스의 미래는 "메시"입니다.