-
LLM | GPT 4o API 실습 Beginning - 3. Video + Audio based QA
Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course1. Image( multi modal)2. Summary( Video + Audio)👉 3. QA( Video + Audio based chat) 이번엔 비디오와 오디오에서 학습한 내용을 기반으로 LLM( GPT 4o)에게 질의 응답할 수 있도록 API를 구성한 Video + Audio 기반QA(챗) 실습 코드들이다. 실습1. Video based Q&A:비디오 기반 Q&A - resource *앞 포스팅에서 진행했던 실습 예제와 동일한 Audio, Video 파일 - code# .env file에서 환..
2024.05.15
-
LLM | GPT 4o API 실습 Beginning - 2. Summarization( Video + Audio)
Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course1. Image( multi modal)👉 2. Summary( Video + Audio)3. QA( Video + Audio based chat) 이번엔 비디오와 오디오를 요약하는 실습이다. GPT 4o API 실습1. 멀티 모달 - Video : 비디오 요약 - resource - code *Video(@AndyHertzfeld): https://www.youtube.com/watch?v=oTtQ0l0ukvQ *Generate shorts(@ssemble) : https://www.ssemble..
2024.05.15
-
LLM | GPT 4o API 실습 Beginning - 1. Image( multi modal)
Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course👉 1. Image( multi modal)2. Summary( Video + Audio)3. QA( Video + Audio based chat) OpenAI, Spring Update(May 13, 2024) 이후, 유뷰브와 뉴스 등 온라인 미디어는 말 그대로 충격의 도가니탕이다. 발표와 시연 영상들이 복붙에 복붙에 복붙으로 바이럴? 콘텐츠처럼 퍼지고 있다. 나 또한 믿기지 않는 시연에 한 동안 그냥 충격으로 멍했던 것 같다. 그리고 관련 코드를 찾아 바로 GPT 4o API 실습을 진행해보았다. 실습 환경설정01) root..
2024.05.15
-
기획자가 개발까지 알아야 하나요?
1. 종종 이런 질문을 듣는다. "기획자가 개발까지 알아야 하나요?" 난 뭐, 명문대를 나오거나 대기업이나 남들 다 아는 스타트업에 재직 중인 것도 아니라 '기획자가 개발도 알아야 하나요?'와 같은 질문에 어떤 대답을 하는게 적절한지, 또는 효율적인지, 그들이 원하는 대답이 뭔지 잘 모른다. 게다가 개인적으로 ”그 문제가 뭐든 변치않는 정답은 없다. 단지 서로의 입장만 있을 뿐이다“라는 주의라서.. 그래서 이런 질문엔 그냥, 만약 다른 상황에서, '당신이 라면, 타인에 대해 무엇을 기대할 것인지?' 에 대한 본인의 생각을 물어보는 것으로 그 대답을 대신한다. "oo님은 혹시, 웹디자이너가 웹에 대한 개발 지식이 필수라고 생각하나요? 아니면 상관없다고 생각하나요?" 그리고 종종, 개인적인 질문도 받는다 "..
2024.05.10
-
LangGraph - 1. 개요
LangGraph'LangChain'를 사용하여 사용자 정의 에이전트를 더 쉽게 구축하고 단순한 체인 이상의 것을 구축할 수 있도록 하자는 취지로 만들어졌다. LangGraph는 제품에서 다이어그램화할 수 있다면 엔지니어링에서도 정확하게 만들 수 있다는 아이디어를 기반으로 간단한 Graph로의 접근 방식을 사용하고 있다. 먼저 구성 요소부터하면, LangGraph는 노드와, 상태, 엣지, 그래프로 구성된다. Node수행하고자 하는 작업 내용으로 각 노드들은 서로 다른 다양한 작업들을 보유한다 - Function (e.g., an external tool) - LCEL Runnable 실행 가능(e.g., a RAG chain) Edge노드와 노드 사이의 연결하여 각 노드가 가지고 있는 정보를 통..
2024.05.09
-
Agentic | AI 에이전트를 오케스트레이션 프레임워크 CrewAI
Agentic 컨셉 시리즈 - Agentic Chunking LangChain RAG - AI 소프트웨어 엔지니어 DEVIKA 👉 AI 에이전트를 오케스트레이션 프레임워크 CrewAI CrewAICrewAI는 롤플레잉 자율 AI 에이전트를 오케스트레이션(매니징)하는 프레임워크이다. LangChan 위에 있는 추상화된 구조라고 보면 될?것 같다. 유사 서비스로는 MS사의 AUTO-GEN이고 음.. 애매하지만 유사한? 컨셉으로는 LangChain의 LangGraph가 있다. 물론 CrewAI와 LangGraph를 병행해서( 다음 포스팅 콘텐츠로 사용할 예정) 사용하는 방법이 있지만 이들이 탄생?한 시기와 컨셉이 Agentic( MOE)이라는 동일한 방향성을 가지고 있음은 크게 다르지 않은 것 같..
2024.05.02
-
Agentic | AI 소프트웨어 엔지니어 DEVIKA(open-source)
Agentic 컨셉 시리즈 - Agentic Chunking LangChain RAG 👉 AI 소프트웨어 엔지니어 DEVIKA - AI 에이전트를 오케스트레이션 프레임워크 CrewAI...한 달? 두 달? 전 했던 실습을... 미루고 미루다 이제 올린다.. 그른디...그 사이 데빈이 오픈해버렸네? ;D ㅋㅋㅋ 먼저 결론?! Devin 뿐만아니라 Open Devin을 비롯해 DEVIKA는 단순히 AI 소프트웨어 엔지니어로 접근하면 앙된다. 핵심은 에이전트이다. 다양한 LLM들을 에이전틱하게 MOE할 수 있는 사례로 이해하고 실습하면서 본인의 위치에서의 활용 방안을 모색해야한다. DEVIKADevin(AI 소프트웨어 엔지니어) 공식 출시하기 전 나왔던 '오픈 소스'로 Devin과 같이 코드를 생..
2024.05.01
-
LLM | Five Levels of Chunking( 스압 주의!)
Agentic 컨셉 시리즈 👉 Agentic Chunking LangChain RAG - AI 소프트웨어 엔지니어 DEVIKA - AI 에이전트를 오케스트레이션 프레임워크 CrewAI 먼저..RAG에 대한 기본적인 내용은 이전에 포스팅을 참고하면 좋을 것 같다. LLM | Langchain - 02 유형/단계별 RAG 실습실습 링크는 코랩 입니다. 기본 대화 준비, API KEY 발급가입, 키발급실습, GPT와 대화하기OpenAI - DocumentsLangchain - Langchain(LLM)_실습GPT 3, 3.5 비교매개변수 조절temperature : 0일관적 답변, 2매번 다른normalstory.tistory.com 1. 개요 Chunking Chunking은 고품질의..
2024.05.01
-
LangChain | 한국어 llm 모델, LangServe, local ollama, NGROK 배포
llm 관련 다양한 프레임워크들이 있는데 대부분이 OpenAI API 에 의존하고 있다. 되도록 이를 피하는 예제를 위주로 실습 중인데 테디노트에서 관심있는 주요 항목들에 대한 실습 영상을 올려주셔서 관련 진행 내용을 포스팅해본다무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(LangServe) + RAG 까지!! (학습 콘텐츠 출처: 테디노트)( 참고로 llm을 로컬 컴퓨터에 다운로드해서 손쉽게 쓸 수 있도록 도와주는 툴은 대표적인 방법은 크게 ollama, AnythingLLM, Lm studio 세가지 정도가 있는데 테디노트의 이번 예제는 올라마 ollama를 활용하고 있다. ) 실습 과정1. HuggingFace-Hub에서 한국어🇰🇷 파인튜닝 모델 받기1) 실습..
2024.04.26
-
LLM | ollama 2부. 로컬 브라우저에서 실행하기
- ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS 👉 ollama 2부. 로컬 브라우저에서 실행하기 : open-webui - ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 : - ollama 4부. 검색증강 RAG 적용하기 - ollama 5부. 이미지 인식 적용하기 - (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기 ollama local browser 1. 도커 이미지로 실행하기( Mac terminal 환경, = 윈도우 cmd와 거의 동일) 1) 도커에 가입한 후 로그인한다 2) 내 컴퓨터 OS 종류에 맞게 도커를 설치한다 Install Docker Engine Learn how to choose the..
2024.02.25
-
LLM | Langchain - 02 유형/단계별 RAG 실습
LLM | Langchain - 01 개요👉 02 유형/단계별 RAG 실습*실습 링크는 코랩 입니다. 기본 대화 구성하기 준비, API KEY 발급가입, 키발급실습, GPT와 대화하기OpenAI - DocumentsLangchain - Langchain(LLM)_실습GPT 3, 3.5 비교매개변수 조절temperature : 0일관적 답변, 2매번 다른 창의적 답변StreamingStdOutCallbackHandler챗팅 모델에 역할 부여input[ tuple]HumanMessage : 사용자의 메시지SystemMessage : 챗봇에 역할을 부여하는 메시지outputAIMessage : 최종 답변 Langchain(LLM)_실습01.ipynbColaboratory notebookcolab.re..
2023.12.17
-
LLM | ollama 1부 - 로컬 터미널에서 실행하기 + 버전 업데이트하기
👉 ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS & ollama version update - ollama 2부. 로컬 브라우저에서 실행하기 : open-webui - ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 - ollama 4부. 검색증강 RAG 적용하기 - ollama 5부. 이미지 인식 적용하기 - (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기 ollama local terminal on linux(wsl 2) in windows 11 1. 윈도우 하위 시스템(wsl 2)으로 리눅스(우분투) 설치 1) 윈도우 검색에서 [windows 기능 켜기 끄기] 실행 2) 옵션 설정 3) 재부팅 4) 윈도우..
2024.02.20
-
LangChain | 한국어 llm 모델, LangServe, local ollama, NGROK 배포
llm 관련 다양한 프레임워크들이 있는데 대부분이 OpenAI API 에 의존하고 있다. 되도록 이를 피하는 예제를 위주로 실습 중인데 테디노트에서 관심있는 주요 항목들에 대한 실습 영상을 올려주셔서 관련 진행 내용을 포스팅해본다무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(LangServe) + RAG 까지!! (학습 콘텐츠 출처: 테디노트)( 참고로 llm을 로컬 컴퓨터에 다운로드해서 손쉽게 쓸 수 있도록 도와주는 툴은 대표적인 방법은 크게 ollama, AnythingLLM, Lm studio 세가지 정도가 있는데 테디노트의 이번 예제는 올라마 ollama를 활용하고 있다. ) 실습 과정1. HuggingFace-Hub에서 한국어🇰🇷 파인튜닝 모델 받기1) 실습..
2024.04.26
-
MS(Code-OSS)에서 이번엔 cursor IDE를 내놓았다
인트로 커서 cursor 라는 IDE가 새로 나왔다 커서 cursor는 VS Code의 (이복)동생? 즈음 된다. Code – OSS(오픈 소스 소프트웨어)라는 동일한 오픈 소스로 만들어 졌다. 차이점으로는 VS code 는 AWS 연동해서 code builder 를 쓰고 Cursor 에서는 chatGPT를 사용한다는 점이다. 참고로 깃헙은 MS 소유이고 chatGPT는 MS가 대주주이다. 사용 예 VS Code에도 다양한 chatGPT 익스텐션들이 많다. 사용감도 나쁘지 않다. 다만 snippet과 chatGPT 사이의 인터페이스를 가지고 있다. 반면 cursor는 그냥 chatGPT 기반의 인터페이스이다. IDE를 설치해보면 알겠지만 VS code와 동일한 인터페이스이고 우측에 chatGPT 인터페이..
2023.12.03
-
북 | 도덕적 인간과 비도덕적 사회
도덕적 인간과 비도덕적 사회는 상당히 오래된 책이다. 이 책은 기술, 종교, 도덕적 인식, 인간에 대한 존엄 등이 매우 빠르게 발전되고 있던 시기에 저술되었다. 빠른 발전에도 불구하고 아이러니하게 대공황이 찾아왔고 끝 모르는 전쟁을 통해 사회는 충격에 휩싸이게 된다. 이 책의 전반적인 내용은 당시 시대 상황을 배경으로 개인의 도덕과 사회의 도덕 사이의 갈등에 대해 서술하고 있다. 그리고 읽으며 알게 된 신선한? 사실은.. 사회학과 또는 조직, 심리철학인줄 알고 읽었던 이 책이 바로 신학에서 출발했다는 점이었다. 책을 읽으며 개인으로서 가족에 충실한 자상한 아버지가 시대와 상황 그리고 조직에 따라 때론 매정한 간부가 되기도 하고 오염수를 방류하기도하고 바다에서의 대량 포획을 통해 환경을 파괴하기도 할 수도..
2023.06.07
-
파이썬 3.8 64bit에 텐서플로우 2.2 설치(feat. 아나콘다)
* 개발 환경 : 샤오미 레드미 노트북 64비트, RYZEN 4000 시리즈 7. 윈도우 10 64 비트 책과 달리, 내 컴퓨터에서는 pip install tensorflow 가 안된다. 파이썬 까지는 잘됐었는데... 흑흑... pip Install Error: don't could find version that satisfies the requirement tensor flow 1. 구글 검색하다가, 텐서 플로우 공식 깃허브의 이슈관리 페이지로 들어가봤다. 댓글에 유사한 사례와 답변과 만족들이 있었지만 내 컴퓨터엔 작동하지 않았다. github.com/tensorflow/tensorflow/issues/39130 pip Install Error: don't could find version that ..
2021.02.24
-
견(見)을 하지 말고 관(觀)을 하라
(찬우의 노멀 노트)잊었던 인사이트다. 보는 것과 응시하는 것..은 다르다.멍하니 동태 눈을 하고 살지 말아라. 깨어있어야 한다. 바람과 빛을 느낄 수 있어야한다. 정신없이 살지 말아야한다. 눈을 뜨고도 깨어있지 못할바엔차라리 고민을 하고 방황을 하거나 주저 앉아라. 를 다시금 생각하게 해준 피드였다. 화가 파울 클레는 "미술은 보이는 것을 표현하는 것이 아니라 어떤 것을 보이게 하는 것이다"라고 말했는데 이는 바로 견(見)을 하지 말고 관(觀)을 하라는 이치와 같다. 화가 제스퍼 존스는 '성조기'를 소재로 하여 미술 작품을 창작하면서 "내 작업은 익숙한 것들을 내가 어떻게 보는지는 '보는' 지점에서 시작된다"라고 했는데, 이는 그냥 보는 것이 아니라 어떻게 관찰하느냐에 따라 완전히 다른 차원의 창의와 ..
2019.02.08
-
LLM | ollama 4부. 검색증강 RAG 적용하기
LLM | ollama 4부. 검색증강 RAG 적용하기 - ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS - ollama 2부. 로컬 브라우저에서 실행하기 : open-webui - ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 👉 ollama 4부. 검색증강 RAG 적용하기 - ollama 5부. 이미지 인식 적용하기 - (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기 Ollama RAG에 앞서 참고로 RAG라는 보편적 개념과 관련 API를 제공하는 프레임워크가 랭체인 LangChain인 만큼 관련 기본적인 내용과 실습을 선행하는 것을 추천하고 관련 내용은 이전에 포스팅해둔 것이 있어서 먼저 걸어두고 시작한다..
2024.02.25