새로워지기/마흔의 생활코딩71 LLM 활용 협업 프로그래밍 사례 공유( Claude-3.5-Sonnet-200k, o1-mini) - 배경 -1. 놀면뭐해 1) 시니어 백수가 놀면 뭐해. 한여름 무더위에 일하고 계시는 부모님 일손을 돕고자 고향으로 복귀. 2. 빛좋은 개살구-같은 IT 경력 1) 그래도 명색이.. IT 업계에서 블록체인이다- 인공지능이다- 하며 10년 넘게 밥먹고 살았는데.. - 현타 01 : 정작 고향의 우리 가족이 하는 일의 상황은 2G 시절과 크게 다르지 않음을 보며 현타가 왔다. - 현타 02 : 현타01에서의 갭을 목격하고 나서도, ' 난 기획자인데.. 정작 나 혼자서 뭘 할 수 있나' 게 없어 보였다. 2) 그럼에도 불구하고.. - 생활 코딩이라는 아마추어 경력을 바탕으로.. 그 흔한 인공지능과 함께 뭐라도 해보자- 하는 생각을 하게 되었다. - 개요 - 1. 문제.. 2024. 10. 9. 개똥 인사이트 | 인간과 AI의 구조적 유사성 인간과 AI의 공통점 중 하나는 경험(학습)없이 상상(생성)이 불가는 하다는 점이다. 그리고 할루에이션 또한 그 범주(경험) 안에서 동작한다는 점이다. 2024. 8. 22. Pandas AI | 판다스AI with LLM Agent, OpenAI, MySQL 파이썬의 데이터 분석 라이브러리로 "관계형" 또는 "레이블이 지정된" 데이터 작업을 쉽게 할 수 있도록 설계된 빠르고 유연하며 표현력이 풍부한 데이터 구조를 제공하는 Python 패키지다. 데이터 분석을 위한 도구로 넘파이와 함께.. 완전 전문가가 아니라면 어쩌면 넘파이보다 더 자주 만나게 되는 패키지이다. 그 패키지를 기반으로 LLM을 적용한, 데이터 분석을 위한 오픈 소스 AI 에이전트가 pandas-ai이다.1. Pandas AI | 판다스AI와 로컬 LLM와의 만남(feat.ollama)👉 2. Pandas AI | 판다스AI with Agent, OpenAI, MySQL 지난번엔 로컬 LLM을 통해 데이터프레임을 스마트데이터프레임으로 구성하여 이것 저것 해봤다면 이번엔 순수? LLM Agen.. 2024. 6. 19. (Mac) MySQL 완전 삭제, 설치 그리고 설정 가이드 Local LLM Agent로 서비스를 구성하려다보니.. 간만에 MySQL을 다시 설치하게 되었다. 8.x이후부터 바뀐 정책도 그렇고 컴퓨터에 남아 있는 버전은 너무 오래되었고 이전에 작성했던 포스팅(라떼 MySQL)도 찾아 찾아봤는데... 아무래도 안되겠다 ㅋㅋ -하는 마음에 후루룩 빠르게 다시 정리해본다. 삼팔광땡 MYSQL 입문기 - 프롤로그삼팔광땡~ MYSQL 입문기 라떼판다로 돌리고 있는 홈서버가 요즘 말썽이다. 개선 작업만 하기엔 지지부진한 시간이 길어질 것 같아, 이 참에 MYSQL을 입문하려 한다.기준이 되는 책은 'SQL 첫걸음'이normalstory.tistory.com 정리의 순서는.. 일단 기존에 설치 되었는지 여부를 확인하고 애매한? 기존 MySQL를 완전히- 그리고 철저하게?.. 2024. 6. 19. Pandas AI | 판다스와 로컬 LLM와의 만남(feat.ollama) 파이썬의 데이터 분석 라이브러리로 "관계형" 또는 "레이블이 지정된" 데이터 작업을 쉽게 할 수 있도록 설계된 빠르고 유연하며 표현력이 풍부한 데이터 구조를 제공하는 Python 패키지다. 데이터 분석을 위한 도구로 넘파이와 함께.. 완전 전문가가 아니라면 어쩌면 넘파이보다 더 자주 만나게 되는 패키지이다. 그 패키지를 기반으로 LLM을 적용한, 데이터 분석을 위한 오픈 소스 AI 에이전트가 pandas-ai이다.👉 1. Pandas AI | 판다스AI와 로컬 LLM와의 만남(feat.ollama)2. Pandas AI | 판다스AI with Agent, OpenAI, MySQL 첫 실습은 먼저 로컬 LLM을 기반으로 활용해보는 과정을 담고 있다. 더 쉬운 시작이 있긴 하지만 여러모로 완벽하지 않은 도.. 2024. 6. 15. 기호학, 온톨로지 | Language is the source of misunderstandings 모두연 AI 코칭 스터디에서 머신러닝관련 강의를 듣다가 강사님이 설명을 위해 넣어주신 한 문장에 확 이끌려 관련 내용을 찾아보았다. "Language is the source of misunderstandings"1944년 2차 세계대전에서 마흔 네살의 나이로 행방불명된 앙투안 드 생텍쥐페리의 말이다. 때때로 우리가 의미하는 것이 다른 사람들에게는 항상 동일한 의미를 갖지는 않는다 . 사람마다 저마다 살아온 인생의 경험이 다르고 배우는 태도와 그 방식이 다르고 그러다보니 같은 것을 보거나 듣거나 말을하는 멘탈 모델(생각의 구조 또는 사고방식)이 다르다. 지극히 개인적으로 이 문장을 보자마자 문득 기호학(記號學, 영어: semiotics, semiotic studies, semiology), 온토로.. 2024. 6. 7. LangGraph - 실습 5. Multi-agent Collaboration LangGraph - 에이전트 유형별 실습introAgent ExecutorChat ExecutorAgent SupervisorHierarchical Agent Teams👉 Multi-agent Collaboration [터미널] 환경 변수 및 깃헙 설정 root 폴더에 환경변수 파일과 깃푸시 배재 파일을 생성한다..env 작성.gitignore 작성 [터미널] 가상환경 설정 및 실행(옵션)가상 환경을 설정하고 실행한다( LangGraph_Agents는 개인적으로 작성한 임의의 이름)설정 : python -m venv LangGraph_Agents실행(mac) : source LangGraph_Agents/bin/activate 환경 변수 로드from dotenv import load_dotenv.. 2024. 5. 29. LangGraph - 실습 4. Hierarchical Agent Teams LangGraph - 에이전트 유형별 실습introAgent ExecutorChat ExecutorAgent Supervisor👉 Hierarchical Agent TeamsMulti-agent Collaboration [터미널] 환경 변수 및 깃헙 설정 root 폴더에 환경변수 파일과 깃푸시 배재 파일을 생성한다..env 작성.gitignore 작성 [터미널] 가상환경 설정 및 실행(옵션)가상 환경을 설정하고 실행한다( LangGraph_Agents는 개인적으로 작성한 임의의 이름)설정 : python -m venv LangGraph_Agents실행(mac) : source LangGraph_Agents/bin/activate 환경 변수 로드from dotenv import load_dotenvl.. 2024. 5. 29. LangGraph - 실습 3. Agent Supervisor LangGraph - 에이전트 유형별 실습introAgent ExecutorChat Executor👉 Agent SupervisorHierarchical Agent TeamsMulti-agent Collaboration [터미널] 환경 변수 및 깃헙 설정 root 폴더에 환경변수 파일과 깃푸시 배재 파일을 생성한다..env 작성.gitignore 작성 [터미널] 가상환경 설정 및 실행(옵션)가상 환경을 설정하고 실행한다( LangGraph_Agents는 개인적으로 작성한 임의의 이름)설정 : python -m venv LangGraph_Agents실행(mac) : source LangGraph_Agents/bin/activate 환경 변수 로드from dotenv import load_dotenv.. 2024. 5. 29. LangGraph - 실습 2. Chat Executor LangGraph - 2. 유형별 실습introAgent Executor👉 Chat ExecutorAgent SupervisorHierarchical Agent TeamsMulti-agent Collaboration [터미널] 환경 변수 및 깃헙 설정 root 폴더에 환경변수 파일과 깃푸시 배재 파일을 생성한다. .env 작성.gitignore 작성 [터미널] 가상환경 설정 및 실행(옵션)가상 환경을 설정하고 실행한다( LangGraph_Agents는 개인적으로 작성한 임의의 이름)설정 : python -m venv LangGraph_Agents실행(mac) : source LangGraph_Agents/bin/activate 시작에 앞서 전체적인 구조를 살펴보자 Chat Executor 그래프의.. 2024. 5. 22. GPT4o API 리뷰 2 | 나는 생각한다 고로 존재한다( feat. 할루시네이션) 주의! 지극히 편향되고 주관적일 뿐만아니라 - LLM이라는 기술적이나 Feature적 측면이 아닌 과거 인간의 인지 범위의 변화에 따른 - 개인적 사유의 기록이다. 개인적으로 생활코딩 실습을 하면서 해당 기술에 대한 리뷰를 남긴적은 없었던 것 같다. 하지만 이번 Gpt 4o API 실습을 진행하면서 -특히 선으로 그림 도형에 대한 면적응 구하는 문제- 적지않은 충격을 받았다. 그래서 이번에는 그 과정에서 느꼈던 - 나중에 보면 창피할지도 모를 - 개인적 소회를 남겨본다.OpenAI GPT 4o API 실습에 대한 리뷰 1. 첫 느낌, 멀티모달에 대한 보편적 접근성 👉 2. 느낌의 배경, 나는 생각한다 고로 존재한다( feat. 할루시네이션) 북 | 방법서설르네 데카르트우리가 사물에 대한 인식에 도.. 2024. 5. 18. GPT4o API 리뷰 1 | 멀티모달에 대한 보편적 접근성 주의! 지극히 편향되고 주관적일 뿐만아니라 - LLM이라는 기술적이나 Feature적 측면이 아닌 과거 인간의 인지 범위의 변화에 따른 - 개인적 사유의 기록이다. 개인적으로 생활코딩 실습을 하면서 해당 기술에 대한 리뷰를 남긴적은 없었던 것 같다. 하지만 이번 Gpt 4o API 실습을 진행하면서 -특히 선으로 그림 도형에 대한 면적응 구하는 문제- 적지않은 충격을 받았다. 그래서 이번에는 그 과정에서 느꼈던 - 나중에 보면 창피할지도 모를 - 개인적 소회를 남겨본다.OpenAI GPT 4o API 실습에 대한 리뷰 👉 1. 첫 느낌, 멀티모달에 대한 보편적 접근성 2. 느낌의 배경, 나는 생각한다 고로 존재한다( feat. 할루시네이션) 인간의 철학에 있어서 전통 철학(형이상학), 특히 데카르트와.. 2024. 5. 17. LLM | GPT 4o API 실습 Beginning - 3. Video + Audio based QA Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course1. Image( multi modal)2. Summary( Video + Audio)👉 3. QA( Video + Audio based chat) 이번엔 비디오와 오디오에서 학습한 내용을 기반으로 LLM( GPT 4o)에게 질의 응답할 수 있도록 API를 구성한 Video + Audio 기반QA(챗) 실습 코드들이다. 실습1. Video based Q&A:비디오 기반 Q&A - resource *앞 포스팅에서 진행했던 실습 예제와 동일한 Audio, Video 파일 - code# .env file에서 환.. 2024. 5. 15. LLM | GPT 4o API 실습 Beginning - 2. Summarization( Video + Audio) Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course1. Image( multi modal)👉 2. Summary( Video + Audio)3. QA( Video + Audio based chat) 이번엔 비디오와 오디오를 요약하는 실습이다. GPT 4o API 실습1. 멀티 모달 - Video : 비디오 요약 - resource - code *Video(@AndyHertzfeld): https://www.youtube.com/watch?v=oTtQ0l0ukvQ *Generate shorts(@ssemble) : https://www.ssemble.. 2024. 5. 15. LLM | GPT 4o API 실습 Beginning - 1. Image( multi modal) Openai의 Vision 및 Text용 API를 통해 GPT-4O(Omni Model)를 사용해보기 위한 튜토리얼 MY GPT 4o API Beginning Course👉 1. Image( multi modal)2. Summary( Video + Audio)3. QA( Video + Audio based chat) OpenAI, Spring Update(May 13, 2024) 이후, 유뷰브와 뉴스 등 온라인 미디어는 말 그대로 충격의 도가니탕이다. 발표와 시연 영상들이 복붙에 복붙에 복붙으로 바이럴? 콘텐츠처럼 퍼지고 있다. 나 또한 믿기지 않는 시연에 한 동안 그냥 충격으로 멍했던 것 같다. 그리고 관련 코드를 찾아 바로 GPT 4o API 실습을 진행해보았다. 실습 환경설정01) root.. 2024. 5. 15. LangGraph - 실습 1. Agent Executor LangGraph - 에이전트 유형별 실습intro👉 Agent ExecutorChat Executor Agent Supervisor Hierarchical Agent Teams Multi-agent Collaboration [터미널] 환경 변수 및 깃헙 설정 root 폴더에 환경변수 파일과 깃푸시 배재 파일을 생성한다. .env 작성 .gitignore 작성 [터미널] 가상환경 설정 및 실행(옵션)가상 환경을 설정하고 실행한다( LangGraph_Agents는 개인적으로 작성한 임의의 이름)설정 : python -m venv LangGraph_Agents 실행(mac) : source LangGraph_Agents/bin/activate 시작에 앞서 전체적인 구조를 살펴보자 Agent Exe.. 2024. 5. 13. LLM 관련, my study flow 이 시장이 처음에는 하나의 고성능 llm에서 점차 agentic-, agent 그리고 agent group browser based, 그리고 최근엔 OS로까지 그 범위와 깊이가 확장되고 있다. 이처럼 빠르게 바뀌는 구간에서는 바뀌는 것과 그렇지 않을 것을 구분할 수 있는 감각과 인지 능력이 중요하다. 특히 기획, 또는 PM/PO 라는 애매한? 직군에겐 더 그런 것 같다. 인간의 뇌 그리고 감각은 본인이 알거나 점유하고 있는 것들에 대한 편향을 기반으로하고 메타 인지는 배경지식을 베이스로 한다. 때문에 다양한 도구와 툴에 대한 경험을 넓기이 위해 지속적으로 관련 분야들을 팔로업하고 있다. 무분별하거나 우왕좌왕 따라가다 뒷걸음치지 않기 위해, 초반에? 중간? 점검차 지난 스터디 내역을 유형별로 묶어서, 접하.. 2024. 5. 13. LangGraph - 1. 개요 *지극히 주관적 개요: Devika, Crew AI, phidata를 사용하면서 또는 사용할수록 강하게 느껴지는 점이 하나 있다면 지금 중요한 것은 ’ 프롬프트나 RAG가 아니라 얼마나 Agentic 한 LLM 애플리케이션을 얼마나 Locally 하게 구성할 수 있는가 ‘라고 생각한다. 물론 이때 구성의 주체는 operater가 아니라 End-User이다. 예컨대 종종 우리는 이런 말을 하곤 한다.몸이 열개라도 모자라..딱 -이럴때 쓸 수 있는 애플리케이션을 말하는 것이다.*물론, 프롬프트나 RAG가 중요하지 않다는 것이 아니다. 다만 이렇게 급속히 그것도 규모의 경제로 바뀌는 상황에서 과연 내가 또는 우리 조직이 이 시장에서 살아남기 위해 집중해야 할 또는 집중할 수 있는 부분이 무엇인가에 대한 부분을.. 2024. 5. 9. Agentic | AI 에이전트를 오케스트레이션 프레임워크 CrewAI Agentic 컨셉 시리즈 - Agentic Chunking LangChain RAG - AI 소프트웨어 엔지니어 DEVIKA 👉 AI 에이전트를 오케스트레이션 프레임워크 CrewAI CrewAICrewAI는 롤플레잉 자율 AI 에이전트를 오케스트레이션(매니징)하는 프레임워크이다. LangChan 위에 있는 추상화된 구조라고 보면 될?것 같다. 유사 서비스로는 MS사의 AUTO-GEN이고 음.. 애매하지만 유사한? 컨셉으로는 LangChain의 LangGraph가 있다. 물론 CrewAI와 LangGraph를 병행해서( 다음 포스팅 콘텐츠로 사용할 예정) 사용하는 방법이 있지만 이들이 탄생?한 시기와 컨셉이 Agentic( MOE)이라는 동일한 방향성을 가지고 있음은 크게 다르지 않은 것 같.. 2024. 5. 2. Agentic | AI 소프트웨어 엔지니어 DEVIKA(open-source) Agentic 컨셉 시리즈 - Agentic Chunking LangChain RAG 👉 AI 소프트웨어 엔지니어 DEVIKA - AI 에이전트를 오케스트레이션 프레임워크 CrewAI...한 달? 두 달? 전 했던 실습을... 미루고 미루다 이제 올린다.. 그른디...그 사이 데빈이 오픈해버렸네? ;D ㅋㅋㅋ 먼저 결론?! Devin 뿐만아니라 Open Devin을 비롯해 DEVIKA는 단순히 AI 소프트웨어 엔지니어로 접근하면 앙된다. 핵심은 에이전트이다. 다양한 LLM들을 에이전틱하게 MOE할 수 있는 사례로 이해하고 실습하면서 본인의 위치에서의 활용 방안을 모색해야한다. DEVIKADevin(AI 소프트웨어 엔지니어) 공식 출시하기 전 나왔던 '오픈 소스'로 Devin과 같이 코드를 생.. 2024. 5. 1. LLM | Five Levels of Chunking( 스압 주의!) Agentic 컨셉 시리즈 👉 Agentic Chunking LangChain RAG - AI 소프트웨어 엔지니어 DEVIKA - AI 에이전트를 오케스트레이션 프레임워크 CrewAI 먼저..RAG에 대한 기본적인 내용은 이전에 포스팅을 참고하면 좋을 것 같다. LLM | Langchain - 02 유형/단계별 RAG 실습실습 링크는 코랩 입니다. 기본 대화 준비, API KEY 발급가입, 키발급실습, GPT와 대화하기OpenAI - DocumentsLangchain - Langchain(LLM)_실습GPT 3, 3.5 비교매개변수 조절temperature : 0일관적 답변, 2매번 다른normalstory.tistory.com 1. 개요 Chunking Chunking은 고품질의.. 2024. 5. 1. LangChain | 한국어 llm 모델, LangServe, local ollama, NGROK 배포 llm 관련 다양한 프레임워크들이 있는데 대부분 이 OpenAI API 에 의존하고 있다. 되도록 이를 피하는 예제를 위주로 실습 중인데 테디노트에서 관심있는 주요 항목들에 대한 실습 영상을 올려주셔서 관련 진행 내용을 포스팅해본다무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(LangServe) + RAG 까지!! (학습 콘텐츠 출처: 테디노트)( 참고로 llm을 로컬 컴퓨터에 다운로드해서 손쉽게 쓸 수 있도록 도와주는 툴은 대표적인 방법은 크게 ollama, AnythingLLM, Lm studio 세가지 정도가 있는데 테디노트의 이번 예제는 올라마 ollama를 활용하고 있다. ) 실습 과정1. HuggingFace-Hub에서 한국어🇰🇷 파인튜닝 모델 받기1) 실습.. 2024. 4. 26. LMStudio X AnythingLLM (feat. AutogenStudio ) 로컬 LLM을 코드 베이스로 모델을 설치, 빌드, 배포하는 과정에 대한 전반적인 흐름을 살펴본 후, 노코드로도 진행 할 수 있는 다른 툴을 사용하면서 LLM 개발운영에 대한 전반적인 워크플로우를 알아보도록 한다LMStudio 소개 ollama와.. 2024. 4. 19. Perplexity Clone( LLocalSearch feat.SearXNG) Perplexity Clone LLocalSearch라는 새로운 오픈 소스를 알게 되어 바로 찾아 지지고 볶아봤다! 왜냐면,, 이전에도 포스팅했던 바 있는 Perplexity를 클론할 수 있었기 때문이었다. 테마까지 동일한 인터페이스를 제공하고 ollama에 설치된 기본적인 LLM 목록을 기반으로 chat검색 기능을 제공한다. 역시 가장 매력적인 부분은 OpenAI 또는 Google API 키가 필요 없이도 원할하게 동작한다는 점이다. 더불어 GPU도 권장은 하지만 필수는 아니라는 점에서 실질적인 상용화 측면에서도 여러모로 많은 인사이트를 얻을 수 있었다. 참고로 하부 구조는 두 개의 Chain( 개인적으로 Agent로 해석된다)으로 구성되어 있다. 한글에 대한 답변도 잘해주고 있다. Sources: h.. 2024. 4. 10. LLM | ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 - ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS - ollama 2부. 로컬 브라우저에서 실행하기 : open-webui 👉 ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 : url로 친구과 함께 사용하기 - ollama 4부. 검색증강 RAG 적용하기 - ollama 5부. 이미지 인식 적용하기 - (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기 ollama browser - online, url 접속 1. ngrok 가입한 후 로그인 하기 1) ngrok 란? ngrok | Unified Application Delivery Platform for Developers ngrok is a secure uni.. 2024. 3. 8. LLM | perplexity 퍼플렉서티 퍼플렉서티는 (특히, 아직까진 미국에서)최근 주목받고 있는 AI 기반 검색 엔진이다. 본질은 검색엔진, 그 엔진은 AI 모델, 인터페이스는 채팅의 형태를 차용하고 있다. 다만 기존의 검색 엔진 또는 llm 계열과 달리(?), 퍼플렉시티 AI는 사용자가 자연어로 질문을 하면, 웹과 학습된 데이터를 서로 정보를 결합하여 답변을 생성해준다 *참고로 퍼플렉서티는 NLP(자연어처리) 분야에서 각 언어 모델에 대한 성능을 평가하는 지표로 사용되는 용어이다. 모델의 구조를 살펴보면, 마치 MOE mixture of exports 가 적용된 것 처럼(..맞나? 뇌피셜에 가깝다.) OpenAI GPT-3.5 Turbo 모델 파인튜닝을 통해 개선된 성능을 기반으로 LlaMa Chat(메타), Bird SQL(트위터)의 인.. 2024. 2. 28. Agentic | MOE(mixture of exports) 이전에 사요나라, 프롬프트 엔지니어링에 대해 작성한 적이 있다. LLM을 위한 프롬프트는 LLM이 가장 잘 알고, 각각의 LLM은 저마다의 최적의 하이퍼파라미터를 갖고 있기 때문에 인간이 매번 모든걸 학습해가며 맞춰가기엔 일반인들용, 일상용으로는 적합하지 않다. 사요나라, 프롬프트 엔지니어링open ai 가 쏘아올린 chat gpt 열풍으로.. 프롬프트 엔지니어이라는 새롭게 창직?된 직업군이 있다. 생성형 인공 지능(생성형 AI) 솔루션을 안내하여 원하는 결과를 생성하는 프롬프트 엔지니어링 프normalstory.tistory.com 뿐만아니라 중요한 것은 아직? OpenAI이 LLM의 표준은 아니라는 점이다. 이 시장은 이제 도입 단계이다. 개인적으로 OpenAI는 스마트폰 시대로 넘어오기 직전의 PD.. 2024. 2. 25. LLM | ollama 5부. 이미지 인식 적용하기 LLM | ollama 5부. 이미지 인식 적용하기 - ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS - ollama 2부. 로컬 브라우저에서 실행하기 : open-webui - ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 - ollama 4부. 검색증강 RAG 적용하기 👉 ollama 5부. 이미지 인식 적용하기 - (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기 이미지 인식 모델 :13b ollama에서 제공하는 모델 중 이미지 인식( 비전 vision) LLM 모델로는 Llava가 있다. Llava를 통해 제공할 수 있는 기본 기능에 대해 조금 더 구체적인 표현으로는 Image Annotator App라.. 2024. 2. 25. 이전 1 2 3 다음
