본문 바로가기

LLM

LangFuse 설치
Data & Database 2025. 3. 4. LangFuse 설치 Langfuse langfuse는 대규모 언어 모델(LLM)로 구동되는 애플리케이션을 위한 오픈 소스 통합 가기성 및 분석 플랫폼으로 개발자와 조직이 LLM 애플리케이션을 구축하고 개선할 수 있도록 지원하며 비용, 품질, 지연 시간 등에 대한 인사이트를 제공합니다. 쉬운 셀프 호스팅과 API 추적 및 지표 모니터링, 다양한 모델과 프롬프트에 대한 구성과 성능 비교가 가능하며 자세한 디버깅 로그를 제공하여 애플리케이션 내에서 오류와 이상 징후를 추적할 수 있다는 장점이 있습니다. Langfuse 설치LangFuse docs : https://langfuse.com/self-hosting/local Run Langfuse Locally (self-hosted) - LangfuseStep-by-step gu..
LangSmith 설치 (Docker)
AI & Bigbata 2024. 10. 14. LangSmith 설치 (Docker) 필요 스펙In kubernetes, we recommend a minimum helm configuration. For docker, we recommend a minimum of 16GB of RAM and 4 CPUs. For Postgres, we recommend a minimum of 8GB of RAM and 2 CPUs. For Redis, we recommend 4GB of RAM and 2 CPUs. For Clickhouse, we recommend 32GB of RAM and 8 CPUs.설치 과정github에서 하위 파일 3개를 원하는 위치에 복사하여 가져옵니다.https://github.com/langchain-ai/helm/tree/main/charts/langsmith/dock..
LangSmith - LLM 디버깅, 모니터링을 위한 통합 플랫폼
AI & Bigbata 2024. 9. 12. LangSmith - LLM 디버깅, 모니터링을 위한 통합 플랫폼 LangSmith는 LLM 애플리케이션을 디버깅, 테스트, 평가, 모니터링 하기 위한 통합 플랫폼이며 개발자가 애플리케이션 구축에 더욱 집중할 수 있도록 도와주는 도구입니다.LangChain을 사용할 필요는 없으며 자체적으로 작동합니다.LangSmith Docker Compose Installhttps://crongblog.tistory.com/entry/LangSmith-%EC%84%A4%EC%B9%98 LangSmith 설치설치 과정github에서 하위 파일 3개를 원하는 위치에 복사하여 가져옵니다.https://github.com/langchain-ai/helm/tree/main/charts/langsmith/docker-compose helm/charts/langsmith/docker-compos..
LangChain 이란?
AI & Bigbata 2024. 9. 11. LangChain 이란? LangChain 이란, LLM(대규모언어모델)을 사용하여 애플리케이션 생성을 단순화 할 수 있도록 설계된 프레임워크 입니다.예를 들어 백엔드 DB의 세부 정보를 요약하는 JDBC 드라이버와 비슷하다 볼 수 있는데통합된 API로 LLM 모델의 세부 사항을 요약하는데, 이 API를 통해 개발자가 최소한의 코드 수정으로 쉽게 모델을 수정할 수 있도록 합니다. 그리고 모델이 생성하는 정보의 맞춤화, 정확성 및 관련성을 개선하고 AI 개발 간소화를 위한 도구와 추상화 기능을 제공합니다. 1. 데이터 소스애플리케이션에서 LLM에 대한 컨텍스트 구축을 위해 여러 데이터 소스를 검색하게 되는데 이때 서로 다른 소스에서 데이터를 액세스하고 검색할 수 있는 모듈과 통합시켜줍니다. 2. 단어 임베딩검색된 데이터를 벡터로 ..
구글 Bard의 차세대 LLM 모델 PaLM2
IT Knowledge 2023. 5. 31. 구글 Bard의 차세대 LLM 모델 PaLM2 최근 제2의 알파고라 불릴 만큼 AI에 대한 관심을 키우고 발전성을 느끼게 한 Chat GPT! 구글에서는 이에 Bard를 내놓았지만 ChatGPT에 밀려 주가가 떨어지는 현상까지 불러일으키며 AI가 기업의 핵심 기술 중 하나라고 느끼게 했습니다. 하지만, 그렇다고 ChatGPT가 Bard보다 뛰어날까요? ChatGPT와 Bard 등은 LLM모델(Large Language Model)을 사용자들이 쓰기 좋게 후작업한 것으로, 후작업을 많이 하면 할수록 사용자에게 더 좋은 결과와 편의성을 제공하게 되기 때문에 내부 모델의 성능을 보고 비교, 판단하는 것이 더욱 정확합니다. 하지만 우리가 많이 들어본 ChatGPT와 Bard, Bing AI까지, 다양한 AI 기반 프롬프트가 어떤 모델로 만들어졌는지 아시나요..

티스토리툴바