Vector-Datenbanken

• Pinecone
• Weaviate: Open-Source Alternative für Vector-Datenbank
• pgvector: Postgres-Extension für Vector Embeddings

Mit Hilfe von Vektor-Datenbanken kann u.a. Retrieval Augmented Generation (RAG) durchgeführt werden. Dadurch kann unternehmensinternes Wissen aus Dokumenten in internen LLMs verwendet werden. Bzgl. weiteren technischen Informationen zu RAG siehe hier: https://book.premai.io/state-of-open-source-ai/fine-tuning/#rag

weitere relevante Tools

Langchain: LLM workflow orchestration

Vercel AI SDK: Text streaming

PrivateGPT: https://github.com/imartinez/privateGPT

OpenInterpreter: https://github.com/KillianLucas/open-interpreter/