AnythingLLM lwn. Ollama lwn. GPT4All: Manakah LLM yang Lebih Baik untuk Dijalankan Secara Setempat?

Penemuan Pantas

AnythingLLM, Ollama dan GPT4All semuanya adalah LLM sumber terbuka yang tersedia di GitHub.
Anda mungkin mendapat lebih banyak fungsi menggunakan beberapa penyesuaian berbayar LLM ini.
Kesemuanya akan berfungsi dengan sempurna pada sistem pengendalian Windows dan Mac tetapi mempunyai permintaan memori dan storan yang berbeza.

1. Persamaan dan Perbezaan

LLM	ciri-ciri
Apa-apaLLM	Pemasangan dan Persediaan: Mungkin memerlukan langkah tambahan untuk persediaan Komuniti dan Sokongan: Fokus teknikal yang kecil, berasaskan GitHub Penyepaduan Awan: OpenAI, Azure OpenAI, Anthropic’s Claude V2 Integrasi Setempat: Muka Memeluk, Lance DB, Pinecone, Chroma, Quadrant Kes Penggunaan: Pembantu AI tersuai, berintensif pengetahuan, peringkat perusahaan
Ollama	Pemasangan dan Persediaan: Memerlukan pemasang; terus terang Komuniti dan Sokongan: Aktif, berasaskan GitHub, lebih besar daripada AnythingLLM Integrasi Awan: – Integrasi Setempat: Pustaka Python, REST API, rangka kerja seperti LangChain Kes Penggunaan: Pembantu AI peribadi, menulis, meringkaskan, menterjemah, analisis data luar talian, pendidikan
GPT4Semua	Pemasangan dan Persediaan: Memerlukan pemasang; terus terang Komuniti dan Sokongan: Kehadiran GitHub yang besar; aktif di Reddit dan Discord Integrasi Awan: – Penyepaduan Tempatan: Pengikatan Python, CLI, dan penyepaduan ke dalam aplikasi tersuai Kes Penggunaan: Percubaan AI, pembangunan model, aplikasi memfokuskan privasi dengan data setempat

2. Keperluan Sumber

Apa-apaLLM

Salah satu kelebihan menjalankan AnythingLLM secara tempatan pada Windows, Mac, atau malah Raspberry Pi anda ialah ia boleh disesuaikan. Oleh itu, keperluan yang tepat akan menentukan penyesuaian yang anda gunakan. Walau bagaimanapun, jadual di bawah harus memberi anda anggaran kasar standard minimum.

Komponen	Nilai
CPU	CPU 2 teras
Ram	2GB
Penyimpanan	5GB

Ambil perhatian bahawa ini hanya akan membenarkan anda fungsi paling sederhana, seperti menyimpan beberapa dokumen atau menghantar sembang.

Ollama

Anda boleh menjalankan model Ollama pada macOS, Linux atau Windows. Anda boleh memilih antara model 3B, 7B dan 13B. Jadual di bawah memberikan pecahan.

Komponen	Nilai
CPU	CPU moden dengan sekurang-kurangnya 4 teras: Intel 11th Gen atau CPU AMD berasaskan Zen4
Ram	8GB untuk model 3B 16GB untuk model 7B 32GB untuk model 13B
Penyimpanan	12GB untuk Ollama dan model asas

GPT4Semua

Keperluan sistemnya serupa dengan Ollama. Anda boleh menjalankannya secara tempatan pada macOS, Linux atau Windows. Di bawah, kami memberikan pecahan.

Komponen	Nilai
CPU	CPU moden dengan arahan AVX atau AVX2
Ram	Model Kecil: 8GB Model Sederhana: 16GB Model Besar: 32GB atau lebih
Penyimpanan	12GB untuk pemasangan, ruang tambahan untuk data model

3. Kemudahan Pemasangan dan Persediaan

Walaupun pemasangan mungkin berbeza mengikut sistem pengendalian, GPT4All biasanya memerlukan pemasang. Pemasang Windows, Mac dan Linux tersedia di laman web rasmi. Sebaik sahaja anda menjalankan pemasang, anda mesti memuat turun Model Bahasa untuk berinteraksi dengan AI.

Ini adalah proses yang sama untuk Ollama; walau bagaimanapun, AnythingLLM mungkin mempunyai langkah yang sedikit berbeza. Jadi, anda mesti memuat turun dan memasang pakej pemasangan yang diperlukan untuk sistem pengendalian anda, pilih LLM pilihan anda, cipta ruang kerja anda, import dokumen tempatan dan mula bersembang dengan dokumen tersebut.

Walaupun ketiga-tiganya adalah proses pemasangan dan persediaan yang mudah, AnythingLLM mungkin memerlukan langkah tambahan.

4. Komuniti dan Sokongan

Apa-apaLLM

Daripada tiga LLM yang kami terokai, AnythingLLM mempunyai komuniti terkecil. Komunitinya adalah terutamanya berasaskan Github dan memberi tumpuan kepada perbincangan pembangunan projek dan lebih banyak aspek teknikal. Ia aktif tetapi mungkin bukan yang terbaik jika anda mendapatkan sokongan umum dan penyelesaian masalah.

Ollama

Walaupun komuniti Ollama lebih kecil daripada GPT4All, ia aktif dan lebih besar daripada AnthingLLM. Komunitinya juga berpusat di sekitar GitHub, di mana anda boleh menyumbang kepada projek, membincangkan ciri atau berkongsi pengalaman anda. Anda juga akan mendapat banyak bantuan teknikal daripada GitHub.

Sokongan rasmi adalah terhad, seperti dengan AnythingLLM, dan ini mungkin menyebabkan sedikit geseran kerana anda tidak mempunyai sokongan khusus yang meluas.

GPT4Semua

Anda tidak mendapat komuniti rasmi berpusat pada GPT4All, tetapi ia mempunyai komuniti yang lebih besar GitHub kehadiran. Anda juga akan suka mengikutinya Reddit dan Perselisihan. Selain itu, sokongan adalah serupa dengan Ollama dan AnythingLLM.

5. Prestasi

Prestasi LLM yang berjalan secara setempat selalunya bergantung pada spesifikasi perkakasan anda (CPU, GPU, RAM), saiz model dan butiran pelaksanaan khusus. Ini adalah salah satu elemen yang sukar untuk membezakan mana-mana model.

GPT4All menawarkan pilihan untuk persediaan perkakasan yang berbeza, Ollama menyediakan alatan untuk penggunaan yang cekap, dan ciri prestasi khusus AnythingLLM boleh bergantung pada persekitaran perkakasan dan perisian pengguna.

Kami menjalankan semua model pada komputer Windows 11 dengan spesifikasi berikut:

RAM: 16GB (15.7 GB boleh digunakan)
Pemproses: Intel(R) Core(TM) Generasi ke-11 i7-1165G7 @ 2.80GHz 2.80GHz

Kesemuanya menawarkan prestasi kompetitif, dan kami tidak menyedari ketinggalan dan kelewatan menjalankan model.

6. Integrasi

Apa-apaLLM

AnythingLLM menawarkan beberapa kemungkinan penyepaduan, termasuk penyepaduan awan dengan OpenAI, Azure OpenAI dan Anthropic’s Claude V2. Ia juga mempunyai sokongan komuniti yang semakin meningkat untuk LLM tempatan seperti Hugging Face. Walau bagaimanapun, anda tidak mendapat banyak sokongan LLM tersuai.

AnythingLLM disertakan dengan integrasi Lance DB secara lalai, iaitu pangkalan data vektor lalainya. Walau bagaimanapun, anda boleh menyepadukan pilihan pihak ketiga, seperti PineconeChroma atau Quadrant, untuk ciri khusus.

AnythingLLM membolehkan anda membina dan menyepadukan ejen tersuai anda untuk melanjutkan fungsinya.

Ollama

Ollama membenarkan interaksi langsung melalui terminal menggunakan arahan mudah. Pustaka Ollama Python boleh digunakan untuk interaksi program, membolehkan anda berinteraksi dengan aplikasi Python lain. Selain itu, anda boleh menggunakan API REST untuk menyepadukan dengan perkhidmatan lain.

Ollama juga membenarkan penyepaduan dengan rangka kerja lain seperti LangChain, Home Assistant, Haystack dan Jan.ai.

GPT4Semua

Dengan GPT4All, anda mempunyai penyepaduan langsung ke dalam aplikasi Python anda menggunakan pengikatan Python, membolehkan anda berinteraksi secara pemrograman dengan model. Anda juga mempunyai Antara Muka Baris Perintah (CLI) untuk interaksi asas dengan model. GPT4All adalah fleksibel dan membolehkan anda menyepadukan ke dalam aplikasi tersuai.

7. Kes Penggunaan dan Aplikasi

AnythingLLM sangat baik untuk pembantu AI tersuai, aplikasi intensif pengetahuan yang memerlukan data besar dan aplikasi peringkat perusahaan.

Ollama berguna untuk pembantu AI peribadi untuk tugasan menulis, meringkaskan atau menterjemah. Ia juga boleh digunakan dalam aplikasi pendidikan, analisis dan pemprosesan data luar talian, dan pembangunan aplikasi kependaman rendah.

GPT4All sangat sesuai untuk percubaan AI dan pembangunan model. Ia juga sesuai untuk membina AI sumber terbuka atau aplikasi memfokuskan privasi dengan data setempat.