Pernah tertanya -tanya jika anda boleh menjalankan sesuatu seperti chatgpt secara tempatan di Mac anda tanpa memerlukan internet? Dengan hanya sedikit persediaan, anda sebenarnya boleh. Itu juga secara percuma. Sama ada anda ingin menyimpan sembang anda secara peribadi atau hanya mahu akses luar talian ke AI, inilah caranya anda boleh menjalankan model bahasa besar yang kuat secara tempatan di Mac anda.
Apa yang anda perlukan untuk menjalankan LLM secara tempatan di Mac?
Sebelum kita menyelam dan periksa persediaan, inilah yang anda perlukan:
- Mac dengan silikon epal (M1, M2, atau M3 disyorkan)
- Sekurang -kurangnya 8GB RAM (16GB atau lebih lebih baik)
- Sekitar 4-10GB ruang cakera percuma (bergantung kepada model)
- Sambungan internet yang berfungsi (hanya untuk persediaan)
- Kebiasaan asas dengan menggunakan aplikasi terminal macOS (anda tidak perlu menjadi pro)
Cara menjalankan LLM secara tempatan di Mac
Kami akan menggunakan alat percuma yang dipanggil Ollama, yang membolehkan anda memuat turun dan menjalankan LLMS secara tempatan dengan hanya beberapa arahan. Inilah cara memulakan:
Langkah 1: Pasang Homebrew (Langkau jika sudah dipasang)
HomeBrew adalah pengurus pakej untuk macOS yang membantu anda memasang aplikasi dari aplikasi terminal. Jika anda sudah memasang homebrew pada Mac anda, anda boleh melangkau langkah ini. Tetapi jika anda tidak, inilah cara anda boleh memasangnya:
- Buka aplikasi terminal dari Launchpad atau Spotlight.
- Salin dan tampal arahan berikut dan tekan kembali:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"- Tunggu pemasangan selesai. Ia mungkin mengambil masa beberapa minit. Setelah selesai, periksa sama ada ia berfungsi dengan menaip:
brew doctor
Jika anda melihat “Sistem anda sudah bersedia untuk mencipta”, anda boleh pergi.
Sekiranya anda mempunyai sebarang masalah atau mahukan proses langkah demi langkah yang lebih terperinci, lihat panduan kami tentang cara memasang homebrew pada Mac.
Langkah 2: Pasang dan jalankan Ollama
Sekarang bahawa homebrew dipasang dan bersedia untuk digunakan pada Mac anda, mari pasang Ollama:
- Dalam tetingkap terminal, jalankan:
brew install ollama- Selepas pemasangan, mulakan perkhidmatan Ollama dengan menjalankan:
ollama serve
Tinggalkan tetingkap ini terbuka atau meminimumkannya. Perintah ini membuat Ollama berjalan di latar belakang.
Sebagai alternatif, muat turun Aplikasi Ollama dan memasangnya seperti mana -mana aplikasi Mac biasa. Setelah selesai, buka aplikasinya dan teruskan berjalan di latar belakang.
Langkah 3: Muat turun dan jalankan model
Ollama memberi anda akses kepada LLM yang popular seperti Deepseek, Llama Meta, Mistral, Gemma, dan banyak lagi. Inilah cara anda boleh memilih dan menjalankannya:
- Lawati Halaman carian Ollama Untuk mencari semua model AI, anda boleh menjalankan secara tempatan melalui Ollama pada Mac anda.
- Pilih model LLM yang ingin anda pasang. (Saya menggunakan DeepSeek-R1 kerana ia adalah model kecil yang hanya memerlukan 1.1 GB ruang dan cekap.)
- Di halaman itu, anda akan mendapat arahan seperti ini:
ollama run [model-name]. Ia berbeza untuk model yang berbeza.
- Untuk Model DeepSeek R1 1.5B:
ollama run deepseek-r1:1.5b - Untuk model llama 3:
ollama run llama3 - Untuk Mistral:
ollama run mistral
- Salin dan tampal perintah itu dalam tetingkap terminal. Kali pertama anda menjalankan ini, Ollama akan memuat turun model. Ini mungkin mengambil masa beberapa minit bergantung pada kelajuan internet anda.
- Sebaik sahaja model dimuat turun, anda akan melihat petikan untuk menaip input anda. Anda sekarang berbual dengan model!
Jika anda memilih model yang besar, harapkan beberapa lag -selepas semua, keseluruhan model berjalan secara tempatan pada MacBook anda. Model yang lebih kecil bertindak balas dengan lebih cepat, tetapi mereka boleh berjuang dengan ketepatan, terutamanya untuk tugas matematik dan logik yang berkaitan. Juga, ingat bahawa kerana model-model ini tidak mempunyai akses internet, mereka tidak dapat mengambil maklumat masa nyata.
Yang mengatakan, untuk perkara -perkara seperti memeriksa tatabahasa, menulis e -mel, atau idea brainstorming, mereka bekerja dengan cemerlang. Saya telah menggunakan DeepSeek-R1 secara meluas pada MacBook saya dengan persediaan UI web, yang juga membolehkan saya memuat naik gambar dan tampal coretan kod. Walaupun jawapannya-dan terutamanya kemahiran pengekodannya-tidak begitu tajam seperti model peringkat atas seperti ChatGPT atau DeepSeek 671B, ia masih mendapat tugas setiap hari yang dilakukan tanpa memerlukan Internet.
Langkah 4: Berbual dengan model di terminal
Sebaik sahaja model berjalan, anda hanya boleh menaip mesej anda dan tekan kembali. Model ini akan bertindak balas di bawah.
Untuk keluar dari sesi, tekan Control+D pada papan kekunci anda. Apabila anda ingin mula berbual lagi, gunakan perkara yang sama ollama run [model-name] perintah. Oleh kerana model sudah dimuat turun, ia akan dilancarkan dengan serta -merta.
Langkah 5: Lihat dan uruskan model yang dipasang
Untuk memeriksa model mana yang sedang dimuat turun, jalankan:
ollama list
Untuk memadam model yang anda tidak perlukan lagi, gunakan:
ollama rm [model-name]Bonus: Gunakan Ollama dengan UI di web
Walaupun Ollama berjalan di terminal, ia juga memulakan perkhidmatan API tempatan di http: // localhost: 11434, membolehkan anda menyambungkannya ke antara muka web untuk interaksi visual dengan model -sama untuk menggunakan chatbot. Satu pilihan popular untuk ini adalah WebUI Terbuka, yang menyediakan antara muka mesra pengguna di atas fungsi teras Ollama. Mari lihat bagaimana untuk menetapkannya.
Langkah 1: Pasang Docker
Docker adalah alat yang membolehkan anda membungkus program dan semua elemen pentingnya ke dalam bekas mudah alih supaya anda dapat menjalankannya dengan mudah pada mana -mana peranti. Kami akan menggunakannya untuk membuka antara muka sembang berasaskan web untuk model AI anda.
Sekiranya Mac anda tidak memilikinya, ikuti langkah -langkah ini untuk memasang Docker:
- Muat turun Desktop docker Untuk Mac anda, jalankan, dan ikuti arahan pada skrin untuk menyelesaikan pemasangan.
- Lancarkan aplikasi Docker dan log masuk.
- Terbuka Terminal dan ketik arahan di bawah untuk mengesahkan pemasangan:
docker --version
Jika arahan mengembalikan nombor versi, ini bermakna Docker dipasang pada Mac anda.
Langkah 2: Tarik gambar webui terbuka
Buka WebUI adalah alat mudah yang memberi anda tetingkap sembang dalam penyemak imbas anda. Menarik imej hanya bermaksud memuat turun fail yang diperlukan untuk menjalankannya.
Untuk melakukan ini, pergi ke aplikasi terminal dan taip:
docker pull ghcr.io/open-webui/open-webui:mainIni akan memuat turun fail yang diperlukan untuk antara muka.
Langkah 3: Jalankan bekas Docker dan buka webui
Sekarang, sudah tiba masanya untuk menjalankan webui terbuka menggunakan Docker. Anda akan melihat antara muka yang bersih di mana anda boleh berbual dengan terminal AI -No anda yang diperlukan. Inilah yang perlu anda lakukan:
- Mulakan bekas Docker dengan penyimpanan data yang berterusan dan pelabuhan yang dipetakan:
docker run -d -p 9783:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
- Tunggu beberapa saat untuk bekas untuk bermula.
- Buka penyemak imbas anda dan pergi ke:
http://localhost:9783/- Buat akaun apabila diminta, dan anda akan diarahkan ke antara muka utama.
Dari sini, anda boleh berbual dengan mana-mana model yang dipasang di antara muka penyemak imbas yang bersih dan mesra pengguna. Langkah ini adalah pilihan, tetapi ia memberi anda pengalaman sembang yang lebih lancar tanpa menggunakan terminal.
Mac anda, AI anda: Tiada pelayan, tiada rentetan
Itu sahaja! Hanya dalam beberapa langkah, anda telah menyediakan Mac anda untuk menjalankan model AI yang kuat sepenuhnya di luar talian. Tiada akaun, tiada awan, dan tiada internet diperlukan selepas persediaan. Sama ada anda mahu perbualan peribadi, penjanaan teks tempatan, atau hanya mahu bereksperimen dengan LLM, Ollama menjadikannya mudah dan mudah diakses -walaupun anda bukan pemaju. Cubalah!
Lihat panduan ini juga:
- Cara menjalankan aplikasi Android pada Mac
- Cara menyaring rekod pada Mac anda
- Cara memasang git pada mac anda
