Cara menjalankan LLM secara tempatan di Mac anda

16
Cara menjalankan LLM secara tempatan di Mac andaCara menjalankan LLM secara tempatan di Mac anda

Pernah tertanya -tanya jika anda boleh menjalankan sesuatu seperti chatgpt secara tempatan di Mac anda tanpa memerlukan internet? Dengan hanya sedikit persediaan, anda sebenarnya boleh. Itu juga secara percuma. Sama ada anda ingin menyimpan sembang anda secara peribadi atau hanya mahu akses luar talian ke AI, inilah caranya anda boleh menjalankan model bahasa besar yang kuat secara tempatan di Mac anda.

Cara menjalankan LLM secara tempatan di Mac andaCara menjalankan LLM secara tempatan di Mac anda
#image_title

Apa yang anda perlukan untuk menjalankan LLM secara tempatan di Mac?

Sebelum kita menyelam dan periksa persediaan, inilah yang anda perlukan:

Menjadi tuan iOS 18:

Dapatkan eksklusif kami iOS 18 ebook 📚 secara percuma Apabila anda mendaftar untuk surat berita kami di bawah.

  • Mac dengan silikon epal (M1, M2, atau M3 disyorkan)
  • Sekurang -kurangnya 8GB RAM (16GB atau lebih lebih baik)
  • Sekitar 4-10GB ruang cakera percuma (bergantung kepada model)
  • Sambungan internet yang berfungsi (hanya untuk persediaan)
  • Kebiasaan asas dengan menggunakan aplikasi terminal macOS (anda tidak perlu menjadi pro)

Cara menjalankan LLM secara tempatan di Mac

Kami akan menggunakan alat percuma yang dipanggil Ollama, yang membolehkan anda memuat turun dan menjalankan LLMS secara tempatan dengan hanya beberapa arahan. Inilah cara memulakan:

Langkah 1: Pasang Homebrew (Langkau jika sudah dipasang)

HomeBrew adalah pengurus pakej untuk macOS yang membantu anda memasang aplikasi dari aplikasi terminal. Jika anda sudah memasang homebrew pada Mac anda, anda boleh melangkau langkah ini. Tetapi jika anda tidak, inilah cara anda boleh memasangnya:

  1. Buka aplikasi terminal dari Launchpad atau Spotlight.
  2. Salin dan tampal arahan berikut dan tekan kembali:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  1. Tunggu pemasangan selesai. Ia mungkin mengambil masa beberapa minit. Setelah selesai, periksa sama ada ia berfungsi dengan menaip:
brew doctor

Jika anda melihat “Sistem anda sudah bersedia untuk mencipta”, anda boleh pergi.


Selepas selesai proses pemasangan Homebrew sudah siap digunakan pada Mac "Sistem anda siap untuk mencubanya" dalam aplikasi terminal macOS apabila memasang homebrew.Selepas selesai proses pemasangan Homebrew sudah siap digunakan pada Mac "Sistem anda siap untuk mencubanya" dalam aplikasi terminal macOS apabila memasang homebrew.

Sekiranya anda mempunyai sebarang masalah atau mahukan proses langkah demi langkah yang lebih terperinci, lihat panduan kami tentang cara memasang homebrew pada Mac.

Langkah 2: Pasang dan jalankan Ollama

Sekarang bahawa homebrew dipasang dan bersedia untuk digunakan pada Mac anda, mari pasang Ollama:

  1. Dalam tetingkap terminal, jalankan:
brew install ollama
  1. Selepas pemasangan, mulakan perkhidmatan Ollama dengan menjalankan:
ollama serve

Tinggalkan tetingkap ini terbuka atau meminimumkannya. Perintah ini membuat Ollama berjalan di latar belakang.

Sebagai alternatif, muat turun Aplikasi Ollama dan memasangnya seperti mana -mana aplikasi Mac biasa. Setelah selesai, buka aplikasinya dan teruskan berjalan di latar belakang.


Menggunakan butang muat turun di laman web Ollama untuk memuat turun aplikasinya pada MacMenggunakan butang muat turun di laman web Ollama untuk memuat turun aplikasinya pada Mac

Langkah 3: Muat turun dan jalankan model

Ollama memberi anda akses kepada LLM yang popular seperti Deepseek, Llama Meta, Mistral, Gemma, dan banyak lagi. Inilah cara anda boleh memilih dan menjalankannya:

  1. Lawati Halaman carian Ollama Untuk mencari semua model AI, anda boleh menjalankan secara tempatan melalui Ollama pada Mac anda.
    Halaman carian ollama dengan senarai semua LLM yang serasiHalaman carian ollama dengan senarai semua LLM yang serasi
  2. Pilih model LLM yang ingin anda pasang. (Saya menggunakan DeepSeek-R1 kerana ia adalah model kecil yang hanya memerlukan 1.1 GB ruang dan cekap.)
    Pilih LLM untuk memasang di halaman carian OllamaPilih LLM untuk memasang di halaman carian Ollama
  3. Di halaman itu, anda akan mendapat arahan seperti ini: ollama run [model-name]. Ia berbeza untuk model yang berbeza.
  • Untuk Model DeepSeek R1 1.5B: ollama run deepseek-r1:1.5b
  • Untuk model llama 3: ollama run llama3
  • Untuk Mistral: ollama run mistral
  1. Salin dan tampal perintah itu dalam tetingkap terminal. Kali pertama anda menjalankan ini, Ollama akan memuat turun model. Ini mungkin mengambil masa beberapa minit bergantung pada kelajuan internet anda.
    Menjalankan model R1 DeepSeek melalui aplikasi terminal ollama di macOSMenjalankan model R1 DeepSeek melalui aplikasi terminal ollama di macOS
  2. Sebaik sahaja model dimuat turun, anda akan melihat petikan untuk menaip input anda. Anda sekarang berbual dengan model!

Jika anda memilih model yang besar, harapkan beberapa lag -selepas semua, keseluruhan model berjalan secara tempatan pada MacBook anda. Model yang lebih kecil bertindak balas dengan lebih cepat, tetapi mereka boleh berjuang dengan ketepatan, terutamanya untuk tugas matematik dan logik yang berkaitan. Juga, ingat bahawa kerana model-model ini tidak mempunyai akses internet, mereka tidak dapat mengambil maklumat masa nyata.

Yang mengatakan, untuk perkara -perkara seperti memeriksa tatabahasa, menulis e -mel, atau idea brainstorming, mereka bekerja dengan cemerlang. Saya telah menggunakan DeepSeek-R1 secara meluas pada MacBook saya dengan persediaan UI web, yang juga membolehkan saya memuat naik gambar dan tampal coretan kod. Walaupun jawapannya-dan terutamanya kemahiran pengekodannya-tidak begitu tajam seperti model peringkat atas seperti ChatGPT atau DeepSeek 671B, ia masih mendapat tugas setiap hari yang dilakukan tanpa memerlukan Internet.

Langkah 4: Berbual dengan model di terminal

Sebaik sahaja model berjalan, anda hanya boleh menaip mesej anda dan tekan kembali. Model ini akan bertindak balas di bawah.

Untuk keluar dari sesi, tekan Control+D pada papan kekunci anda. Apabila anda ingin mula berbual lagi, gunakan perkara yang sama ollama run [model-name] perintah. Oleh kerana model sudah dimuat turun, ia akan dilancarkan dengan serta -merta.


Berbual dengan DeepSeek R1 melalui Ollama di App Terminal MacOSBerbual dengan DeepSeek R1 melalui Ollama di App Terminal MacOS

Langkah 5: Lihat dan uruskan model yang dipasang

Untuk memeriksa model mana yang sedang dimuat turun, jalankan:

ollama list


Melihat sebilangan LLM yang dipasang pada MacMelihat sebilangan LLM yang dipasang pada Mac

Untuk memadam model yang anda tidak perlukan lagi, gunakan:

ollama rm [model-name]

Bonus: Gunakan Ollama dengan UI di web

Walaupun Ollama berjalan di terminal, ia juga memulakan perkhidmatan API tempatan di http: // localhost: 11434, membolehkan anda menyambungkannya ke antara muka web untuk interaksi visual dengan model -sama untuk menggunakan chatbot. Satu pilihan popular untuk ini adalah WebUI Terbuka, yang menyediakan antara muka mesra pengguna di atas fungsi teras Ollama. Mari lihat bagaimana untuk menetapkannya.

Langkah 1: Pasang Docker

Docker adalah alat yang membolehkan anda membungkus program dan semua elemen pentingnya ke dalam bekas mudah alih supaya anda dapat menjalankannya dengan mudah pada mana -mana peranti. Kami akan menggunakannya untuk membuka antara muka sembang berasaskan web untuk model AI anda.

Sekiranya Mac anda tidak memilikinya, ikuti langkah -langkah ini untuk memasang Docker:

  1. Muat turun Desktop docker Untuk Mac anda, jalankan, dan ikuti arahan pada skrin untuk menyelesaikan pemasangan.
  2. Lancarkan aplikasi Docker dan log masuk.
  3. Terbuka Terminal dan ketik arahan di bawah untuk mengesahkan pemasangan:
docker --version


Memeriksa jika Docker dipasang pada Mac melalui aplikasi terminalMemeriksa jika Docker dipasang pada Mac melalui aplikasi terminal

Jika arahan mengembalikan nombor versi, ini bermakna Docker dipasang pada Mac anda.

Langkah 2: Tarik gambar webui terbuka

Buka WebUI adalah alat mudah yang memberi anda tetingkap sembang dalam penyemak imbas anda. Menarik imej hanya bermaksud memuat turun fail yang diperlukan untuk menjalankannya.

Untuk melakukan ini, pergi ke aplikasi terminal dan taip:

docker pull ghcr.io/open-webui/open-webui:main

Ini akan memuat turun fail yang diperlukan untuk antara muka.

Langkah 3: Jalankan bekas Docker dan buka webui

Sekarang, sudah tiba masanya untuk menjalankan webui terbuka menggunakan Docker. Anda akan melihat antara muka yang bersih di mana anda boleh berbual dengan terminal AI -No anda yang diperlukan. Inilah yang perlu anda lakukan:

  1. Mulakan bekas Docker dengan penyimpanan data yang berterusan dan pelabuhan yang dipetakan:
docker run -d -p 9783:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main


Memulakan bekas Docker dengan penyimpanan data melalui aplikasi terminal macOSMemulakan bekas Docker dengan penyimpanan data melalui aplikasi terminal macOS

  1. Tunggu beberapa saat untuk bekas untuk bermula.
  2. Buka penyemak imbas anda dan pergi ke:
http://localhost:9783/
  1. Buat akaun apabila diminta, dan anda akan diarahkan ke antara muka utama.


DeepSeek R1 berjalan di dalam webui terbuka pada MacDeepSeek R1 berjalan di dalam webui terbuka pada Mac

Dari sini, anda boleh berbual dengan mana-mana model yang dipasang di antara muka penyemak imbas yang bersih dan mesra pengguna. Langkah ini adalah pilihan, tetapi ia memberi anda pengalaman sembang yang lebih lancar tanpa menggunakan terminal.

Mac anda, AI anda: Tiada pelayan, tiada rentetan

Itu sahaja! Hanya dalam beberapa langkah, anda telah menyediakan Mac anda untuk menjalankan model AI yang kuat sepenuhnya di luar talian. Tiada akaun, tiada awan, dan tiada internet diperlukan selepas persediaan. Sama ada anda mahu perbualan peribadi, penjanaan teks tempatan, atau hanya mahu bereksperimen dengan LLM, Ollama menjadikannya mudah dan mudah diakses -walaupun anda bukan pemaju. Cubalah!

Lihat panduan ini juga:

  • Cara menjalankan aplikasi Android pada Mac
  • Cara menyaring rekod pada Mac anda
  • Cara memasang git pada mac anda
Menjadi tuan iOS 18:

Dapatkan eksklusif kami iOS 18 ebook 📚 secara percuma Apabila anda mendaftar untuk surat berita kami di bawah.