Bagaimana saya menginstal deepseek di ponsel saya dengan hasil yang sangat bagus

AI cloud mungkin mengesankan, tetapi saya merindukan keamanan tambahan yang hanya offline, pemrosesan lokal memberikan, terutama mengingat Deepseek melaporkan data pengguna kembali ke Cina. Mengganti kopilot dengan Deepseek di laptop saya kemarin membuat saya bertanya -tanya apakah saya bisa menjalankan model bahasa besar secara offline di ponsel cerdas saya juga. Lagi pula, ponsel andalan saat ini mengklaim sangat kuat, memiliki kumpulan RAM, dan memiliki akselerator AI yang didedikasikan bahwa hanya PC paling modern atau GPU mahal yang terbaik. Tentunya, itu bisa dilakukan.

Nah, ternyata Anda dapat menjalankan versi deepseek yang kental (dan banyak model bahasa besar lainnya) secara lokal di ponsel Anda tanpa ditambatkan ke koneksi internet. Meskipun responsnya tidak secepat atau akurat seperti model awan berukuran penuh, ponsel yang saya uji dapat menghasilkan jawaban dengan kecepatan pembacaan yang cepat, membuatnya sangat bermanfaat. Yang penting, model yang lebih kecil masih pandai membantu pemecahan masalah, menjelaskan topik-topik kompleks, dan bahkan memproduksi kode kerja, seperti saudara kandungnya yang lebih besar.

Saya sangat terkesan dengan hasilnya, mengingat bahwa itu berjalan pada sesuatu yang cocok di saku saya. Saya tidak dapat merekomendasikan bahwa Anda semua berlari keluar untuk menyalin saya, tetapi mereka yang benar-benar tertarik pada lanskap AI yang terus berkembang mungkin harus mencoba menjalankan model lokal untuk diri mereka sendiri.

Menginstal LLM offline di ponsel Anda bisa menyebalkan, dan pengalamannya tidak semulus menggunakan Google Gemini. Waktu saya menghabiskan waktu menggali dan mengutak-atik juga mengungkapkan bahwa smartphone bukan lingkungan yang paling ramah pemula untuk bereksperimen dengan atau mengembangkan alat AI baru. Itu perlu berubah jika kita akan memiliki pasar yang kompetitif untuk aplikasi AI yang memaksa, yang memungkinkan pengguna untuk membebaskan diri dari belenggu OEM saat ini.

Anehnya, kinerja tidak benar -benar masalah di sini; Smartphone elit snapdragon 8 mutakhir yang diakui saya uji menjalankan model parameter tujuh dan delapan miliar berukuran sedang dengan sangat baik hanya pada CPU mereka, dengan kecepatan output 11 token per detik-sedikit lebih cepat daripada yang bisa dibaca kebanyakan orang. Anda bahkan dapat menjalankan parameter 14 miliar PHI-4 jika Anda memiliki cukup RAM, meskipun output jatuh ke enam token yang masih bisa dilewati per detik. Namun, menjalankan LLMS adalah yang paling sulit saya mendorong CPU ponsel cerdas modern di luar benchmarking, dan itu menghasilkan beberapa handset yang cukup hangat.

Secara mengesankan, bahkan Pixel 7 Pro yang menua dapat menjalankan model parameter tiga miliar yang lebih kecil, seperti Meta’s LLAMA3.2, pada lima token yang lumayan per detik, tetapi mencoba Deepseek yang lebih besar benar -benar mendorong batas apa yang dapat dilakukan ponsel yang lebih tua. Sayangnya, saat ini tidak ada akselerasi NPU atau GPU yang tersedia untuk smartphone apa pun menggunakan metode yang saya coba, yang akan memberikan ponsel yang lebih tua suntikan nyata di lengan. Dengan demikian, model yang lebih besar adalah hal yang mutlak, bahkan pada chip Android yang paling kuat.

Bahkan dengan handset modern yang kuat, saya pikir sebagian besar orang akan menemukan kasus penggunaan untuk menjalankan LLM di ponsel mereka sangat terbatas. Model yang mengesankan seperti Deepseek, Llama, dan PHI adalah asisten yang hebat untuk mengerjakan proyek PC layar lebar, tetapi Anda akan berjuang untuk memanfaatkan kemampuan mereka pada smartphone kecil. Saat ini, dalam bentuk telepon, mereka tidak dapat mengakses internet atau berinteraksi dengan fungsi eksternal seperti rutinitas asisten Google, dan itu adalah mimpi buruk untuk melewati dokumen untuk diringkas melalui baris perintah. Ada alasan mengapa merek telepon menanamkan alat AI ke dalam aplikasi seperti galeri: menargetkan kasus penggunaan yang lebih spesifik adalah cara terbaik bagi kebanyakan orang untuk berinteraksi dengan model dari berbagai jenis.

Jadi, walaupun sangat menjanjikan bahwa smartphone dapat menjalankan beberapa LLM kompak yang lebih baik di luar sana, ada jalan panjang yang harus ditempuh sebelum ekosistem hampir mendukung pilihan konsumen pada asisten. Seperti yang akan Anda lihat di bawah, smartphone tidak fokus untuk pelatihan atau menjalankan model terbaru, apalagi mengoptimalkan berbagai kemampuan akselerasi perangkat keras yang ditawarkan platform. Yang mengatakan, saya ingin melihat lebih banyak investasi pengembang di sini, karena ada janji yang jelas.

Jika Anda masih ingin mencoba menjalankan Deepseek atau banyak model bahasa besar populer lainnya tentang keamanan smartphone Anda sendiri, saya telah merinci dua opsi untuk memulai.

Jika Anda menginginkan solusi yang sangat mudah untuk mengobrol dengan AI lokal di handset Android atau iOS Anda, Anda harus mencoba aplikasi AI PocketPal. Pemilik iPhone juga dapat mencoba privatellm. Anda masih membutuhkan telepon dengan prosesor yang layak dan kumpulan ram cepat; 12 GB dapat diterima dalam pengujian saya untuk menjalankan model 7b/8b yang lebih kecil dan kental, tetapi 16GB lebih baik dan penting jika Anda ingin mencoba dan menangani 14B.

Melalui aplikasi ini, Anda dapat mengakses berbagai model melalui portal pelukan yang populer, yang berisi Deepseek, Llama, Phi, dan banyak, banyak lainnya. Faktanya, portofolio humongous Huggingface sedikit merupakan hambatan bagi yang belum tahu, dan fungsionalitas pencarian di Pocketpal AI terbatas. Model tidak dilabeli dengan baik di UI kecil, jadi memilih yang resmi atau optimal untuk perangkat Anda sulit, di luar menghindari yang menampilkan peringatan memori. Untungnya, Anda dapat mengimpor model secara manual yang telah Anda unduh sendiri, yang membuat prosesnya lebih mudah.

Sayangnya, saya mengalami beberapa bug dengan AI Pocketpal, mulai dari unduhan yang gagal hingga obrolan yang tidak responsif dan crash aplikasi penuh. Pada dasarnya, jangan pernah menavigasi dari aplikasi. Sejumlah tanggapan juga memotong sebelum waktunya karena ukuran jendela default kecil (masalah besar untuk Deepseek Verbose), jadi meskipun ramah pengguna untuk memulai, Anda mungkin harus menggali ke dalam pengaturan yang lebih kompleks pada akhirnya. Saya juga tidak dapat menemukan cara untuk menghapus obrolan.

Untungnya, kinerja benar -benar solid, dan secara otomatis akan menurunkan model untuk mengurangi RAM saat tidak digunakan. Sejauh ini, ini adalah cara yang lebih mudah untuk menjalankan Deepseek dan model populer lainnya secara offline, tetapi ada cara lain juga.

Metode kedua ini melibatkan perselisihan baris perintah melalui Termux untuk menginstal Ollama, alat populer untuk menjalankan model LLM secara lokal (dan dasar untuk Pocketpal AI) yang saya temukan sedikit lebih dapat diandalkan daripada aplikasi sebelumnya. Ada beberapa cara untuk menginstal Ollama di ponsel Android Anda. Saya akan menggunakan metode yang agak cerdas ini oleh Davide Fornelli, yang menggunakan Proot untuk menyediakan lingkungan Debian yang segar (dan mudah dilepas) untuk dikerjakan. Ini adalah yang termudah untuk diatur dan dikelola, terutama karena Anda mungkin akan akhirnya menghapus Ollama setelah bermain -main sebentar. Kinerja dengan Proot tidak cukup asli, tapi itu cukup bagus. Saya sarankan membaca panduan lengkap untuk memahami prosesnya, tetapi saya telah mencantumkan langkah -langkah penting di bawah ini.

Dengan ollama terpasang, masuk ke lingkungan Debian kami melalui Termux dan jalankan ollama melayani untuk memulai server. Anda bisa menekan CTRL+C Untuk mengakhiri instance server dan membebaskan sumber daya ponsel Anda. Saat ini berjalan, kami memiliki beberapa opsi untuk berinteraksi dengan Ollama dan mulai menjalankan beberapa model bahasa besar.

Anda dapat membuka jendela kedua di Termux, masuk ke lingkungan Debian kami, dan melanjutkan dengan interaksi baris perintah Ollama. Ini adalah cara tercepat dan paling stabil untuk berinteraksi dengan Ollama, terutama pada smartphone rendah, dan (saat ini) satu-satunya cara untuk menghapus model untuk membebaskan penyimpanan.

Untuk mulai mengobrol dengan Deepseek-R1, masukkan ollama run deepseek-r1:7b. Setelah diunduh, Anda dapat mengetikkan ke baris perintah, dan model akan mengembalikan jawaban. Anda juga dapat memilih model ukuran lain yang sesuai dari Perpustakaan Ollama yang terorganisir dengan baik.

Alternatifnya adalah menginstal aplikasi Ollama Jhubi1 untuk Android. Ini berkomunikasi dengan ollama dan menyediakan antarmuka pengguna yang lebih bagus untuk mengobrol dan menginstal model pilihan Anda. Kelemahannya adalah aplikasi lain untuk dijalankan, yang memakan ram berharga dan dapat memberi tip smartphone yang kurang berkinerja untuk merangkak. Respons juga terasa sedikit lebih lamban daripada berlari di baris perintah, karena overhead komunikasi dengan ollama. Namun, ini adalah peningkatan kualitas hidup yang solid jika Anda berencana untuk menjalankan LLM lokal.

Sementara menonton proses pemikiran Deepseek sangat mengesankan, saya tidak berpikir itu adalah model bahasa besar yang paling berguna di luar sana, terutama untuk dijalankan di telepon. Bahkan model parameter tujuh miliar akan berhenti dengan percakapan yang lebih lama pada 8 elit, yang membuatnya menjadi tugas untuk digunakan ketika dipasangkan dengan rantai penalaran yang panjang. Untungnya, ada lebih banyak model untuk dipilih dari yang dapat berjalan lebih cepat dan masih memberikan hasil yang sangat baik. Llama Meta, Microsoft Phi, dan Mistral semuanya dapat berjalan dengan baik di berbagai ponsel; Anda hanya perlu memilih model ukuran yang paling tepat tergantung pada RAM ponsel cerdas Anda dan kemampuan pemrosesan.

Secara umum, tiga miliar model parameter akan membutuhkan hingga 2.5GB RAM gratis, sementara model parameter tujuh dan delapan miliar membutuhkan sekitar 5-7GB untuk menahannya. Model 14B dapat makan hingga 10GB, dan seterusnya, kira -kira menggandakan jumlah RAM setiap kali Anda menggandakan ukuran model. Mengingat bahwa smartphone juga harus berbagi RAM dengan OS, aplikasi lain, dan GPU, Anda membutuhkan setidaknya 50% buffer (bahkan lebih jika Anda ingin menjaga model tetap berjalan terus -menerus) untuk memastikan ponsel Anda tidak macet dengan mencoba untuk memindahkan model ke ruang swap. Sebagai stadion baseball yang kasar, ponsel dengan 12GB Fast Ram akan menjalankan model parameter tujuh dan delapan miliar, tetapi Anda akan membutuhkan 16GB atau lebih besar untuk mencoba 14b. Dan ingat, Google’s Pixel 9 Pro partisi dari beberapa RAM untuk model Gemini sendiri.

Tentu saja, lebih banyak parameter membutuhkan daya pemrosesan yang jauh lebih banyak untuk membuat model juga. Bahkan elit Snapdragon 8 sedikit melambat dengan Microsoft PHI-4: 14B dan Qwen2.5: 14b dari Alibaba, meskipun keduanya cukup digunakan pada 24GB Asus Rog Phone 9 Pro yang saya uji dengan. Jika Anda menginginkan sesuatu yang menghasilkan laju membaca pada perangkat keras saat ini atau generasi terakhir yang masih menawarkan tingkat akurasi yang layak, tetaplah dengan 8B paling banyak. Untuk ponsel yang lebih tua atau menengah, jatuh dengan model 3B yang lebih kecil berkorban jauh lebih akurasi tetapi harus memungkinkan untuk output token yang bukan langkah siput yang lengkap.

Tentu saja, ini hanya jika Anda ingin menjalankan AI secara lokal. Jika Anda senang dengan pertukaran komputasi awan, Anda dapat mengakses model yang jauh lebih kuat seperti ChatGPT, Gemini, dan Deepseek berukuran penuh melalui browser web Anda atau aplikasi khusus masing-masing. Namun, menjalankan AI di ponsel saya tentu saja merupakan percobaan yang menarik, dan pengembang yang lebih baik daripada saya dapat memanfaatkan lebih banyak potensi dengan kait API Ollama.