المجتمع الأكبر للعرب في مجال التك

تحميل من Google Playتحميل من App Store

ازاي ممكن تشغل اي LLM اوفلاين

Amer Ahmed
مدرب
منذ سنة

عندك طريقتين: 

1- انك تنزل LM Studio و من خلاله تنزل اي model انت عايززه وتتكلم معاه

2- الطريقة الtech savvy اكتر وهي انك تستخدم ollama و OpenWeb UI


انا هتكلم عن تاني طريقة, انت عالاقل لازم يبقى عندك gpu قوي شوية. انا حاليا شغال ب Nvidia RTX 3060 و شغال معايا زي الفل. الافضل يكون عندك معرفة ب Linux Commandline عشان هنشتغل بال WSL (Windows Subsystem for Linux) 


لو مش منزل الWSL, هتفتح اي terminal عندك على Windows وتكتب wsl --install وهنا هينزل Ubuntu بس انا شخصيا بستخدم Kali فا نزلته.


بعدها تخش عاللينك دا و عود نفسك انك تقرا الdocs بتاع اي حاجة https://github.com/ollama/ollama/blob/main/docs/linux.md هنا انا استخدمت الManual Install عشان سرعة النت بعافية على open http streams 


ما علينا بعدها كدا انت نزلت ollama اللي هتنزل منها الmodels 


بعدها هتكتب ollama serve عشان تشغل الollama server


بعدها شوف الmodel المناسب لاحتياجاتك من اللينك دا https://ollama.com/search

افترض اني احنا عايزين نستخدم deepseek-R1


طبعا طبعا مش هننزل ال671 billion paramters 😂😂, اخرك اخرك 8b او 14b لو هتزودها بقا.


هتنزل الmodel بالكوماند دي ollama pull deepseek-r1 وتستنى تنزل.


بعد ما تخلص هيبقى عندك اختيارين: يا اما تستخدم الAI فالterminal او تستخدم حاجة زي OpenWeb UI


هتلاقي شرح اكتر عالريبو دي لسا عاملها => https://github.com/BiLLY-J03l/Local-AI-Hosting


لو حابين اشرح تنزل ازاي OpenWeb UI من Docker و تشغله وتعمل حاجات شبه ChatGPT.com و deepseek اعمل كومنت عالمقالة دي


70مشاهدة

سجّل الدخول لعرض التعليقات

تسجيل الدخول