ازاي ممكن تشغل اي LLM اوفلاين

Amer Ahmed منذ 4 أشهر

6

عندك طريقتين: 

1- انك تنزل LM Studio و من خلاله تنزل اي model انت عايززه وتتكلم معاه

2- الطريقة الtech savvy اكتر وهي انك تستخدم ollama و OpenWeb UI

انا هتكلم عن تاني طريقة, انت عالاقل لازم يبقى عندك gpu قوي شوية. انا حاليا شغال ب Nvidia RTX 3060 و شغال معايا زي الفل. الافضل يكون عندك معرفة ب Linux Commandline عشان هنشتغل بال WSL (Windows Subsystem for Linux) 

لو مش منزل الWSL, هتفتح اي terminal عندك على Windows وتكتب wsl --install وهنا هينزل Ubuntu بس انا شخصيا بستخدم Kali فا نزلته.

بعدها تخش عاللينك دا و عود نفسك انك تقرا الdocs بتاع اي حاجة https://github.com/ollama/ollama/blob/main/docs/linux.md هنا انا استخدمت الManual Install عشان سرعة النت بعافية على open http streams 

ما علينا بعدها كدا انت نزلت ollama اللي هتنزل منها الmodels 

بعدها هتكتب ollama serve عشان تشغل الollama server

بعدها شوف الmodel المناسب لاحتياجاتك من اللينك دا https://ollama.com/search

افترض اني احنا عايزين نستخدم deepseek-R1

طبعا طبعا مش هننزل ال671 billion paramters 😂😂, اخرك اخرك 8b او 14b لو هتزودها بقا.

هتنزل الmodel بالكوماند دي ollama pull deepseek-r1 وتستنى تنزل.

بعد ما تخلص هيبقى عندك اختيارين: يا اما تستخدم الAI فالterminal او تستخدم حاجة زي OpenWeb UI

هتلاقي شرح اكتر عالريبو دي لسا عاملها => https://github.com/BiLLY-J03l/Local-AI-Hosting

لو حابين اشرح تنزل ازاي OpenWeb UI من Docker و تشغله وتعمل حاجات شبه ChatGPT.com و deepseek اعمل كومنت عالمقالة دي

12 ردود

• Yousef Khaled (youse155920)

  منذ 4 أشهر

  هو ممكن استخدم اي نسخة مدفوعة من اي LLM بالطريقة دي ؟؟
  وهل لازم RTX انا عندي GTX 1650 TI وشغال علي Fedora 42 ؟؟

  أضف رداً
• Amer Ahmed (ameru85117)

  منذ 4 أشهر

  هو تقدر لو عايز تشغل اي نسخة مدفوعة بس هتبقا عايز كومبيوتر قوي بكروت شاشة كتير و مساحة اكتر. ليه؟ عشان مثلا deepseek اللي بنستخدمه اونلاين شغال ب parameters كتيرة جدا مش يدوبك 7b او 8b

  

  يعني لو عايز تشغل deepseek-r1 اللي بنستخدمه عالويب هتضطر تنزل النسخة ال671 billion parameters اللي عبارة عن 404 جيجا و غير الgpu proccessing power اللي هيستهلكها.

  الافضل لو انتا مثلا عايز LLM يشتغل معاك فالحاجات التيكنكال بس والكودنج بلاش تستخدم general reasoning model وتستخدم واحد بتاع كودنج متخصص زي deepseek-coder و تقدر بقا تنزل ال7b او ال8b.

  من ناحية الRTX او GTX جرب تنزل الاقل و تشتغل بيه و تشوف استهلاكه للCPU باستخدام الكوماند دي

  watch -n 0.5 nvidia-smi

  و تسأل الLLM و تشوف الاستهلاك بيعلى قد ايه لو لقيته قليل اوي يبقا تنزل ال8b او الاعلى لحد ما تلاقيه بيأثر بشكل سلبي وتقف

  

  أضف رداً
• (af41545792)

  منذ 4 أشهر

  جميع الفديوهات عامله Error :422 invalidplaybackinfo

  1

  
• Bashmohandes Mazen (mazencanada)

  منذ شهر

  اول لينك مش شغال

  غير كدة عندي سؤال:

  ايه الفرق بين حاجة صغيرة زي deepseek r1 و r3

  يعني انت حسيت بفروقات في ايه؟ و هل يستاهل انك تشتري gpu مخصوص - بخلاف موضوع الخصوصية - ؟

  2

  
• Amer Ahmed (ameru85117)

  منذ شهر

  اللي كنت با تيست عليه كان r1 وكان ابتدي يعك معايا قولت اجرب gemini وحرفيا كان بيحل كل مشاكل الكود في prompt واحدة. بعدين كنت لقيت فيه deepseek-coder بس مجربتوش لسا الصراحة.
  
  لو واحد مش مهتم بالخصوصية مش هيحس بالفرق في انه يشغله local ولا اونلاين بالعكس اعتقد هيروح للonline version اللي متمرت على اعلى parameters اللي مش هيقدر ينزله عنده. 
  
  

  لو واحد شغال بيدفع للmodel وشغال نظام tokens بشكل دوري في شغله, اعتقد هيبقا احسنله ساعتها يجيب gpu و ssd كبير حبتين ويشتغل self-hosted عشان يتعامل براحته من غير قيود.

  1