اجرای مدل زبانی با Ollama روی GPU ابری

می‌خواهید یک مدل زبانی باز مثل Llama یا Qwen را برای خودتان اجرا کنید، بدون این‌که به سرویس‌های خارجی وابسته باشید و بدون این‌که یک کارت گرافیک گران‌قیمت بخرید؟ در این آموزش عملی یاد می‌گیرید چطور با ابزار Ollama روی یک ماشین GPU ابری، اجرای مدل زبانی را در چند دقیقه راه بیندازید و بعد از لپ‌تاپ خودتان — چه ویندوز، چه مک، چه لینوکس — به آن وصل شوید و چت کنید یا از API آن در کد استفاده کنید.

کل کار کمتر از پانزده دقیقه طول می‌کشد و هزینه‌اش برای یک مدل هشت‌میلیاردی روی یک کارت گرافیک ارزان، در زمان نوشتن این مطلب در حد چند هزار تومان است. تنها چیزی که لازم دارید بلد بودن باز کردن ترمینال و کپی کردن چند دستور است؛ لازم نیست برنامه‌نویس باشید. مدل روی سروری خارج از ایران با اینترنت گیگابیتی دانلود می‌شود، پس سرعت دانلود مدل به اینترنت داخلی شما ربطی ندارد.

پیش‌نیازها

سه چیز لازم دارید. اول یک حساب جی‌پی‌یو؛ اگر هنوز ندارید از صفحهٔ ثبت‌نام بسازید. دوم یک کلید SSH ثبت‌شده در بخش حساب کاربری، چون ورود به ماشین فقط با کلید انجام می‌شود و رمز عبوری در کار نیست. سوم کمی موجودی در کیف پول؛ برای شروع باید حداقل به اندازهٔ یک ساعت از نرخ ماشینی که انتخاب می‌کنید موجودی داشته باشید، ولی برای این آموزش نیم ساعت کافی است.

اگر اولین بار است سراغ ماشین ابری می‌آیید، بهتر است پیش از ادامه یک بار پست شروع اجاره GPU: اولین ماشین در ۱۰ دقیقه را بخوانید. آن‌جا ساخت کلید SSH و شارژ کیف پول را قدم‌به‌قدم توضیح داده‌ایم.

انتخاب ماشین مناسب برای اجرای مدل زبانی

مهم‌ترین عدد برای اجرای مدل زبانی، مقدار VRAM کارت گرافیک است. Ollama مدل‌ها را به‌صورت کوانتیزه‌شده (فشرده) اجرا می‌کند، پس یک قاعدهٔ سرانگشتی خوب این است: به اندازهٔ حجم دانلود مدل، به‌علاوهٔ دو تا سه گیگابایت برای متن ورودی، به VRAM نیاز دارید.

• مدل‌های هشت‌میلیاردی مثل llama3.1:8b (حدود ۵ گیگابایت) یا qwen3:8b (حدود ۵ گیگابایت): روی یک کارت با ۱۲ گیگ VRAM راحت اجرا می‌شوند. پیشنهاد اقتصادی: RTX 3060 با ۱۲ گیگابایت، در زمان نوشتن این مطلب از حدود ۱۴ هزار تومان در ساعت.
• مدل‌های چهارده‌میلیاردی مثل qwen3:14b (حدود ۹ گیگابایت): با ۱۶ گیگ راحت‌تر است. پیشنهاد: RTX A4000 با ۱۶ گیگابایت، در زمان نوشتن این مطلب از حدود ۲۲ هزار تومان در ساعت.
• مدل‌های سی‌ودو‌میلیاردی مثل qwen3:32b (حدود ۲۰ گیگابایت): به یک کارت ۲۴ گیگابایتی نیاز دارید. پیشنهاد سریع: RTX 3090 با ۲۴ گیگابایت، در زمان نوشتن این مطلب از حدود ۴۱ هزار تومان در ساعت.

مدل‌های هفتاد‌میلیاردی مثل llama3.1:70b (حدود ۴۳ گیگابایت) روی یک کارت ۲۴ گیگابایتی جا نمی‌شوند و به کارت بزرگ‌تر یا ماشین چندکارته نیاز دارند. برای شروع، یک مدل هشت‌میلیاردی روی RTX 3060 بهترین نقطهٔ تعادل بین کیفیت، سرعت و هزینه است. کارت‌های موجود و قیمت لحظه‌ای‌شان را در بازار GPU ببینید و با فیلتر حافظه مرتب کنید.

اجاره و راه‌اندازی

در بازار، کارت موردنظرتان را انتخاب کنید و موقع اجاره قالب (Template) را روی Ollama بگذارید تا ماشین با همین ابزار بالا بیاید. اگر رابط چت وب هم می‌خواهید، قالب Open Webui (Ollama) را انتخاب کنید که علاوه بر Ollama یک پنل چت آماده هم دارد.

دکمهٔ اجاره را بزنید و منتظر بمانید تا وضعیت ماشین «آماده» شود؛ این معمولاً یکی دو دقیقه طول می‌کشد. حالا وارد صفحهٔ ماشین شوید. آن‌جا دستور SSH آماده را می‌بینید که با یک کلیک کپی می‌شود، به‌علاوهٔ دستور «تونل امن» و دکمهٔ «پنل ماشین». با دستور SSH وارد ماشین شوید:

ssh root@<آدرس-ماشین> -p <پورت>

آدرس و پورت دقیق را از خود صفحهٔ ماشین بردارید. با قالب Ollama سرویس از قبل در حال اجراست؛ برای اطمینان می‌توانید نسخه را ببینید:

ollama -v

اولین مدل را اجرا کنید

روی خود ماشین، یک مدل را با یک دستور دانلود و اجرا کنید. برای شروع Qwen3 هشت‌میلیاردی خوب است:

ollama run qwen3:8b

بار اول حدود ۵ گیگابایت دانلود می‌شود که با اینترنت گیگابیتی ماشین در کمتر از یک دقیقه تمام می‌شود. بعد از آن یک خط فرمان چت باز می‌شود؛ سؤالتان را بنویسید و Enter بزنید. برای خروج /bye را تایپ کنید. اگر Llama را ترجیح می‌دهید:

ollama run llama3.1:8b

چند دستور کاربردی دیگر:

ollama pull qwen3:14b   # فقط دانلود، بدون اجرا
ollama list             # فهرست مدل‌های دانلودشده
ollama ps               # مدل‌هایی که همین حالا در حافظه‌اند

فهرست کامل مدل‌ها و نسخه‌هایشان را در کتابخانهٔ رسمی Ollama می‌بینید.

اتصال از لپ‌تاپ خودتان

Ollama روی ماشین فقط به localhost گوش می‌دهد، یعنی مستقیم از بیرون در دسترس نیست — و این خوب است، چون امن‌تر است. راه درست و امن این است که یک تونل SSH بزنید تا پورت ۱۱۴۳۴ ماشین روی لپ‌تاپ خودتان باز شود. دستور آمادهٔ «تونل امن» در صفحهٔ ماشین هست؛ شکل کلی‌اش این است:

ssh -N -L 11434:localhost:11434 root@<آدرس-ماشین> -p <پورت>

این پنجره را باز نگه دارید. حالا روی لپ‌تاپ خودتان، آدرس http://localhost:11434 به Ollama روی ماشین وصل است. کافی است روی لپ‌تاپ هم Ollama را نصب کنید و آن را به همین آدرس وصل کنید:

curl http://localhost:11434/api/tags

اگر فهرست مدل‌ها برگشت، اتصال برقرار است. برای گرفتن پاسخ از مدل، از API استفاده کنید که خروجی را جمله‌به‌جمله برمی‌گرداند:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "پایتخت ایران کجاست؟",
  "stream": false
}'

یا نقطهٔ چت که پیام‌ها را نگه می‌دارد:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "یک جوک کوتاه بگو"}],
  "stream": false
}'

همین آدرس را می‌توانید در کد پایتون یا هر اپلیکیشنی که با Ollama کار می‌کند بگذارید و مدل را مثل یک سرویس محلی صدا بزنید.

اگر به مشکل خوردید

• خطای CUDA out of memory: مدل برای VRAM کارت بزرگ است. یک مدل کوچک‌تر بردارید (مثلاً از qwen3:14b به qwen3:8b) یا کارتی با حافظهٔ بیشتر اجاره کنید.
• دانلود نیمه‌کاره ماند: دوباره همان ollama pull را بزنید؛ از جایی که مانده ادامه می‌دهد.
• connection refused روی لپ‌تاپ: تونل SSH بسته شده یا برقرار نشده. پنجرهٔ تونل را باز نگه دارید و مطمئن شوید پورت را درست (11434:localhost:11434) نوشته‌اید.
• مدل کند و روی CPU اجرا می‌شود: با دستور nvidia-smi روی ماشین ببینید کارت گرافیک دیده می‌شود یا نه، و مطمئن شوید ماشین را با قالب Ollama (نه یک قالب بدون GPU) بالا آورده‌اید.

هزینه و صرفه‌جویی

یک جلسهٔ نیم‌ساعتهٔ چت با مدل هشت‌میلیاردی روی RTX 3060، در زمان نوشتن این مطلب حدود هفت تا هشت هزار تومان درمی‌آید. سه نکته هزینه را پایین نگه می‌دارد: هزینه فقط وقتی حساب می‌شود که ماشین «در حال اجرا» است، پس به‌محض تمام‌شدن کار ماشین را متوقف یا حذف کنید. مدل‌های بزرگ‌تر گران‌ترند اما همیشه لازم نیستند؛ برای بیشتر کارها یک مدل هشت یا چهارده‌میلیاردی کافی است.

نکتهٔ مهم: دیسک ماشین با حذف آن پاک می‌شود و فضای ذخیره‌سازی دائمی نداریم. اگر خروجی یا فایلی روی ماشین ساخته‌اید، پیش از حذف آن را دانلود کنید یا به فضای ابری خودتان بفرستید.

قدم بعدی

اگر یک رابط چت گرافیکی می‌خواهید که تاریخچهٔ گفت‌وگو را نگه دارد، سراغ قالب Open Webui (Ollama) بروید. و اگر می‌خواهید مدل را با کارایی بالا و API سازگار با OpenAI برای یک اپلیکیشن واقعی سرو کنید، vLLM انتخاب بعدی شماست. برای انتخاب کارت مناسب هر مدل هم دوباره سری به بازار GPU بزنید.

پرسش‌های متداول

برای اجرای مدل زبانی به چه مقدار VRAM نیاز دارم؟

تقریباً به اندازهٔ حجم دانلود مدل به‌علاوهٔ دو تا سه گیگابایت. یک مدل هشت‌میلیاردی روی ۱۲ گیگ VRAM راحت اجرا می‌شود، مدل چهارده‌میلیاردی روی ۱۶ گیگ، و مدل سی‌ودومیلیاردی روی ۲۴ گیگ.

آیا می‌توانم بدون کارت گرافیک، مدل را روی لپ‌تاپ خودم اجرا کنم؟

مدل روی ماشین GPU ابری اجرا می‌شود، نه روی لپ‌تاپ شما. لپ‌تاپ فقط از طریق تونل SSH به آن وصل می‌شود و پیام می‌فرستد و پاسخ می‌گیرد، پس به کارت گرافیک قوی روی لپ‌تاپ نیازی ندارید.

Ollama بهتر است یا اجرای مستقیم مدل؟

Ollama ساده‌ترین راه برای شروع است؛ با یک دستور مدل را دانلود و اجرا می‌کند و یک API تمیز هم می‌دهد. اگر بعداً به کارایی بالاتر برای چند کاربر همزمان نیاز داشتید، سراغ vLLM بروید.

چطور از قطع‌شدن اتصال جلوگیری کنم؟

پنجرهٔ تونل SSH را تا پایان کار باز نگه دارید. اگر اتصال قطع شد، خود مدل روی ماشین دست‌نخورده می‌ماند و کافی است دوباره تونل را بزنید؛ نیازی به دانلود دوبارهٔ مدل نیست.

آیا داده‌های چت من جایی ذخیره می‌شود؟

مدل و پاسخ‌ها روی همان ماشین اجاره‌ای شما پردازش می‌شوند و با حذف ماشین همه‌چیز پاک می‌شود. اگر می‌خواهید تاریخچه بماند، آن را پیش از حذف ماشین دانلود کنید.

تصویر کاور: «Llama Portrait (8564867495)» اثر Eric Kilby، از ویکی‌مدیا کامنز، لایسنس CC BY-SA 2.0.