स्थानीय AI मॉडलों के साथ चैट
स्थानीय AI मॉडल क्यों?
Ollama मॉडल को स्थानीय रूप से चलाता है। साइन-इन और चैट संग्रहण क्लाउड का उपयोग करते हैं और इंटरनेट आवश्यक है। क्लाउड मॉडल पर स्वतः स्विच नहीं होता।
यह सामान्य मोड पर लागू होता है। ऑफ़लाइन मोड में सब कुछ इसी कंप्यूटर पर रहता है: तब ऐप इंटरनेट के बिना भी काम करता है और नई चैट केवल स्थानीय रूप से, एन्क्रिप्ट करके सहेजी जाती हैं।
Ollama इंस्टॉल करें
- Ollama डाउनलोड पेज पर जाएँ
- अपने ऑपरेटिंग सिस्टम (Windows या macOS) के लिए संस्करण डाउनलोड करें
- इंस्टॉलर के निर्देशों का पालन करके Ollama इंस्टॉल करें
- इंस्टॉल के बाद Ollama पृष्ठभूमि में स्वतः चलने लगता है
एक भाषा मॉडल इंस्टॉल करना
Ollama इंस्टॉल करने के बाद कम से कम एक भाषा मॉडल डाउनलोड करना आवश्यक है:
- Ollama इंटफेस खोलें (सिस्टम ट्रे आइकन या टर्मिनल के माध्यम से)
- पसंद के अनुसार एक भाषा मॉडल डाउनलोड करें
अनुशंसित मॉडल
ऐसे मॉडल को प्राथमिकता दें जिसमें टूल और विजन क्षमताएं हों:
- Tool capabilities - मॉडल एप्लिकेशन में उपलब्ध सभी टूल्स का उपयोग कर सकता है, जैसे इंटरनेट सर्च और इमेज जनरेशन
- Vision capabilities - मॉडल छवियों को विश्लेषित कर सकता है और वर्णन दे सकता है
qwen3-vl:4b-instruct तेज गति और टूल/vision क्षमताओं के बीच अच्छा संतुलन देता है। इस मॉडल को टर्मिनल से इंस्टॉल करें:
ollama pull qwen3-vl:4b-instruct
-instruct संस्करण चुनें: यह तुरंत जवाब देता है। सामान्य qwen3-vl:4b हर चरण से पहले देर तक सोचता है और लैपटॉप पर कई गुना धीमा है। छोटे स्थानीय मॉडलों के लिए ऐप एक छोटा निर्देश और केवल आपके प्रश्न से जुड़े टूल इस्तेमाल करता है। अगर वही चरण बार-बार विफल होता है, तो AI रुक जाता है और बताता है कि क्या सफल हुआ और क्या नहीं।
हार्डवेयर के आधार पर मॉडल चुनना
मॉडल की प्रदर्शन आपके कंप्यूटर के हार्डवेयर पर बहुत निर्भर करती है:
| हार्डवेयर | अनुशंसा |
|---|---|
| सीमित (8GB RAM, GPU नहीं) | छोटे मॉडल चुनें (1-4B पैरामीटर) |
| मध्यम (16GB RAM, बेस GPU) | मॉडल तक 7B पैरामीटर |
| शक्तिशाली (32GB+ RAM, मॉडर्न GPU) | बड़े मॉडल संभव (13B+) |
छोटा मॉडल आम तौर पर गति में बेहतर होता है, पर अधिक सटीक उत्तर नहीं दे सकता। अपनी स्थिति के लिए सर्वोत्तम संतुलन खोजने के लिए परीक्षण करें।
डेस्कटॉप एप्लिकेशन में कॉन्फ़िगरेशन
जैसे ही Ollama चालू होता है और एक मॉडल स्थापित होता है, डेस्कटॉप एप्लिकेशन इसे स्वचालित रूप से Detect कर लेता है। आप चैट में स्थानीय मॉडल को क्लाउड मॉडलों के विकल्प के रूप में चुन सकते हैं।
आरंभिक स्क्रीन पर इनपुट फ़ील्ड के नीचे दिए चयनकर्ता से आप पहला संदेश भेजने से पहले स्थानीय मॉडल चुन सकते हैं। चुना गया मॉडल पहले संदेश से उपयोग होता है और बाद में बदला जा सकता है।
टूल/विजन सपोर्ट वाले उपलब्ध मॉडल
पूर्ण सूची के लिए देखें ollama.com/library. मॉडल्स को फ़िल्टर करें:
Toolsटैग टूल क्षमताओं के लिएVisionटैग इमेज-रिकग्निशन के लिए
लोकप्रिय विकल्प:
qwen3-vl:4b-instruct- कॉम्पैक्ट, तेज़, टूल + विजनllama3.2-vision- विज़न क्षमताएंmistral- तेज सामान्य कार्य
दस्तावेज़ों और स्कैन को स्थानीय रूप से पढ़ना
स्थानीय मॉडल के साथ डेस्कटॉप ऐप दस्तावेज़ों को आपके अपने कंप्यूटर पर पढ़ता है। कुछ भी अपलोड नहीं होता।
- कार्य फ़ोल्डर: स्वीकृत फ़ोल्डर में AI Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) और RTF पढ़ता है। पुरानी .doc और .ppt फ़ाइलें केवल तभी पढ़ी जाती हैं जब LibreOffice इंस्टॉल हो।
- स्कैन और फ़ोटो: स्कैन किए गए PDF पृष्ठ, चित्र (PNG, JPG, WebP, TIFF) और Word तथा PowerPoint फ़ाइलों के भीतर के चित्र टेक्स्ट पहचान (OCR) से पढ़े जाते हैं। OCR ऐप के साथ आता है और डच, अंग्रेज़ी, जर्मन और फ़्रेंच पहचानता है। चैट में दिखता है कि कौन-सा पृष्ठ पढ़ा जा रहा है; लंबे स्कैन में कुछ मिनट लग सकते हैं। प्रति दस्तावेज़ अधिकतम 100 पृष्ठ OCR से पढ़े जाते हैं।
- अनिश्चित पहचान: जब टेक्स्ट पहचान अनिश्चित हो, तो AI यह बताता है। तब नाम, संख्याएँ और राशियाँ मूल दस्तावेज़ में जाँचें। हस्तलेख, तालिकाएँ और आरेख हमेशा सही नहीं पहचाने जाते।
- विज़न मॉडल: यदि चुने गए मॉडल में विज़न है (जैसे
qwen3-vl:4b-instruct), तो मॉडल स्वयं उन चित्रों को देखता है जिनमें टेक्स्ट पहचान कम या अनिश्चित पढ़ती है। GPU के बिना इसमें अधिक समय लगता है। - iPhone फ़ोटो (HEIC): पहले उन्हें JPEG या PNG के रूप में सहेजें।
क्लाउड मॉडल के साथ भी ऐप कार्य फ़ोल्डर के दस्तावेज़ आपके कंप्यूटर पर पढ़ता है, लेकिन पढ़ा गया टेक्स्ट तब बातचीत के हिस्से के रूप में उस मॉडल को भेजा जाता है।
इंटरनेट के बिना काम करना, चैट में अटैचमेंट सहित: देखें ऑफ़लाइन मोड।