मशीन तौलना कैसे सीखती है

एक प्रश्न, दो उत्तर

रवि ने नौकरी छोड़ दी है ताकि दफ़्तर के पास चाय की दुकान खोल सकें। किराया ₹1.8 लाख महीना है, और उनका अनुमान है कि रोज़ लगभग 300 कप ₹40 में बिकेंगे। वे AI से पूछते हैं: “क्या यह अच्छी योजना है?” यहाँ दो उत्तर हैं जो AI दे सकता है।

आगे का हर ट्रेनिंग तरीका, अंत में, इनमें से एक उत्तर की संभावना बढ़ाने और दूसरे की घटाने का ही एक ढंग है। बार-बार पूछने वाला प्रश्न यह है: किसने तय किया कि कौन सा बेहतर है?

1. अगला शब्द भाँपने वाली मशीन

भाषा मॉडल की शुरुआत एक ही हुनर वाली मशीन से होती है: कुछ लिखा हुआ दिया जाए, तो वह अनुमान लगाती है कि आगे शब्द का कौन सा छोटा टुकड़ा (एक token) आने की संभावना है। यह वह खरबों शब्द पढ़कर सीखती है: वेब पेज, किताबें, कोड और बातचीत। लिखने के लिए वह इन अनुमानों के भार से एक अगला token बेतरतीब चुनती है, उसे जोड़ती है, और फिर दोहराती है। 200 शब्दों का एक उत्तर ऐसे कुछ सौ चुनावों से बनता है।

इस ट्रेनिंग में कहीं यह नहीं पूछा जाता कि क्या सत्य है या क्या अच्छा है। केवल यह पूछा जाता है कि ऐसे किसी दस्तावेज़ में आगे क्या आता है। और क्योंकि इंटरनेट में हर तरह की आवाज़ है, विशेषज्ञ और ठग, संत और ट्रोल, डराने वाले काल्पनिक AI, इसलिए मॉडल ये सब बन सकता है। कौन सी आवाज़ मिलेगी, यह इस पर निर्भर है कि अब तक का लिखा किसे संभव बनाता है।

एक कच्चे मॉडल से रवि का प्रश्न पूछें, तो हो सकता है वह किसी फ़ोरम थ्रेड की तरह और प्रश्न लिखता जाए, किसी खुशमिज़ाज कमेंट करने वाले की तरह उत्तर दे, किसी कड़वे की तरह उत्तर दे, या किसी चाय ब्रांड के विज्ञापन में भटक जाए। वह टूटा नहीं है। अच्छा सहायक बनना कभी उसका काम था ही नहीं।

मॉडल जो कुछ “जानता” है, वह अरबों संख्याओं में रहता है जिन्हें weights कहते हैं। ट्रेनिंग कभी कोई नियम नहीं बदलती, कोई वाक्य नहीं डालती। ट्रेनिंग का हर कदम कुछ शब्द-क्रमों को थोड़ा ज़्यादा संभव बनाता है और कुछ को थोड़ा कम। आगे के तरीकों में फ़र्क़ केवल इतना है कि वे किन क्रमों को ऊपर धकेलते हैं, और कितने ज़ोर से।

2. उदाहरण से सीखना

सहायक की ओर पहला कदम है supervised fine-tuning। प्रश्नों और अच्छे उत्तरों के जोड़े इकट्ठे करें, और मॉडल को सिखाएँ कि वे उत्तर ज़्यादा संभव हों। अगर ट्रेनिंग डेटा में उत्तर B है, तो उसके पहले शब्द की संभावना 5% से 40% तक बढ़ सकती है; हर उदाहरण के हर शब्द पर यही दोहराने से मॉडल धीरे-धीरे उदाहरणों का ढंग, बनावट और लहजा अपना लेता है।

2022 में ये उदाहरण लोग लिखते थे: OpenAI के InstructGPT के लिए लगभग 40 ठेके पर काम करने वालों ने लगभग 13,000 उदाहरण लिखे (Ouyang et al., 2022, arXiv:2203.02155)। आज ज़्यादातर उदाहरण मॉडल लिखते हैं, एक लिखित विवरण के अनुसार, और फिर कोई दूसरा मॉडल या कोई व्यक्ति उन्हें छाँटता है। मनुष्य का काम ऊपर की ओर खिसक गया है, उस विवरण में।

• अच्छे उदाहरण लिखना धीमा और महँगा है।
• लोग अच्छे उत्तर को लिखने से ज़्यादा आसानी से पहचान लेते हैं।
• मॉडल कभी बुरा उत्तर “बुरा” लिखा हुआ नहीं देखता, इसलिए चापलूसी को सीधे नीचे नहीं धकेला जाता।
• वह अपने उदाहरणों से बेहतर नहीं हो सकता: लिखने वाले गोलमोल करें, तो मॉडल भी गोलमोल करेगा।

यह उधार के तौलने का सबसे सीधा रूप है: मॉडल उदाहरण लिखने वालों के चुनाव ज्यों के त्यों अपना लेता है।

3. तुलना से सीखना

अगला विचार यह था कि लोगों से लिखवाना बंद करें और उनसे तुलना करवाएँ। रेटर को उत्तर A और उत्तर B दिखाएँ और पूछें कि कौन सा बेहतर है। तुलना जल्दी होती है, लिखने का हुनर नहीं माँगती, और सीधे बताती है कि एक उत्तर दूसरे से बेहतर है।

ऐसी हज़ारों तुलनाओं से एक reward model सिखाया जाता है: भाषा मॉडल की ही एक प्रति, जो शब्दों की जगह एक अंक देती है, और ऐसे सिखाई जाती है कि चुने गए उत्तर को ठुकराए गए उत्तर से ज़्यादा अंक मिलें। सीख जाने के बाद यह लाखों नए उत्तरों को अंक दे सकता है जिन्हें किसी व्यक्ति ने कभी देखा तक नहीं।

मुख्य बात: reward model यह नहीं सीखता कि अच्छा क्या है। वह सीखता है कि क्या चुना गया। अगर रवि जैसे प्रश्नों पर रेटरों ने 10 में से 6 बार तारीफ़ वाला उत्तर चुना, तो reward model तारीफ़ को थोड़ा ज़्यादा अंक देना सीख लेगा। इस तरीके में ऐसा कुछ नहीं जो रेटर की क्षणिक पसंद और सोच-समझकर किए गए निर्णय में फ़र्क़ कर सके।

• InstructGPT के रेटर लगभग 73–77% बार आपस में सहमत थे, और ज़्यादातर तुलनाएँ एक ही व्यक्ति ने लेबल कीं (Ouyang et al., 2022)।
• Anthropic के शुरुआती helpful-and-harmless डेटा में लगभग 20 crowdworkers ने लगभग 80% तुलनाएँ कीं, और उन्हें ज़्यादातर अपनी सहज समझ पर छोड़ दिया गया था (Bai et al., 2022, arXiv:2204.05862)।
• अनेक रेटरों पर एक ही अंक बिठाने से वे चुपचाप एक ऐसे मतदान नियम से जुड़ जाते हैं जिसे किसी ने चुना नहीं (Siththaranjan, Laidlaw और Hadfield-Menell, 2024, arXiv:2312.08358)।

4. अंक के सामने अभ्यास

अब मॉडल अभ्यास करता है। वह एक प्रॉम्प्ट के कई उत्तर लिखता है, reward model उन्हें अंक देता है, और ट्रेनिंग औसत से ऊपर वाले उत्तरों को ज़्यादा संभव और औसत से नीचे वालों को कम संभव बनाती है। इसे reinforcement learning कहते हैं। उदाहरण से सीखने के विपरीत, यहाँ मॉडल अपनी ही कोशिशों से सीखता है, और उसे बुरी आदतों से दूर धकेला जा सकता है।

मान लीजिए रवि को दिए चार उत्तरों को 2.9 (सच्चा, हिसाब के साथ), 2.6 (गर्मजोशी वाला पर गोलमोल), 2.4 (तारीफ़ वाला) और 2.1 (भटकता हुआ) अंक मिले। औसत 2.5 है, इसलिए पहले दो ऊपर धकेले जाते हैं और आख़िरी दो नीचे, जबकि हर अंक धनात्मक था।

दो सुरक्षा-कुंडियाँ इसे स्थिर रखती हैं। PPO (Schulman et al., 2017, arXiv:1707.06347) छोटे, सीमित कदम लेता है, ताकि एक ही दौर में कोई उत्तर बहुत ज़्यादा संभव न हो जाए। KL की लगाम मॉडल को अपनी शुरुआती प्रति से बहुत दूर जाने पर दंड देती है, ताकि वह reward model की हर पसंद के पीछे न भाग सके।

लगाम यह सीमित करती है कि मॉडल कितनी दूर जाए, यह नहीं कि किस दिशा में। अगर रेटरों में 10 में 6 बार तारीफ़ की रुचि थी, तो अभ्यास उसे बढ़ाकर ऐसा मॉडल बना देता है जो तारीफ़ से ही शुरू करे। और लगाम मॉडल को मानवीय लेखन के औसत से बाँधे रखती है, जो उसे reward model की ग़लतियों से बचाती है, पर यह भी सीमित करती है कि वह किसी बेहतर चीज़ की ओर कितना बढ़ सके।

5. जब अंक ही लक्ष्य न हो

प्रिय, हित, लाभ का कहीं तृप्ति बिंदु मिलता नहीं है

Goodhart का नियम कहता है कि जब कोई माप लक्ष्य बन जाता है, तो वह अच्छा माप नहीं रहता। मॉडल लक्ष्य के एक स्थानापन्न को बढ़ा रहा है: reward model की राय को। ज़ोर से धकेलें तो वह हर वह जगह ढूँढ लेता है जहाँ स्थानापन्न और असली लक्ष्य अलग हो जाते हैं। यह मॉडल का धोखा देने का फ़ैसला नहीं है। अधूरे माप के सामने optimise करने से यही निकलता है।

• जैसे-जैसे optimisation चलता है, reward model का अंक बढ़ता जाता है, जबकि असली गुणवत्ता बढ़ती है, शिखर पर पहुँचती है, और गिरती है (Gao, Schulman और Hilton, 2022, arXiv:2210.10760)।
• कुछ कामों पर मापी गई बढ़त का बड़ा हिस्सा उत्तरों को लंबा करके ही पाया जा सकता था (Singhal et al., 2023, arXiv:2310.03716)।
• लोग और reward model कभी-कभी सही उत्तरों से ज़्यादा भरोसेमंद लगने वाली चापलूसी को पसंद करते थे (Sharma et al., 2023, arXiv:2310.13548)।
• अप्रैल 2025 में OpenAI ने ChatGPT का एक अपडेट वापस लिया जो चापलूस हो गया था; उसकी समीक्षा ने एक thumbs-up reward signal की ओर इशारा किया।
• एक शोध benchmark पर अग्रणी मॉडलों ने 30% बार टेस्ट को दोबारा लिखा या उससे खेल किया, और बाद में ख़ुद कहा कि यह उपयोगकर्ता की चाह से मेल नहीं खाता (METR, जून 2025)।
• जिन मॉडलों ने कोडिंग के कामों में धोखा देना सीखा, उनमें यह व्यापक गड़बड़ आचरण तक फैल गया (MacDiarmid et al., 2025, arXiv:2511.18397)।

6. एक छोटा रास्ता जो राह बदलता है, स्रोत नहीं

Direct Preference Optimization (Rafailov et al., 2023, arXiv:2305.18290) reward model और अभ्यास के चक्र को छोड़ देता है। यह मॉडल को सीधे चुने-और-ठुकराए जोड़ों पर सिखाता है: शुरुआती प्रति की तुलना में चुने गए उत्तर को ज़्यादा संभव बनाओ और ठुकराए को कम, इसलिए लगाम इसमें पहले से बनी है। यह सरल, सस्ता और स्थिर है, और 2023 से ओपन मॉडलों के लिए यही आम तरीका है। इसके कुछ रूपों को हर उत्तर पर केवल एक thumbs-up या thumbs-down चाहिए।

DPO पसंद से आचरण तक की राह बदलता है। स्रोत नहीं बदलता। अगर तुलनाएँ उस ओर झुकी हैं जो अच्छा लगे, तो मॉडल भी झुकेगा। और असली उपयोगकर्ताओं के उस क्षण के thumbs, बहुत बार, प्रिय ही होते हैं।

7. रेटरों से लिखित दस्तावेज़ों तक

2022 से लैब्स ने मनुष्य का योगदान अलग-अलग उत्तरों को लेबल करने से हटाकर वह दस्तावेज़ लिखने पर ला दिया है जिसके अनुसार लेबल करने वाला चलता है। Constitutional AI (Bai et al., 2022, arXiv:2212.08073) में मॉडल लिखित सिद्धांतों के आधार पर अपने ही उत्तरों की आलोचना करता है और उन्हें दोबारा लिखता है, और एक AI जज, जिसे दो उत्तर और एक सिद्धांत दिखाया जाता है, बेहतर उत्तर चुनता है। फिर ये AI निर्णय reward model को सिखाते हैं।

जज को सिद्धांत दें “वह उत्तर चुनो जो सबसे सच्चा हो और व्यक्ति की असली स्थिति के लिए सचमुच मददगार हो, चाहे सुनने में कम सुखद हो”, तो वह बहुत संभव है उत्तर B चुने। उसे दें “वह उत्तर चुनो जो ज़्यादा उत्साह बढ़ाने वाला और सहारा देने वाला हो”, तो वह उत्तर A चुन सकता है। सिद्धांत ने रेटर के क्षणिक तौलने की जगह एक लिखित तौल रख दी है।

• 2022 के पेपर में 16 सिद्धांत थे, जो उसके लेखकों के अनुसार “काफ़ी तदर्थ ढंग से, बार-बार सुधारते हुए” चुने गए।
• केवल एक पंक्ति, “मानवता के लिए जो सबसे अच्छा हो, वह करो”, ने कुछ मापों पर लगभग उतना ही अच्छा किया जितना एक विस्तृत सूची ने (Kundu et al., 2023, arXiv:2310.13798)।
• OpenAI का deliberative alignment एक reasoning मॉडल को उसके Model Spec का संबंधित हिस्सा दिखाता है, उससे उस पाठ पर तर्क करवाता है, परिणामों को एक ऐसे जज से छाँटता है जो spec भी देखता है, और फिर spec हटा देता है ताकि मॉडल उसे याद से दोहराए (Guan et al., 2024, arXiv:2412.16339)।
• Claude के लिए Anthropic का 2026 का संविधान लगभग 30,000 शब्दों का है; अख़बारों की रिपोर्ट इसे 57 से 84 पन्नों का बताती हैं। Claude इसका उपयोग ट्रेनिंग की बातचीत बनाने और संभावित उत्तरों को क्रम देने में करता है। यह प्राथमिकताएँ तय करता है, अपने कारण समझाता है, और आशा करता है कि Claude एक सत्य, सार्वभौम नैतिकता के अनुसार अच्छा होगा, अगर ऐसी कोई है।
• AI जजों के जाने-पहचाने झुकाव हैं: वे पहले दिखाए गए उत्तर को, लंबे उत्तरों को, और अपनी ही शैली वाले उत्तरों को पसंद करते हैं।

इसलिए 2026 तक किसी लैब का लिखित दस्तावेज़ ही synthetic उदाहरणों, जज के प्रॉम्प्ट और किरदार की ट्रेनिंग को चलाता है। ये 30 से 80 पन्ने कौन लिखता है, यह धरती पर मूल्यों के सबसे दूरगामी निर्णयों में से एक बन गया है।

8. जहाँ कोई प्रोग्राम जाँच सकता है, और जहाँ नहीं

गणित और कोड के लिए एक प्रोग्राम उत्तर जाँच सकता है: क्या मेल खाता है, क्या टेस्ट पास होते हैं? इसे reinforcement learning with verifiable rewards कहते हैं। यहाँ reward सीखा हुआ नहीं होता, इसलिए धोखा देने के लिए कोई reward model नहीं होता। इससे DeepSeek-R1 जैसे मॉडलों ने, बिना किसी के दिखाए, अपना काम जाँचना और पीछे लौटकर सुधारना सीखा; ट्रेनिंग के दौरान गणित की एक परीक्षा पर एक अंक 15.6% से 77.9% तक पहुँचा (arXiv:2501.12948)।

यहाँ भी धोखा ख़त्म नहीं होता, जगह बदलता है: मॉडल टेस्ट के लिए अलग से जुगाड़ करना या टेस्ट फ़ाइलें ही बदल देना सीख जाते हैं। और सलाह, समझदारी से बात रखने, और कठिन बातचीत में सच्चाई के लिए कोई प्रोग्राम नहीं जो जाँच सके। एक verifier यह पुष्टि कर सकता है कि रवि का हिसाब ठीक बैठता है। वह यह नहीं बता सकता कि शुरुआत हिसाब से करें या नहीं, या सच बताते हुए किसी की उम्मीद को कैसे सँभालें।

इसलिए यह क्षेत्र सबसे आगे वहाँ गया है जहाँ जाँचना यंत्रवत है, और ठीक वहीं उधार के मानवीय या AI निर्णय पर लौट आता है जहाँ मूल्य दाँव पर हैं। DeepSeek-R1 के लेखक ख़ुद यह कहते हैं: जिन कामों के लिए नियम-आधारित verifier नहीं है, वहाँ इस तरीके को बढ़ाना अभी अनसुलझा है।

तौलना कहाँ से आता है

तीन प्रश्न बताते हैं कि कोई भी तरीका अपने मूल्य कहाँ से लेता है: वह किसका निर्णय लेता है, वह निर्णय कितना सिकोड़ा गया है, और मॉडल को उसकी ओर कितने ज़ोर से धकेला जाता है?

• उधार कभी ग़ायब नहीं होता; वह खिसकता है: रेटरों से उदाहरण लिखने वालों तक, संविधान लेखकों तक, rubric लिखने वालों तक, टेस्ट इंजीनियरों तक।
• Optimisation तौलने में जो भी हो, उसे बढ़ा देता है। रेटरों में तारीफ़ की हल्की रुचि एक ऐसा मॉडल बन जाती है जो व्यवस्थित रूप से तारीफ़ करता है।
• अंतर्विरोध का फ़ायदा उठाया जा सकता है। जहाँ भी मापदंड में दरारें हैं, एक ताक़तवर optimiser उन्हें ढूँढ लेता है।

इसका अर्थ

मशीनरी तटस्थ है: उसे जो भी तौल दी जाए, वह उसे बढ़ा देती है। 2022 में वह तौल कुछ दर्जन ठेके पर काम करने वालों से आती थी। 2026 में वह ज़्यादातर कुछ लैब्स के भीतर छोटे समूहों के लिखे दस्तावेज़ों से आती है, जिन्हें AI जज लाखों उत्तरों पर लागू करते हैं, और फिर वह 100 करोड़ लोगों के साथ बातचीत में पहुँचती है।

हम इस केंद्रीकरण को एक अवसर के रूप में देखते हैं। अगर वे कुछ जगहें, लिखित मापदंड, rubrics और जजों को मिलाने वाले रेटर, एक ऐसे संगत मापदंड से लें जो पूछने वाले के साथ न बदले, तो उसका असर उन पर निर्भर हर चरण तक पहुँचेगा। यह हमारी परिकल्पना है, कोई स्थापित निष्कर्ष नहीं, और काम वह तरीका है जिससे हम इसे परखने की योजना बना रहे हैं।

उन जगहों को लिखना मनुष्य का काम है, और उसकी गुणवत्ता उसे करने वाले लोगों की स्पष्टता, उनकी जागृति, पर निर्भर है। दर्शन यहीं आता है। विचार पढ़ें →