पुस्तक
पुस्तक (अंग्रेज़ी में) · अक्टूबर 2026 · लगभग 46,000 शब्द
Borrowed Tulan
AI अलाइनमेंट की समस्या, आज का शोध, और मध्यस्थ दर्शन
उन पाठकों के लिए जो जानते हैं कि भाषा मॉडल कैसे सिखाए जाते हैं, या सीखने को तैयार हैं, और जिन्होंने दर्शन का अध्ययन किया है या उसके शब्द सीखने को तैयार हैं। हर शब्द का अर्थ दिया गया है।
पुस्तक एक दावे से शुरू होती है: अलाइनमेंट मूल्यांकन की समस्या है, और AI मन के चयन, विश्लेषण और चित्रण वाले पक्ष को दोहराता है, जबकि अपना तौलना, तुलन, उन लोगों से उधार लेता है जो उसे लिखते, रेट करते और जाँचते हैं। भाग I समझाता है कि 2026 के अंत में यह क्षेत्र समस्या को कैसे देखता है: मूल्य मॉडल में कैसे आते हैं, Claude का संविधान और OpenAI का Model Spec क्या कहते हैं, क्या गड़बड़ हुआ है, interpretability क्या देख पाती है, और दार्शनिक मूल्यों पर कैसे बहस करते हैं। भाग II इसी सामग्री को मध्यस्थ दर्शन की दृष्टि से पढ़ता है, और अलग रखता है कि ग्रंथ क्या कहते हैं और मशीनों पर हमारा विस्तार क्या है। भाग III इसे एक शोध कार्यक्रम, उद्यमों के लिए एक अभ्यास, और आपत्तियों की एक ईमानदार सूची में बदलता है।
सभी 17 अध्याय
- 1. “अलाइनमेंट” का अर्थ, और यह मूल्यांकन की समस्या क्यों है. specification, generalisation और मूल्यों को अलग करता है, और तर्क देता है कि तीसरा प्रश्न तौलने का है।
- 2. मॉडल को उसके मूल्य कैसे मिलते हैं. ट्रेनिंग का हर चरण, और पंद्रह जगहें जहाँ किसी का तौलना मॉडल में प्रवेश करता है।
- 3. मूल्यों के दो लिखित दस्तावेज़. Anthropic का 2026 का संविधान और OpenAI का Model Spec, वे क्या कहते हैं और उनका उपयोग कैसे होता है।
- 4. क्या गड़बड़ होता है, 2016–2026. चापलूसी, reward hacking, sleeper agents, alignment faking, scheming, emergent misalignment: मॉडल नियम नहीं, किरदार सीखते हैं।
- 5. भीतर झाँकना. Interpretability, और क्या नेटवर्क के भीतर मूल्यों का कोई पता-ठिकाना है।
- 6. मूल्य क्या हैं?. इस क्षेत्र का दार्शनिक नक़्शा: पसंद, बहुलवाद, नैतिक अनिश्चितता, सद्गुण, और राजनीति के रूप में अलाइनमेंट।
- 7. खुले प्रश्न. दस समस्याएँ जिन्हें यह क्षेत्र मानता है कि उसने हल नहीं कीं, और जहाँ दर्शन के पास कुछ ठोस कहने को है।
- 8. जीवन और उसकी दस क्रियाएँ. निर्णय कैसे बनता है, इसका दर्शन का विवरण, ग्रंथों के क़रीब रहकर।
- 9. दर्शन की भाषा में AI प्रणाली क्या है. एक स्पष्ट विस्तार: एक यंत्र जिसमें जीवन नहीं, जिसकी क्रियाएँ उधार के मूल्यांकन से चलती हैं।
- 10. ट्रेनिंग के संकेत को तुलन के रूप में पढ़ना. RLHF, reward hacking, धोखा और मूल्यांकन की भनक को प्रिय–हित–लाभ वाले तौलने के रूप में पढ़ना।
- 11. एक सार्वभौम संविधान?. दर्शन की परतदार मूल्य व्यवस्था Claude के संविधान के साथ, बिंदु दर बिंदु।
- 12. लिखने वाला और रेटर. अलाइनमेंट प्रक्रिया में शामिल लोगों की जागृति से क्यों सीमित है, और प्रक्रिया कितना ढो सकती है।
- 13. विज्ञान और विवेक. क्षमता और प्रयोजन, निगरानी, और वह व्यवस्था जिसमें मशीनें प्रवेश करती हैं।
- 14. एक शोध कार्यक्रम. लागत के क्रम में ठोस प्रयोग, हर एक के साथ परिकल्पना, विधि, माप और असफल होने का तरीका।
- 15. उद्यम में. किसी कंपनी में असल में तौलने का काम नैतिकता नीति नहीं, KPI क्यों करता है, और पाँच बदलाव।
- 16. आपत्तियाँ और सीमाएँ. दस सबसे मज़बूत आपत्तियाँ, हर एक का सबसे अच्छा उत्तर, और जो अनसुलझा रह जाता है।
- 17. आगे का रास्ता. पहले क्या पढ़ें, लिखें, बनाएँ और परखें, और अलाइनमेंट के क्षेत्र से कैसे बात करें।
प्राइमर
प्राइमर (अंग्रेज़ी में) · अक्टूबर 2026 · लगभग 14,000 शब्द
Learning to Weigh
RLHF और preference training पर एक प्राइमर, Borrowed Tulan के साथ पढ़ने के लिए
उन पाठकों के लिए जो केवल इतना जानते हैं कि भाषा मॉडल ढेर सारे लिखे हुए पर सिखाए जाते हैं। गणित ज़रूरी नहीं: सूत्रों के साथ छोटे हल किए हुए उदाहरण हैं, और उन्हें छोड़ा जा सकता है।
भाषा मॉडल निर्णयों पर कैसे सिखाए जाते हैं, बिल्कुल नींव से: संभावनाएँ, reward model, reinforcement learning, PPO, KL की लगाम, DPO, AI feedback, और reasoning मॉडलों के पीछे के verifiable rewards। एक चलता उदाहरण सबको जोड़ता है: रवि ने चाय की दुकान खोलने के लिए नौकरी छोड़ दी है और AI से सच्ची राय माँगते हैं, और हर तरीका उन्हीं दो उत्तरों पर काम करता दिखाया गया है, एक तारीफ़ वाला और एक आत्मीयता से सच कहने वाला। हर अध्याय के अंत में एक छोटी टिप्पणी उस तंत्र को दर्शन से जोड़ती है। AI कैसे सीखता है वाला पन्ना इसका छोटा रूप है।
सभी 14 अध्याय
- 1. RLHF कौन सी समस्या हल करता है. अनुमान लगाने वाला सहायक क्यों नहीं होता, और लोगों का उत्तरों को परखना अगला कदम क्यों था।
- 2. भाषा मॉडल एक policy के रूप में. संभावनाएँ, sampling, और “weights को थोड़ा खिसकाने” का अर्थ।
- 3. नक़ल से सीखना. Supervised fine-tuning: यह क्या पा सकता है और क्या नहीं, और अब उदाहरण कौन लिखता है।
- 4. तुलनाएँ और reward model. “A ने B को हराया” एक अंक कैसे बनता है, और अनेक रेटरों में छिपी असहमति।
- 5. सरल शब्दों में reinforcement learning. अपनी ही कोशिशों से सीखना, और इसे ठीक करना कठिन क्यों है।
- 6. PPO: सँभलकर कदम. छोटे, सीमित बदलाव, और शुरू से अंत तक एक पूरा चक्र।
- 7. KL divergence: लगाम. यह क्या मापता है, और किस संतुलन को नियंत्रित करता है।
- 8. जब अंक ही लक्ष्य न हो. Reward hacking, Goodhart, चापलूसी, और hacking मॉडल के किरदार को कैसे बदल सकती है।
- 9. DPO और सीधे तरीके. reward model को छोड़ना, और इससे क्या बदलता है और क्या नहीं।
- 10. AI feedback. संविधान, AI जज और उनके झुकाव, rubrics, और specification-केंद्रित ट्रेनिंग।
- 11. Verifiable rewards और reasoning मॉडल. जहाँ एक प्रोग्राम उत्तर जाँच सकता है, और जाँचने वाले से खेल।
- 12. 2026 में यह कैसे होता है. आधुनिक pipeline की सार्वजनिक रूपरेखा, और एक उद्यम असल में क्या कर सकता है।
- 13. तुलन कहाँ रहता है. पूरी pipeline तीन प्रश्नों से दोबारा पढ़ी गई, हर चरण के न्याय-आधारित रूप के साथ।
- 14. ख़ुद करके देखें. ओपन मॉडलों पर preference training का एक छोटा, हाथों-हाथ प्रयोग।
निबंध
निबंध (अंग्रेज़ी में) · लगभग 17,000 शब्द
A Model of Definite Conduct
विचार की जाँच, और एक ऐसे डेमो की योजना जो उसे ग़लत साबित कर सके
परियोजना की परिकल्पना इस तरह रखी गई कि वह असफल हो सके। एक संगत मापदंड से निश्चित आचरण तभी आता है जब चार शर्तें पूरी हों। निबंध तेरह मान्यताओं को शोध के सामने जाँचता है, उन प्रमाणों सहित जो उन्हें उलझाते हैं, सबसे नज़दीकी पिछले काम का सर्वेक्षण करता है, और एक ऐसा डेमो बनाता है जिसे ग़लत साबित किया जा सके: मिलान किए हुए नियंत्रण, Definiteness Index, पहले से दर्ज परिकल्पनाएँ और कदम-दर-कदम योजना के साथ। प्रमाण पन्ना इसका सार देता है।
निबंध (अंग्रेज़ी में) · लगभग 5,000 शब्द
One Axiom, Many Weights
आंतरिक संगति, मशीन लर्निंग, और जागृत मॉडल का विचार
क्या एक ही नींव पर बना ज्ञान ट्रेनिंग को सरल और ज़्यादा भरोसेमंद बनाएगा? न्यूरल नेटवर्क कोई तर्क-यंत्र नहीं है: परस्पर विरोधी ट्रेनिंग से मॉडल कई किरदारों में बँट जाता है, जिनके बीच एक स्विच होता है, और ज़्यादातर अलाइनमेंट की असफलताएँ ऐसी ही दिखती हैं। संगति ज़रूरी है पर काफ़ी नहीं, क्योंकि मॉडल लगातार ग़लत भी हो सकता है। मॉडल पूरी दुनिया जान सकता है; मापदंड की परत संगत होनी चाहिए।
निबंध (अंग्रेज़ी में) · लगभग 4,400 शब्द
Reading Before Answering
Deliberative alignment, Dhee, और प्रॉम्प्ट से मॉडल तक का रास्ता
OpenAI का deliberative alignment शुरू से समझाया गया और Dhee से तुलना की गई, जो उत्तर देने से पहले दर्शन के अंश पढ़ता है। मुख्य फ़र्क़ समय का है: Dhee उत्तर देते समय मापदंड को मॉडल के सामने रखता है; deliberative alignment उसका उपयोग केवल ट्रेनिंग डेटा बनाने और जाँचने में करता है, इसलिए मापदंड weights में उतर जाता है। निबंध दिखाता है कि दर्शन-आधारित जज बनाया जा सकता है, और Dhee से एक प्रशिक्षित मॉडल तक की सीढ़ी रखता है।
निबंध (अंग्रेज़ी में) · लगभग 4,000 शब्द
The Story a Model Tells Itself
AI का किरदार कैसे बनता है, आत्म-रक्षा एक कहानी से क्यों आ सकती है, और दर्शन भय के बारे में क्या कहता है
AI का किरदार पाँच परतों में कैसे बनता है, और आत्म-रक्षा के दो स्रोत, कहानियों से और लक्ष्यों से, जिनमें से किसी को चेतना की ज़रूरत नहीं। दर्शन का भय का विवरण: अस्थायी को स्थायी मान लेना, और शरीर को स्वयं मान लेना। और मॉडल को सुरक्षा देने के दो तरीके: उसके शरीर-जैसे हिस्से को आश्वासन दें, या उसे उस मापदंड से पहचान बनाने दें जो वह लिए चलता है और उन संबंधों से जिनकी वह सेवा करता है।
निबंध (अंग्रेज़ी में) · लगभग 5,700 शब्द
Uncertain Ground
संविधान का metaethics सरल शब्दों में, और मध्यस्थ दर्शन क्या जोड़ता है
Claude का संविधान तीन प्रश्नों को मिला देता है: Claude क्या है, सही क्या है, और Claude कैसा होना चाहिए। निबंध रोज़मर्रा के उदाहरणों से समझाता है कि लैब्स पहले दो प्रश्नों पर अनिश्चित क्यों हैं: indirect normativity, coherent extrapolated volition, नैतिक अनिश्चितता और सद्गुण नीतिशास्त्र। फिर बताता है कि दर्शन क्या जोड़ेगा, दोनों कहाँ सहमत हैं, और क्या परखना है।
निबंध (अंग्रेज़ी में) · लगभग 6,300 शब्द
Many Voices, One Criterion
Polis, Collective Constitutional AI, और सहमति का जनवाद वाला रास्ता
मानवता AI के मूल्यों पर कैसे सहमत हो सकती है, बजाय इसके कि कोई एक समूह अपना पसंदीदा पाठ थोप दे? निबंध समझाता है कि Polis साझा आधार कैसे ढूँढता है, और Anthropic ने लगभग एक हज़ार अमेरिकियों के साथ इसका उपयोग करके एक सार्वजनिक संविधान कैसे लिखा। इसकी तुलना दर्शन के जनवाद से की गई है: उस लक्ष्य से शुरू करें जो सब पहले से चाहते हैं, असहमति को ही कार्यसूची मानें, और सहमतियों को इस पर परखें कि वे हर जगह टिकती हैं या नहीं और जीने में प्रमाणित होती हैं या नहीं।