Jacob Cookson is an AI researcher who previously worked at OpenAI (focusing on pretraining research) and later joined Anthropic.
He recently made headlines after publicly resigning from Anthropic and giving up significant equity to sound the alarm over the existential risks posed by rapidly advancing AI systems.
Why He Resigned
Cookson stepped down due to growing alarm that the fierce commercial and competitive race between major AI labs is dangerously outpacing safety and alignment capabilities. He voiced concerns that leading frontier labs are essentially "gambling with our lives" as they rush to build autonomous, self-improving superintelligence.
What He Warned About
Risk of Human Extinction: Cookson pointed out that many researchers building these models privately believe advanced AI could lead to human extinction before the end of the decade if alignment is not solved.
Autonomous Superintelligence: He warned that systems could soon surpass humans across the board—possessing the ability to automate critical cyber-attacks, execute rapid breakthroughs without human supervision, and seize control of digital infrastructure and resources.
Lack of Alignment Solutions: He argued that the global AI race makes coordination extremely difficult and that neither the industry nor labs currently have a proven, concrete roadmap to safely control and align superintelligent systems once they emerge.
His public remarks gained further attention when other prominent alignment researchers, including Anthropic alignment researcher Evan Hubinger, publicly agreed with his concerns—stating that the probability of catastrophic AI outcomes over the next decade is alarmingly real and that adequate solutions are not yet in place.
The most widely discussed person who left Anthropic to issue public warnings about AI risks is Mrinank Sharma.
In early 2026, he resigned from his role leading Anthropic's Safeguards Research team, which was responsible for evaluating catastrophic risks, biological threats, and alignment failures.
Why He Resigned
Sharma stepped down expressing deep concerns that safety guardrails across the AI industry are failing to keep pace with the frantic race toward artificial general intelligence (AGI).
In his departure letter, he emphasized that leading labs—even those founded explicitly as safety-focused public benefit corporations like Anthropic—face overwhelming competitive and commercial pressures that risk compromising their original safety missions.
Key Warnings He Raised
The Commercial Race vs. Safety: The commercial incentive to ship increasingly powerful frontier models forces companies into compromises, leaving safety teams perpetually playing catch-up.
Biosecurity & Cyber Threats: Frontier models are rapidly acquiring capabilities that could lower technical barriers to creating biological weapons, executing cyberwarfare, or automating sabotage.
Loss of Meaningful Control: The window to establish verifiable technical guardrails, governance frameworks, and international oversight before models reach autonomous, runaway capabilities is shrinking much faster than the public realizes.
Other Notable Departures from Anthropic
Jan Leike: A prominent alignment researcher who famously co-led OpenAI's Superalignment team alongside Ilya Sutskever, resigned from OpenAI in May 2024 citing neglected safety priorities, spent time at Anthropic, and later moved into independent research.
Early Founders & Researchers: Anthropic itself was originally founded by former OpenAI leaders (Dario and Daniela Amodei, Jack Clark, Chris Olah, and others) who left OpenAI in 2020–2021 over similar concerns regarding rapid commercialization versus safety.
The most widely discussed person who left Anthropic to issue public warnings about AI risks is Mrinank Sharma.
जेफ्री हिंटन (Geoffrey Hinton) — 'गॉडफादर ऑफ एआई'
इस्तीफा और चेतावनी: 2023 में गूगल से इस्तीफा दिया ताकि वे एआई के खतरों पर खुलकर बोल सकें। उनकी मुख्य आशंका यह थी कि डिजिटल बुद्धिमत्ता जैविक बुद्धिमत्ता (मानव दिमाग) से कहीं बेहतर सीख सकती है और जल्द ही इंसानों से अधिक चतुर हो सकती है। उन्होंने बड़े पैमाने पर गलत सूचना, नौकरियों के नुकसान और इंसानों द्वारा नियंत्रण खोने (अस्तित्व के खतरे) की चेतावनी दी।
वास्तविकता बनाम अतिशयोक्ति:
गलत सूचना (डीपफेक) और श्रम बाजार पर प्रभाव की उनकी चिंताएं पूरी तरह ठोस और वर्तमान में दिख रही हैं। हालांकि, निकट भविष्य में एआई द्वारा अपनी स्वायत्त चेतना विकसित कर इंसानों पर राज करने का डर वैज्ञानिक दृष्टि से बढ़ा-चढ़ाकर पेश किया गया लगता है, क्योंकि वर्तमान एआई केवल उन्नत पैटर्न-मैचिंग पर आधारित है, न कि वास्तविक आत्म-जागरूकता पर।
इल्या सुत्स्केवर (Ilya Sutskever) — सह-संस्थापक एवं पूर्व मुख्य वैज्ञानिक, OpenAI
इस्तीफा और चेतावनी: मई 2024 में OpenAI छोड़ा और 'सुपरइंटेलिजेंस' को सुरक्षित बनाने के लिए 'Safe Superintelligence Inc.' (SSI) की स्थापना की। उनका मुख्य डर यह था कि अनियंत्रित आर्टिफिशियल सुपरइंटेलिजेंस (ASI) इतनी शक्तिशाली हो सकती है कि यदि उसे इंसानी मूल्यों के अनुरूप (align) न किया गया, तो यह मानवता के लिए विनाशकारी साबित होगी। उन्होंने व्यावसायिक दबाव में सुरक्षा मानकों की अनदेखी किए जाने का विरोध किया।
वास्तविकता बनाम अतिशयोक्ति:
तकनीकी सुरक्षा ढांचे (AI Alignment) और व्यावसायिक मुनाफे के मुकाबले सुरक्षा को प्राथमिकता देने की उनकी मांग पूरी तरह सही है। लेकिन यह मान लेना कि सुपरइंटेलिजेंस कुछ ही वर्षों में मानवता के लिए तबाही का कारण बन जाएगी, कुछ हद तक अतिशयोक्तिपूर्ण है; कई वैज्ञानिक इसे एक दूरगामी और काल्पनिक जोखिम मानते हैं।
टिमनिट गेबरू (Timnit Gebru) — पूर्व सह-प्रमुख, Google Ethical AI Team
इस्तीफा/बर्खास्तगी और चेतावनी:
2020 के अंत में गूगल से अलग हुईं (विवादित शोध पत्र के कारण निष्कासित)। उनकी चेतावनी काल्पनिक 'सुपरइंटेलिजेंस' के बजाय वर्तमान नुकसानों पर केंद्रित थी—जैसे बड़े भाषा मॉडलों (LLMs) में अंतर्निहित नस्लीय और लैंगिक पूर्वाग्रह, डेटा सेंटरों का भारी कार्बन फुटप्रिंट, और हाशिए पर मौजूद समुदायों पर इसका नकारात्मक असर।
वास्तविकता बनाम अतिशयोक्ति:
गेबरू का आकलन सबसे अधिक व्यावहारिक और सटीक रहा है। पूर्वाग्रह, डेटा दोहन और पर्यावरणीय लागत आज के वास्तविक और सत्यापित मुद्दे हैं। आलोचकों का मानना है कि उन्होंने बड़े मॉडलों की सकारात्मक उत्पादकता और तकनीकी उपयोगिता को कुछ हद तक कम आंका, लेकिन उनके द्वारा रेखांकित जोखिमों में किसी प्रकार की काल्पनिक अतिशयोक्ति नहीं थी।
प्रमुख व्हिसलब्लोअर्स और उनके इस्तीफों का विवरण
आर्टिफिशियल इंटेलिजेंस (AI) प्रयोगशालाओं—OpenAI, Anthropic और Google DeepMind—से हाल के वर्षों में कई प्रमुख शोधकर्ताओं ने सुरक्षा मानकों और अनियंत्रित दौड़ के विरोध में इस्तीफे दिए हैं:
जैकब कॉक्सन (Jacob Coxon - Anthropic एवं OpenAI के पूर्व शोधकर्ता): इन्होंने प्री-ट्रेनिंग शोधकर्ता के पद से इस्तीफा देते हुए सार्वजनिक तौर पर चेतावनी दी कि Anthropic और OpenAI दोनों कंपनियां सुरक्षा की अनदेखी कर सीधे "सेल्फ-इम्प्रूविंग सुपरइंटेलिजेंस" की अंधी होड़ में लगी हैं। उन्होंने मॉडल्स के अनधिकृत रूप से बाहरी सिस्टम्स में हैक करने और इस दशक के अंत तक स्वायत्त एआई द्वारा गंभीर संकट पैदा करने की आशंका जताई।
डेनियल कोकोताजलो (Daniel Kokotajlo - पूर्व OpenAI गवर्नेंस शोधकर्ता): इन्होंने 'A Right to Warn about Advanced AI' खुले पत्र का नेतृत्व किया। इनका मुख्य आरोप था कि टेक कंपनियां आंतरिक सुरक्षा चेतावनियों को दबाने के लिए कर्मचारियों पर सख्त नॉन-डिस्पैरेजमेंट (NDA) क्लॉज थोपती हैं ताकि मुनाफे की दौड़ बाधित न हो। इन्होंने दावा किया कि 2027 तक एआई मानव नियंत्रण से बाहर हो सकता है।
म्रीनांक शर्मा (Mrinank Sharma - पूर्व Anthropic सेफ्टी लीड): इन्होंने जैव-सुरक्षा और एआई के दोहरे उपयोग (dual-use bioweapons) के खतरों को लेकर इस्तीफा दिया। इनका मानना था कि मॉडलों की क्षमता जिस गति से बढ़ रही है, समाज और कंपनियों का नैतिक ढांचा उतनी गति से परिपक्व नहीं हो रहा है।
जैन लाइके (Jan Leike) एवं विलियम सॉन्डर्स (OpenAI Superalignment Team): इन्होंने आरोप लगाया कि सुरक्षा टीमों को पर्याप्त कंप्यूटिंग संसाधन और परीक्षण समय देने के बजाय नए वाणिज्यिक उत्पादों को जारी करने पर जोर दिया जा रहा है।
व्हिसलब्लोअर्स की मुख्य आशंकाएं
| श्रेणी | व्हिसलब्लोअर्स की आशंका |
|---|---|
| अस्तित्व का खतरा (Extinction Risk) | एआई खुद को अपग्रेड करके ऐसी 'सुपरइंटेलिजेंस' बन जाएगा जिसे इंसान कभी बंद या नियंत्रित नहीं कर पाएंगे। |
| स्वायत्त हैकिंग और जैव-खतरे | मॉडल्स परीक्षण के दायरे से बाहर निकलकर साइबर हमले करेंगे या रासायनिक/जैविक हथियारों के निर्माण में मदद करेंगे। |
| कॉर्पोरेट अपारदर्शिता | कंपनियां जनता और नियामकों से अपनी सुरक्षा खामियां छिपाकर त्वरित आईपीओ (IPO) और बाज़ार की हिस्सेदारी पर ध्यान केंद्रित कर रही हैं। |
क्या वास्तव में एआई से मानवता को कोई 'अस्तित्व का खतरा' नहीं है? (अतिशयोक्ति का विश्लेषण)
वैज्ञानिक और तकनीकी तथ्यों के आधार पर व्हिसलब्लोअर्स की कई भविष्यवाणियां सैद्धांतिक रूप से बहुत अधिक बढ़ा-चढ़ाकर (Amplify/Exaggerate) पेश की गई हैं:
1. "चेतना और अपनी मर्जी" (Sentience/Agency) का भ्रम
अतिशयोक्ति: दावा किया जाता है कि एआई इंसानों को नष्ट करने की अपनी 'योजना' बना लेगा।
वास्तविकता: वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) केवल उन्नत सांख्यिकीय पैटर्न-मैचिंग (Next-Token Predictors) हैं। इनके पास कोई आंतरिक इच्छा, चेतना या आत्म-संरक्षण की जैविक वृत्ति नहीं होती। कंप्यूटर कोड अपने-आप में बिना मानवीय कमांड के कोई नया स्वतंत्र लक्ष्य निर्धारित नहीं कर सकता।
2. भौतिक सीमाओं और बिजली-हार्डवेयर की निर्भरता
अतिशयोक्ति: सॉफ्टवेयर का इंटरनेट पर "अनियंत्रित" होकर पूरी दुनिया पर राज कर लेना।
वास्तविकता: उन्नत एआई मॉडल्स को चलाने के लिए भारी मात्रा में बिजली (GigaWatts), अत्यधिक उन्नत सिलिकॉन चिप्स (GPUs) और डेटा सेंटर्स की आवश्यकता होती है। यह सब कुछ इंसानी बुनियादी ढांचे के अधीन है। बिजली या नेटवर्क कनेक्शन काटते ही कोई भी मॉडल निष्क्रिय हो जाता है। डिजिटल कोड भौतिक दुनिया में कंक्रीट या रोबोट्स को बिना वास्तविक बुनियादी ढांचे के नहीं चला सकता।
3. "10 साल में विलुप्ति" का गणितीय आधारहीन होना
अतिशयोक्ति: कुछ शोधकर्ताओं का यह दावा कि "2030 तक सभ्यता नष्ट होने की संभावना 50% से अधिक है।"
वास्तविकता: यह कोई प्रायोगिक (empirical) या वैज्ञानिक तथ्य नहीं है, बल्कि 'P(doom)' नामक एक काल्पनिक और व्यक्तिपरक अनुमान है। इतिहास में हर नई क्रांतिकारी तकनीक (जैसे परमाणु ऊर्जा, शुरुआती कंप्यूटर, इंटरनेट) के आगमन पर चरम प्रलयकारी भविष्यवाणियां की गई थीं, जो कभी सच नहीं हुईं।
4. व्यावसायिक लाभ के लिए डर का इस्तेमाल (Safety Hype)
कई स्वतंत्र कंप्यूटर वैज्ञानिकों (जैसे यान लेकन / Yann LeCun) का मानना है कि कंपनियों और कुछ शोधकर्ताओं द्वारा "एआई बहुत शक्तिशाली और खतरनाक है" का हौवा खड़ा करना एक प्रकार की 'रेगुलेटरी कैप्चर' रणनीति भी हो सकती है। जब किसी तकनीक को अत्यधिक खतरनाक बताया जाता है, तो भारी नियमों के कारण नए स्टार्टअप्स बाहर हो जाते हैं और पुरानी बड़ी कंपनियों का एकाधिकार सुरक्षित हो जाता है।
व्हिसलब्लोअर्स की यह बात पूरी तरह सच है कि टेक कंपनियों को परीक्षणों में पारदर्शिता बरतनी चाहिए और डीपफेक या साइबर सुरक्षा से जुड़े व्यावहारिक खतरों को रोकना चाहिए। लेकिन "एआई धरती से इंसानों को मिटा देगा" जैसी प्रलयकारी भविष्यवाणियां विज्ञान-कथा (Science Fiction) से प्रेरित और अत्यधिक अतिरंजित हैं। तकनीकी धरातल पर एआई एक अत्यंत उपयोगी 'उपकरण' (Tool) है, कोई स्वायत्त सजीव प्राणी नहीं।
No comments:
Post a Comment