লার্কিং ভ্যারিয়েবল কি করে কাজ করে সেটা আর একটু বুঝিয়ে বল। টোটাল পপুলেশানের মিনটাকে নর্মালাইজ করে তারপরে মডেলে ফিট করার মত কিছু কি? 

বাহ বাহ

লার্কিং ভেরিয়েবল কাজ করে লুকিয়ে থেকে - মানে ধর তুই দেখছিস যে এ আর বি-এর মধ্যে বেশ স্ট্রং কোরিলেশন আছে, কিন্তু খুঁজলে দেখা যাবে, এ আর বি এর মাঝে ঘাপটি মেরে 'সি' লুকিয়ে আছে। এ আর সি, এবং সি আর বি কোরিলেটেড, কিন্তু এ আর বি-এর মধ্যে সম্পর্ক-টা হয়তো সরাসরি নয়।

ছোটোবেলায় একটা এমন ট্রিভিয়াল উদাহরণ দেওয়া হতো যে বয়েস বাড়লে মাইনে বাড়ে, আবার রক্তচাপ-ও বাড়ে, তাই মাইনে আর রক্তচাপের মধ্যে বেশ হাই কোরিলেশন, কিন্তু তার মানে এই নয় যে মাইনে বাড়লেই রক্তচাপ বাড়ে। অনেক সিরিয়াস ভালো উদাহরণ-ও আছে। যেমন প্রথম সন্তানের তুলনায় দ্বিতীয় বা দ্বিতীয়ের তুলনায় তৃতীয়ের ডাউন সিনড্রোম দেখা দেওয়ার সম্ভাবনা বেশী - এখানে কনফাউন্ডিং বা লার্কিং ভেরিয়েবল হচ্ছে মেটারনাল এজ। আরও অনেক অনেক এমন আছে - সোশ্যাল সায়েন্সেও অনেক চমৎকার উদাহরণ আছে। আবার কি করে এদের ধরা যায়, ধরলে কি করতে হয় এইসব নিয়ে কজাল ইনফারেন্সে অনেক কায়দাকানুন আছে। 

আর কখনো কখনো জানা যায় যে লার্কিং ভেরিয়েবল-টা কি, কখনো যায় না - সেটার পোষাকী নাম স্পিউরিয়াস কোরিলেশন - একগাদা উদাহরণ এখানে পাবিঃ https://tylervigen.com/page?page=1 

 

@কি দরকারঃ ধন্যবাদ !! :) 

প্রচুর অঙ্ক ভীতি নিয়েও পড়লাম, অনেকটা বুঝলাম। যদু বাবুর মাইনে, বয়স ও রক্তচাপের উদাহরণটাও অসাধারণ। সবাইকে অশেষ 

অনেক ধন্যবাদ, উজ্জ্বল ! 'লার্কিং ভেরিয়েবল' নিয়ে কোনো একটি সংখ্যায় গুছিয়ে লিখবো ইচ্ছে আছে। 

আর অঙ্কভীতি তো সত্যি বলতে অঙ্কের মাস্টারমশাই হয়েও আমার এতো দিনেও কাটেনি, এক একদিন দুঃস্বপ্নে দেখেছি ক্লাসে একটা থিয়রেম প্রুফ করতে শুরু করে গুবলেট হয়ে গেছে আর পেছনে বাচ্চারা খুকখুক করে চাপা গলায় হাসছে। 

যদু বাবুর টিউশনি দারুন ভাবে এনজয় করলাম। এই লারকিং ভেরিয়েবল ব্যাপারটা ভীষন ইন্টারেস্টিং লাগল। চালিয়ে যান, দারুন হচ্ছে।

খুব সুন্দর বুঝিয়ে ছেন ধন্যবাদ

এই ভাবেও ভাবা যায়, a/b is greater than x/y আর c/d is greater than z/w, কিন্তু তার মানে এই নয় যে (a+c)/(b+d) সব সময় (x+z)/(y+w)এর চেয়ে বড় হবে।

রমিত, দু - আপনাদের অনেক ধন্যবাদ ! টিউ-শনি বেশ ভালো নাম, শনিবারেই বেরিয়েচে যখন।

অভ্যু-দাঃ এইটাই আসলে এক লাইনে বলার মতো সিম্পসন'স প্যারাডক্স। লিখবো ভেবেও আবার কিন্তু কিন্তু করুলাম।

এই লেখাগুলো কী করলে ভালো হয় সেই নিয়ে তোমার উপদেশ নিতে চাই। আর যদি অন্য কোনো টপিক-এর সাজেশন দাও তা'লে তো খুব খুব ভালো। 

আমার আপাততঃ ইচ্ছে আছে একটু ইন্ডিপেন্ডেন্স / কন্ডিশনাল প্রোবাবিলিটি নিয়ে লিখবো, একটু অন্যান্য ফ্যালাসি বা কাউণ্টার-ইনটুইটিভ উদাহরণ - বার্থডে বা ম্যাচিং প্রবলেম ইত্যাদি, 'র‍্যাণ্ডমনেস' বোঝা নিয়ে একটা, আর একটু অ্যালগোরিদমিক বায়াস। 

জ্যোতিষ্ক অত্যন্ত গুণী ছেলে। শুধু রিসার্চেই নয়, লেখার হাতও অত্যন্ত ভালো। খুব সুন্দর করে সবার জন্যে বুঝিয়ে লিখতে পারে, সেটা সবার কর্ম নয়।

থিওরেম প্রুফ করা নিয়েও টেনশন কিছু নেই - সেই রামার ঘটনা লিখেছিলাম আইএসআইএর টইতে - কে কে রয় অনেক কাণ্ড করে তিনটে বোর্ড জুড়ে প্রুফ করার পরে রামা বলেছিল বাট স্যার দ্য প্রোব্যাবিলিটি অফ দ্য ইভেন্ট উইল বি হাফ এনিওয়ে।

প্রোব্যাবিলিটি নিয়ে লেখা বেশ ভালো আইডিয়া। এই গুরুতেই দেখেছি A given B আর B given Aর তফাৎ করতে না পেরে লোকজনকে পাতার পর পাতা তর্ক করে যেতে - জাস্ট কোনো কমেন্ট না করে মুচকি মুচকি হাসতাম তখন :)

জেসিকা হার্ভার্ডের একজন লিবার‌্যাল আর্টসের জুনিয়র স্টুডেন্ট, কবিতা লেখে, উইকেণ্ডে সমাজসেবার কাজ করে। আর তার রুমমেট হল লরেন, সেও হার্ভাডের জুনিয়র - একই সাথে হার্ভার্ড জয়েন করেছিল। ফার রাইট গ্রুপের বিরুদ্ধে একটা পিটিশনে সই করার চান্স কার বেশি?

যদুবাবুর মাস্টারমশাই এটা আমাদের ক্লাসে পড়িয়েছিলেন।

কনজাংশন ফ্যালাসি ! দারুণ মনে করিয়ে দিলে !! জেকেজি ঠিক এই প্রশ্ন-টা আমাকে প্রথম দিন-ই মিটিং-এ জিগ্যেস করেছিলেন। (অবশ্য আমার যে আগে উত্তর-টা জানা ছিলো, সেটা আর বলিনি।) 

এইটার একটা ব্যাখ্যা Kahnemann,Tversky-এর বইতেও পড়েছি, ওদের উদাহরণ-টা এইরকমঃ 

"Linda is 31 years old, single, outspoken, and very bright. She majored in philosophy. As a student, she was deeply concerned with issues of discrimination and social justice, and also participated in anti-nuclear demonstrations. Which is more probable?

1. Linda is a bank teller.
2. Linda is a bank teller and is active in the feminist movement."
   
   ওদের উদাহরণ-গুলো নিয়ে দুর্ধর্ষ একটা লেখা হতে পারে, অবশ্য সবার পড়া কি না কে জানে? 
   
    

আগের কমেন্ট-টা মিস করে গেছি। 

"A given B আর B given Aর তফাৎ করতে না পেরে" - এইটাই তো Prosecutor's fallacy, তাই না? প্রোবাবিলিটি অফ এভিডেন্স গিভেন ইনোসেন্স, আর ইনোসেন্স গিভেন এভিডেন্স গুলিয়ে ফেললেই বিপত্তি। 

আমি এই বছর দুইতিন আগেই ক্লাসে বাচ্চাদের OJ Simpson trial এ এইটা কেমন ভুল হয়েছে বলছিলাম, আশ্চর্য হয়ে গেলাম দেখে যে এঁরা অনেকেই ওজে-র নাম জানে না। অবশ্য সেই বছর-ই একটা ডকু বেরোলো। তারপর দেখি সবাই জানে। 

রামা-দার গল্পটা এখন লেজেন্ড-এর পর্যায়ে। ওঁর-ই এক যোগ্য জুনিয়র বছর কয়েক পরে অলোক গোস্বামী-কে প্রুফের মাঝপথে আটকে যেতে দেখে অম্লান বদনে বলেছিলো, 'ডোণ্ট টেক চাপ, টেক p = 1/2'. (টেক পি ইক্যুয়াল টু হাফ)। 

JKG এটাই বলেছিলেন আমি একটু গণ্ডোগোল করে ফেলেছি :)

যদি কখনও কোনো dataset বিশ্লেষণ করে Simpson's paradox দেখা যায় তাহলে সেটা data কিভাবে বিশ্লেষণ করা হয়েছে সে ব্যাপারে এক জোরদার প্রশ্ন তোলে| দুই প্রতিদ্বন্দ্বী দেশ "ক" আর "খ" এর মেয়েদের গড় আয়ু আর ছেলেদের গড় আয়ু বিশ্লেষণ করলে যদি দুটো তেই "ক" দেশ টি এগিয়ে থাকে কিন্তু সমগ্র গড়ে যদি পিছিয়ে যায় তাহলে এটা ভাবা উচিত যে আমাদের কি আদৌ সমগ্র গড় করার কোনো মানে হয়? মেয়েদের গড় আয়ু আর ছেলেদের গড় আয়ু হয়তো শারীরিক তফাৎ থাকার কারণেই আলাদা| জোর করে সামগ্রিক গড় করলে সেই ফলাফলের কিছু স্পষ্ট interpretation থাকে না| যেমন আমি যদি আমার বয়সের সাথে আমার মাধ্যমিকের ফলাফল যোগ করে অন্যান্য দের সাথি এইটা তুলনা করি তার কোনো মানে দাঁড়ায় না|

"আমাদের কি আদৌ সমগ্র গড় করার কোনো মানে হয়?" - সিম্পসন'স প্যারাডক্স ধরা পড়লে তো নয় বটেই। না হলে মিস-লিডিং একটা সিদ্ধান্তে পৌঁছে যাওয়ার ভয় থাকে। জুডেয়া পার্লের টেকনিক্যাল রিপোর্ট-টায় এই নিয়ে সুন্দর বুঝিয়েছেন। 

তবে, "আমি যদি আমার বয়সের সাথে আমার মাধ্যমিকের ফলাফল যোগ করে" - সেখানে তো ভেরিয়েবলগুলো-ই আলাদা - ইউনিট আলাদা ইত্যাদি। সিম্পসন'স প্যারাডক্সের এই উপরের উদাহরণ-গুলোয় কিন্তু ভেরিয়েবল এক-ই, কিন্তু গড় নিলে ট্রেন্ড পালটে যেতেই পারে, কারণ ওই অভ্যুদা যা বললেন উপরে, অথবা লার্কিং ভেরিয়েবলের উপস্থিতি। 

 

যদু ও মধু দুজনকেই অনেক ধন্যবাদ। চমৎকার  আলোচনা।

দুবছর আগে কোরসেরায় অনলাইনের একটা চার মডিউলের কোর্স করেছিলাম  লজিক নিয়ে। তাতে কনজাংশন ও ডিসজাংশন ফ্যালাসি নিয়ে অনেক ট্রুথ টেবিল হোমটাস্ক করিয়েছে মনে পড়ছে। লিন্ডার উদাহরণ নাম বদলে ছিল। 

সব ভুলে গেছি। তাই যদুবাবুর আগামী ক্লাসের ওর অপেক্ষায়।

রঞ্জনদা, লিন্ডার গল্পটা এরকম - প্রোব্যাবিলিটি অফ A ইজ গ্রেটার দ্যান প্রোব্যাবিলিটি অফ (A and B)। এখানে A হচ্ছে ব্যাঙ্ক টেলার আর B হচ্ছে ফেমিনিস্ট। প্রবলেমটা হচ্ছে আপনি মনে মনে ধরে নিচ্ছেন A আসলে (A and NOT B), তা তো নয় আসলে!

অ্যাই! ঠিক  বলেছ। ওই মনে মনে ধরে নেওয়। ভুলে যাই-- যে রাঁধে সে চুল বাঁধে না, এমন মাথার দিব্যি কেউ দেয়নি। অর্থাৎ A, B not mutually exclusive, ।

এবং   ( A and  B)হল  subset of A. কাজেই P(.A )> P ( A and B).

ঠিক বুয়েছি?

হ্যাঁ রঞ্জন-দা, একদম ঠিক বুঝেছেন ! লিণ্ডার গল্প-টা যে পেপারে ছিলো তার Abstract-এর প্রথম সেণ্টেন্স-ই ঐটা। ঐ যে রাঁধে সে চুল বাঁধবে না ধরে নেওয়া-টাকে ওঁরা বলেছিলেন "রিপ্রেজেন্টেটিভনেস"। দুটো বর্ণনা-র মধ্যে দ্বিতীয়-টা শুনে মনে হয় ওইটা লিণ্ডাকে বেশী "রিপ্রেজেন্ট" করে। 

পেপারের লিঙ্কঃ https://pages.ucsd.edu/~mckenzie/TverskyKahneman1983PsychRev.pdf

পরে দেখতে পারেন। দারুণ দারুণ এক্সপেরিমেন্ট আছে। একটা যেমন আমার পার্সোন্যাল ফেভারিটঃ

ব্র্যাকেটের নম্বরগুলো র‍্যাঙ্ক (১ - হওয়ার চান্স সবথেকে বেশী, ২ - আরেকটু কম ইত্যাদি)। লোকে তিন নম্বর অপশন-টা (ফার্স্ট সেট খুইয়েও ম্যাচ বের করে নেবে)-টাকে বেশী প্রোবাবল মনে করে শুদ্ধু (ম্যাচ জিতবে) - এই ইভেন্ট-টার থেকে। 

এইটা আমি বিয়ন বর্গের জায়গায় রজার ফেডারার বসিয়ে এক্সপেরিমেন্ট করে দেখেছি, খুব বেশী পাল্টায় না। :) 

একটু বাজে ছড়িয়ে ফেলেছি তাড়াহুড়ো করতে গিয়ে। 

"Borg will lose the first set but win the match"(C) is rated more likely than "Borg will lose the first set" (B). 

বুঝতে পারছি। Sample size= will lose the first set.

Subset= will lose the first set but win.

কিন্ত খুঁটিয়ে না দেখলে পরেরটা বড় মনে হবে।

আচ্ছা, জেসিকা এবং লরেন এর পিটিশন সাইন কেসে দুটোই ইন্ডিপেন্ডেন্ট ইভেন্ট তো? তাহলে দুটোরই 1/2 হওয়ার কথা।

ছড়িয়েছি?

জেসিকা লরেনটা ঠিক দেওয়া হয় নি।
A = হার্ভার্ডে ঐ বছর ভর্তি হওয়া মেয়ে
B = লিবার‌্যাল আর্টস, সমাজসেবা
C = সই
তাহলে একটা P(C given A) অন্যটা P(C given (A and B)) এই রকম আর কি।

থেংকু অভ্যু

একদম কিলিয়ার।

আচ্ছা, ঘরে বসে প্রোবাবিলিটির আঁক করার, এলিমেন্টারি লেভেলের কোন বই সাজেস্ট করবে? একদম  পি ফর ডাম্ব গোছের?

বৃটিশ কাউন্সিলের লাইব্রেরিতে একটা পাতলা পুরনো বই  ছিল যাতে স্যাম্পল ডেটা নরমাল ডিস্ট্রিবিউশন হলে এরর লিমিট কেন দুদিকে 5% ধরা হয় সেটা ভাল করে বুঝিয়েছে--- ওরকম কোন বই। 

রঞ্জন-দা, আমার এক বন্ধুকে কয়েকদিন আগেই ঠিক এই প্রশ্নের উত্তর দিলাম। তাকে করা ইমেল-টাই আবার টুকে দিচ্ছি।
প্রথম-টা নতুন, ঐটা বাদ দিয়ে সব-কটাই পিডিএফ সার্চ করলেই পাওয়া যায় ইন্টারনেটে, আর সেটা আপত্তিকর হলে পড়ার বইয়ের দোকানেও খুঁজলে পাওয়া যেতে পারে। 

১। “Fundamentals of Probability: A First Course” by Anirban Dasgupta. (http://www.springer.com/us/book/9781441957795) [এইটি আমার ফার্স্ট ইয়ারের ছাত্রদের পড়ানোর টেক্সট। পড়ানোর জন্যেও ভালো আর অনির্বাণ-দা আমার শিক্ষক-ও বটে, ওনার pedagogy আমার সাথে মেলে। ].

২। A First Course in Probability: Sheldon Ross. [বিখ্যাত বই, সর্বত্রগামী, মাঝে মাঝে ইতিহাসের পাদটীকাও আছে, তবে একটু দামড়া, ব্লান্ট ইন্সট্রুমেন্ট অথবা আপৎকালীন বালিশ হিসেবেও ব্যবহার করা যায়।]

৩। Grinstead and Snell’s Introduction to Probability (পুরোনো টেক্সট, অতো না চললেও ফ্রি-তে পাওয়া যায় লেখক-দের সাইটে, তাই রেকমেণ্ড করিঃ https://math.dartmouth.edu/~prob/prob/prob.pdf )

৪। Introduction to Probability Theory – Hoel, Port & Stone. [বিখ্যাত বই, আকারে একটু কৃশকায়, তাই ভালো লাগে।]

৫। An Introduction to Probability Theory and Its Applications, William Feller (সর্বকালের সেরা বই এইটি, আমরা আই-এস-আই-এর ফার্স্ট-সেকেণ্ড ইয়ারে পড়েছি, একটু শক্ত লাগলেও অবিশ্বাস্য রকমের ভালো বই। আমার চেনা এক রাশান প্রোবাবিলিস্ট/লেখক বলেছিলেন তাকে যদি একটা নির্জন দ্বীপে পাঠানো হয় আর দুইটি মাত্র বই সঙ্গে রাখার অনুমতি দেওয়া হয়, তিনি কোনো কবিতা বা সাহিত্যের বই না নিয়ে শুধু ফেলারের দুই ভল্যুম নিয়ে পোঁছে যাবেন। অঙ্ক কষে আর ভেবে সময় কেটে যাবে।)

রঞ্জনদা, দেখুন তো এটা খুলতে পারেন কিনা https://mbapreponline.files.wordpress.com/2013/07/fifty_challenging_problems_in__2.pdf

হ্যাঁ বলেই দিচ্ছে চ্যালেঞ্জিং প্রবলেমস। তাতে কি? যদুবাবুকে যাদব চক্কোতি ভেবে প্রশ্ন করুন। ও জলের মতো সহজ করে বুঝিয়ে দিতে পারবে। বলতে মনে পড়ল, নরেন্দ্রপুরে গবা মহারাজের ঘরে অনুপ জলৌটার বিখ্যাত ভজনের ক্যাসেট বাজছে। আগেও অন্ততঃ হাজার বার বেজেছে।
- জলসে পাতলা কৌন হ্যায়?
সুরজিৎদা খট করে টেপ রেকর্ডার বন্ধ করে বললঃ
-তরুণদা বলুন তো জলসে পাতলা কৌন হ্যায়?
-জলের চেয়ে পাতলা? জলের চেয়ে ? (এক সেকেন্ড ভেবে) ইথার, ইথার...

যদুবাবু | ২১ এপ্রিল ২০২১ ১৭:৪৮

ফেলার? কি ভাগ্যি আমার প্যাট্রিক বিলিংসলি বলে নি :)

জোকস অ্যাপার্ট, ফেলারের মতো বই হয় না, তবে ওটা একটু কঠিন লাগতে পারে নিজে পড়ার জন্যে। হোয়েল পোর্ট স্টোনের বইটা আমার খুব পছন্দ। তবে প্রোব্যাবিলিটে আমি একেবারেই অনধিকারী, আমার বিদ্যে ঐ বেস থিওরেম পর্যন্ত আর জ্যোতিষ্কের পুরো কেরিয়ারটাই ঐ বেস থিওরেমের গাছপালা ফুল-ফল :)