এই সাইটটি বার পঠিত
ভাটিয়ালি | টইপত্তর | বুলবুলভাজা | হরিদাস পাল | খেরোর খাতা | বই
  • বুলবুলভাজা  আলোচনা  সমাজ

  • সমষ্টি থেকে ব্যষ্টি - ইকোলজিক্যাল ফ্যালাসি!

    যদুবাবু
    আলোচনা | সমাজ | ০৪ ডিসেম্বর ২০২৩ | ১৩৯৫ বার পঠিত | রেটিং ৫ (৪ জন)


  • ১) ঊনবিংশ শতকের একদম শেষের দিকে, ১৮৯৭ সালে, এমিল ডার্কহেইম আত্মহত্যার বিভিন্ন সামাজিক প্রেক্ষাপট বিশ্লেষণ করে প্রামাণ্য একটি বই লেখেন – ‘সুইসাইড’, যার অনেক পর্যবেক্ষণের মধ্যে অন্যতম একটি এই—যে, সেই সময়ের ইয়োরোপে, প্রোটেস্টান্ট দেশগুলির আত্মহত্যার হার ক্যাথোলিক দেশগুলির থেকে বেশি। ডার্কহেইম ও তার পরবর্তী গবেষকরা এর থেকে সিদ্ধান্তে পৌঁছন, যে, একজন ব্যক্তি মানুষের জন্যও, অতএব, প্রোটেস্টান্ট অথবা ক্যাথোলিক – এই ধর্মাচরণের প্রকৃতি ছাপ ফেলে তার আত্মহননের সম্ভাবনায়। ডার্কহেইমের সময়ে আমাদের প্রচলিত ‘মেথডোলজি’র অর্থাৎ রাশিবিজ্ঞানের আধুনিক অস্ত্রশস্ত্রের প্রায় কিছুই ছিল না, যেমন কোরিলেশন কোয়েফিশিয়েন্ট—যা দিয়ে আমরা দুটি জিনিসের মধ্যে সম্পর্ক মাপি—সেও সদ্য-আবিষ্কৃত, অন্যান্য শাখায় প্রচলিত হতে কিছু দেরি আছে। তবু, যে কথা দেশের জন্য সত্যি, সে কথা সেই দেশের যে কোনো একজনের জন্য কতটুকু সত্যি?

    ২) এক লাফে চলে যাই ১৯৭৫ সালে। এক-ই রকম বিপত্তি! প্রোফেসর ক্যারোলের গবেষণাপত্র “Experimental evidence of dietary factors and hormone-dependent cancers”-এ দাবি—যে সব দেশে খাদ্যের প্রধান উপকরণ চর্বি বা স্নেহজাত পদার্থ (ফ্যাট), সেই সব দেশে ব্রেস্ট ক্যান্সারে মৃত্যুহার-ও বেশি, অতএব, ইনডিভিজুয়াল লেভেলে দেখলে ডায়েটারি ফ্যাট ব্রেস্ট ক্যান্সারের অন্যতম কারণ। বলা যায়?

    ৩) আরো অর্ধ-শতক ডিঙোই—এই সময়কার আমেরিকা, উত্তর-পূর্ব আর পশ্চিম উপকূলের বেশ কিছু ‘রিচ স্টেটের’ বেশির ভাগ-ই যেন পাকাপাকি লিবেরাল, ডেমোক্র্যাটদের দিকে ঝুঁকে, সেখানে রিপাব্লিকানদের দিল্লি দূর অস্ত, আর দক্ষিণের দিকে আর দুই উপকূলের মাঝের অপেক্ষাকৃত গরীব স্টেট ভোট করে রিপাব্লিকানদের। বিখ্যাত কমেন্টেটর ডেভিড ব্রুকস যেমন বলেছিলেন, “Like upscale areas everywhere, from Silicon Valley to Chicago’s North Shore to suburban Connecticut, Montgomery County supported the Democratic ticket in last year’s presidential election, by a margin of 63 percent to 34 percent.” অথচ কী আশ্চর্য, এও প্রায় সাধারণ জ্ঞানের ব্যাপার, যে — বেশির ভাগ বিত্তবান মানুষ সমর্থন করেন গ্র্যাণ্ড ওল্ড পার্টি (জিওপি) অর্থাৎ রিপাবলিকান পার্টিকে কারণ তারা ব্যবসা-বান্ধব দল হিসেবে পরিচিত – যেমন পিউ রিসার্চ সেন্টারের ২০১২ সালের একটি রিপোর্ট অনুযায়ী বিত্তশালী মানুষের প্রতি ডেমোক্র্যাট আর রিপাবলিকান সমর্থকদের মনোভাব পুরো বিপরীত – ডেমোক্র্যাটদের ৬৫% মনে করেন ধনী মাত্রেই লোভী, আর রিপাবলিকানদের ক্ষেত্রে সেই শতাংশ মাত্র ৪২%। আবার উল্টোদিকে, ৫৫% রিপাবলিকান সমর্থক মনে করেন ধনী মানে খুব-ই পরিশ্রমী, “হার্ড-ওয়ার্কিং”, এক-ই কথা বলেন ডেমোক্র্যাটদের মাত্র ৩৩%। অর্থাৎ, সাম্প্রতিক ইতিহাসে তুলনামূলকভাবে সাধারণ মানুষ—অ্যাভারেজ আমেরিকান— সমর্থন করেন ডেমোক্রাটদের। তাহলে?

    এই ধরণের ঘটনা, যেখানে সমষ্টির উপর ধারণা থেকে ব্যক্তিবিশেষে কেমন, কী হবে সিদ্ধান্ত নেওয়া হয় – তাকে বলে ‘ইকোলজিক্যাল ইনফারেন্স’। কিন্তু ধর্মাচরণ আর আত্মহত্যার প্রবণতার যে সম্পর্ক অথবা ডায়েটারি ফ্যাট ও ব্রেস্ট ক্যান্সারের যে সরলরৈখিক সম্পর্ক দেশ-বিশেষে সত্যি – সে কি ব্যক্তির জন্যে খাটে? এক যদি না জানা যায়, যে, ঐ দেশগুলির সমাজ একেবারেই সমসত্ত্ব গোছের—মানে প্রোটেস্টান্ট দেশে সবাই প্রোটেস্টান্ট—বা এক এক দেশের সব মানুষ একেবারেই এক-ই ডায়েট ফলো করেন? তবুও কখনো কখনো ব্যক্তির আচরণ আর সমষ্টির ব্যবহার এক-ই হয়, কখনো হয় এক্কেবারে উলটো। সেই গণ্ডগোলের নাম “ইকোলজিক্যাল ফ্যালাসি”। কিন্তু কখন উল্টোয়? উল্টোয় তো আদৌ?

    আজ থেকে প্রায় বাহাত্তর বছর আগে, ১৯৫০ সালে, প্রোফেসর উইলিয়ম এস রবিনসন একটি যুগান্তকারী পেপারে (“Ecological Correlations and the Behavior of Individuals”) প্রমাণ করে দেখান, যে, দুটি রাশির মধ্যে সম্পর্ক (অর্থাৎ কোরিলেশন) সম্পূর্ণ আলাদা-আলাদা দুরকম হতেই পারে, যদি একটি মাপা হয় সমষ্টির জন্য (অর্থাৎ এগ্রিগেট লেভেল) আর একটি ব্যক্তির পর্যায়ে (অর্থাৎ ইন্ডিভিজুয়াল লেভেলে)। রবিনসনের পেপারে ১৯৩০ সালের আমেরিকান জনগণনার—অর্থাৎ সেন্সাসের—ডেটা অ্যানালাইজ করে দেখানো হয়, যে ঐ সময়ের ৪৮টি স্টেটে যদি বিদেশে-জন্মানো (ফরেন-বর্ন) শতাংশ এবং সাক্ষর জনতার (আমেরিকান ইংলিশে সাক্ষর) শতাংশের মধ্যে কোরিলেশন পজিটিভ: ০.৫৩। এর থেকে ধারণা হতে পারে—যে রাজ্যে যত বিদেশ থেকে আসা লোক, সে রাজ্যে তত কম নিরক্ষর মানুষের শতাংশ, অথবা, তত বেশি সাক্ষরতার হার। আর একটু এগিয়ে ব্যক্তি-স্তরে নিয়ে গেলে, এমন মনে হতে পারে—যে, বিদেশে-জন্মানো মানুষের (আমেরিকান ইংলিশে) সাক্ষর হওয়ার সম্ভাবনা দেশে-জন্মানোদের থেকে বেশি। কিন্তু, এই সম্পর্ক-ই যদি ব্যক্তির স্তরে দেখেন, ঐ দুই রাশি—বিদেশে জন্ম আর সাক্ষরতা—এবার কিন্তু কোরিলেশন নেগেটিভ: —০.১১, অর্থাৎ সমষ্টি থেকে ব্যষ্টি-স্তরে আসতেই সম্পর্ক উল্টে গেলো। প্রশ্ন উঠতে পারে, ব্যক্তির জন্য যদি বিদেশে জন্মানো আর আমেরিকান-ইংলিশ-জ্ঞান উল্টোপানে ছোটে, তাদের কোরিলেশন রাজ্যভিত্তিক ডেটায় পজিটিভ কেন? বার্কলি বিশ্ববিদ্যালয়ের বিখ্যাত রাশিবিজ্ঞানী ডেভিড ফ্রিডম্যানের মতে, এর কারণ ফরেন-বর্ন বা অভিবাসী মানুষ নিশ্চয়ই এমন রাজ্যে বেশি সংখ্যায় থাকেন যে রাজ্যের নেটিভ-বর্নরা অপেক্ষাকৃত বেশি সাক্ষর। এখন অবশ্য আমরা জানি যে, রবিনসনের গণনায় সামান্য কিছু বিচ্যুতি ছিল, যেমন: ঐ প্রথম কোরিলেশন-টা আসলে ০.৪৬ হবে; তবে এই অপেক্ষাকৃত সাধারণ একটা পর্যবেক্ষণ যেন একটা পর্দা তুলে দিল চোখের সামনে থেকে। রবিনসনের এই পাথ-ব্রেকিং পেপারটির আগেও সমষ্টি থেকে ব্যষ্টির ধারণা নিত্ত-নৈমিত্তিক ছিল সমাজবিজ্ঞানের চর্চায়। বিংশ শতাব্দীর দ্বিতীয়ার্ধে তাতে যে সামান্য রাশ টানা গেল—তা ওঁর অবদান বললে ভুল বলা হয় না। রবিনসন অবশ্য সেই পেপারে এও বলেন, যে, সমাজ-বিজ্ঞানের গবেষণায়, অতএব, ব্যক্তি-পর্যায়ের উপাত্ত ছাড়া বাকি সব বেকার—সেটা আজকাল পুরোপুরি অভ্রান্ত বলে মনে করা হয় না। “ইকোলজিক্যাল ফ্যালাসি” শব্দবন্ধ অবিশ্যি রবিনসনের দেওয়া নাম নয়, সেটির আবির্ভাব কিছুদিন পর সেলভিনের ১৯৫৮ সালের পেপারে – ইকোলজিক্যাল ফ্যালাসির সংজ্ঞা পেলাম আমরাঃ ‘the invalid transfer of aggregate results to individuals’!

    তবু, ইকোলজিক্যাল কোরিলেশন বা ফ্যালাসি যাই বলুন, সে কোত্থাও যাচ্ছে না, কারণ “রেজোলিউশন” যত বেশি – ডেটা বা তথ্য-উপাত্ত সংগ্রহ করা তত কঠিন। মানে, গ্রুপ-লেভেল বা এগ্রিগেট-লেভেলে ডেটা যত সহজে পাওয়া যায়, একেবারে ব্যক্তি-পর্যায়ে মোট্টে অত সোজা নয়। কোটিকে গুটিক বাই টু। তবে, দুয়ের-ই দাম আছে। ঐ তিন নম্বর উদাহরণের প্যাটার্নের সুন্দর আলোচনা আছে গেলম্যান এট অলের “Rich State, Poor State, Red State, Blue State” পেপারে বা বইতে—যার নির্যাস সহজ করে বলতে গেলে এই—যে, এক এক স্তরে ভোটিং প্যাটার্ন এক একটি ছবি দেখায়—গোটা দেশের জন্য এক রকম, আবার রাজ্যভিত্তিক এক রকম, রাজ্যের মধ্যে আবার কাউন্টি-ভিত্তিক ছবি আরেক রকম আর ব্যক্তি-পর্যায়ে আরো এক। রাশিবিজ্ঞানের ভাষায় এর নাম মাল্টি-লেভেল মডেলিং। এই যেমন, অপেক্ষাকৃত ধনী রাজ্যের ভোটার-রা হয়তো বেশি বাঁদিক ঘেঁষে থাকেন, অথচ, যে কোনো রাজ্য দেখলে তার মধ্যে যত ইনডিভিজুয়াল ইনকাম বাড়ছে রিপাব্লিকানদের জন্য অর্থাৎ ডানদিকে ভোট করার প্রবণতাও বাড়ছে। আবার, গড় আয় দেখলে এও অসম্ভব নয় যে হয়তো রাজ্যের বেশিরভাগ গরীব, কয়েকজন অসম্ভব বড়লোক? আবার এও অসম্ভব নয়, যে স্বচ্ছলতা মাপার আসল উপায় হয়তো ইনকাম নয়, সেটা হয়তো সেলফ-পারসিভড, নিজের যেমন মনে হয় তাই-ই। আপনার প্রতিবেশীর থেকে আপনার পকেটে দু-টাকা বেশি হলে (মানে আপনি-ই সেই বড়োলোকের বিটি লো হলে) হয়তো ভোট করবেন কিঞ্চিৎ ডাইনে-ঘেঁষে, আর প্রতিবেশীদের বেশি হলে হয়তো ডেমোক্রেট? গেলম্যানদের পেপারের অনেক সম্ভাবনার মধ্যে একটি এও যে, “state average income” হয়তো আসলে “a proxy for secularism or some kind of cosmopolitanism.” কে জানে?

    এত কথা লিখে ফেললাম অবশ্য জ্ঞান দেওয়ার জন্য শুধু নয়। এই আজকেই, তেসরা ডিসেম্বর, আমেরিকা থেকে অর্ধেক পৃথিবী দূরে ভারতে, কয়েকটি রাজ্যে – রাজস্থান, মধ্যপ্রদেশ, ছত্তিশগড় – বিজেপি হইহই করে জিতল। হিন্দি-বলয়ের (নাকি গো-বলয়ের) বেশিরভাগ রাজ্যে যেখানে সাধারণত শিক্ষার—অর্থাৎ সাক্ষরতার—হার কম, আবার দারিদ্র্যও বেশি, নারী-সুরক্ষা কম, হিন্দি-ভাষার আগ্রাসন ব্যাপক, সংখ্যালঘুদের নিপীড়ন-ও বেশিই, সেখানে ভোটের সিংহভাগ নিয়ে যায় বিজেপিই। মাঝে মাঝে এদিক-ওদিক যে হয় না তা নয়, কিন্তু রাজ্যভিত্তিক ফল দেখলে মোটের উপর কোরিলেশন নেগেটিভ: —০.১৯। নিচে একটা ম্যাপ আর একটা প্লট দিলাম দেখুন। ২০১৯ সালের বিজেপির ভোটশেয়ার আর ২০১১ সালের সেন্সাসের ভিত্তিতে সাক্ষরতার হার। ম্যাপের জন্য ভোট-শেয়ার আর সাক্ষরতা - দুয়ের-ই তিনটে তিনটে করে কোয়ান্টাইল বের করে সেই অনুযায়ী এক-এক রাজ্যের রঙ দেওয়া - শুধু লাল মানে - ভোট শেয়ারে উপরের তৃতীয়াংশ আর সাক্ষরতায় নীচের, আর শুধু নীল মানে সাক্ষরতায় টপ থার্ড কোয়ান্টাইল-ভোট শেয়ারে বটম।







    এইবার কথা হচ্ছে, এই দেখে কি ইচ্ছে হচ্ছে হা-হুতাশ করে (বা আনন্দের আতিশয্যে) দাবি করতে—ঐ তো, সব নিরক্ষর লোকেই বিজেপিকে বেশি ভোট দেয়? শিক্ষার অভাব-ই দক্ষিণপন্থার দিকে কার্নিক দিচ্ছে ক্রমাগত? দিচ্ছে তো বটেই, সকাল থেকে দিকে-দিকে সেই সব পোস্ট চোখে পড়ছে, ঐ জনগণ যেমন তার সরকার তেমন, ইত্যাদি। সেই কথাটা অল্প মেনে নিয়েও বলি, ধীরে রাজনী(তিক), ধীরে…

    একজন মানুষের প্রথাগত শিক্ষাদীক্ষা বা ডিগ্রি যত বাড়ে, তার দক্ষিণপন্থী হওয়ার সম্ভাবনা তত কমে—এই মর্মে কনজেকচার ছুঁড়ে দেওয়ার আগে, ২০১৯ সালের ইণ্ডিয়া-টুডে আর অ্যাক্সিস মাই ইন্ডিয়া-র একটি পোস্ট-পোল সার্ভের ডেটা থেকে তৈরি একটি টেবিল দেখুন নীচে (যদিও এ একেবারে ধ্রুবসত্য—এমন ভাববেন না)।
    কিন্তু এই টেবিল বা ফিগার যদি সত্যি হয়, তবে, পোস্ট-গ্র্যাজুয়েট—অর্থাৎ যারা সবথেকে বেশি পড়াশুনো করে ফেলেছেন—তাঁদের মধ্যে বিজেপির ভোট-শেয়ার সবচাইতে বেশি: ৫০%। তার পরে পরেই গ্র্যাজুয়েট: ৪৮%। আর নিরক্ষর অংশে? ৩৯%। কাজেই ব্যক্তি-হিসেবে একজন পোস্ট-গ্র্যাজুয়েট ডিগ্রিধারীর কি বিজেপিকে ভোট দেওয়ার সম্ভাবনা কম? একজন তথাকথিত অশিক্ষিত মানুষের চাইতে? মনে তো লয় না [1]




    হয়তো এখানে বলে দেওয়া উচিত, যে সব মিলিয়ে দেখলে এই সার্ভের পপুলেশনে বিজেপির ভোট শেয়ার ৪৫%, আর আশ্চর্য কিনা জানি না, প্রফেশনাল ডিগ্রি—অর্থাৎ বি-ই, বি-টেক, এম-বি-বি-এস—ইত্যাদিতে সবথেকে কম: ৩০%।

    স্বীকার করতে বাধা নেই, এই লেখাটার জন্য তথ্য খুঁজতে বসে এই টেবল দেখে একটু চমকে উঠেছি আমিও। আজ থেকে যদ্দিন না আবার এইরকম পোস্ট-পোল সার্ভের ডেটা পাচ্ছি, ইঞ্জিনিয়ারদের আর গাল দেবো না প্রমিস, বরং দেখলে সেধে লাস্ট কাউন্টার অফার করতে পারি, বলা যায় না। তবে কি না সেও ঐ এক-ই ফ্যালাসি।



    তথ্য-উপাত্ত-সূত্র:


    1. Freedman, David A. "Ecological inference and the ecological fallacy." International Encyclopedia of the social & Behavioral sciences 6, no. 4027-4030 (1999): 1-7. ( লিংক )
    2. Subramanian, Subu V., Kelvyn Jones, Afamia Kaddour, and Nancy Krieger. "Revisiting Robinson: the perils of individualistic and ecologic fallacy." International journal of epidemiology 38, no. 2 (2009): 342-360. ( লিংক )
    3. Gelman, Andrew, Boris Shor, Joseph Bafumi, and David Park. "Rich state, poor state, red state, blue state: What's the matter with Connecticut?." Poor State, Red State, Blue State: What's the Matter with Connecticut (2005). ( লিংক )
    4. Selvin, Hanan C. "Durkheim's suicide and problems of empirical research." American journal of sociology 63, no. 6 (1958): 607-619.
    5. Robinson, William S. "Ecological correlations and the behavior of individuals." International journal of epidemiology 38, no. 2 (2009): 337-341.
    6. Parker, Kim. "Yes, the rich are different." Pew Research Center 27 (2012).
      লিংক )
    7. https://www.indiatoday.in/diu/story/how-india-voted-2019-lok-sabha-election-india-today-axis-my-india-poll-1539617-2019-05-31
    8. https://en.wikipedia.org/wiki/List_of_Indian_states_and_union_territories_by_literacy_rate
    9. https://en.wikipedia.org/wiki/2019_Indian_general_election





    [1] এখানে এটাও অবশ্য মনে করানো দরকার যে কণ্ডিশনাল প্রোবাবিলিটির ব্যাপার চলে আসে অল্প - অর্থাৎ এই সার্ভে থেকে পাওয়া যায়ঃ P(বিজেপিকে ভোট | পোস্ট-গ্র্যাজুয়েট) = ০.৫ আর P(বিজেপিকে ভোট | নিরক্ষর) = ০.৩৯ ইত্যাদি। উল্টোদিক অর্থাৎ, P(পোস্ট-গ্র্যাজুয়েট | বিজেপিকে ভোট) আর P(নিরক্ষর | বিজেপিকে ভোট) গণনা করতে হলে সার্ভে পপুলেশনে কত শতাংশ পোস্ট-গ্র্যাজুয়েট আর কত নিরক্ষর সেই হিসেব লাগবে। এবং সেই দুয়ের মধ্যে কে বেশি কে কম, না জেনে বলা মুশকিল। আর এই দুয়ের মধ্যে গুলিয়ে ফেলার নাম? প্রসিকিউটর'স ফ্যালাসি।


    পুনঃপ্রকাশ সম্পর্কিত নীতিঃ এই লেখাটি ছাপা, ডিজিটাল, দৃশ্য, শ্রাব্য, বা অন্য যেকোনো মাধ্যমে আংশিক বা সম্পূর্ণ ভাবে প্রতিলিপিকরণ বা অন্যত্র প্রকাশের জন্য গুরুচণ্ডা৯র অনুমতি বাধ্যতামূলক।
  • আলোচনা | ০৪ ডিসেম্বর ২০২৩ | ১৩৯৫ বার পঠিত
  • মতামত দিন
  • বিষয়বস্তু*:
  • পাতা :
  • প্যালারাম | ০৪ ডিসেম্বর ২০২৩ ২০:৩১526692
  • গেলম্যানের এই নিয়ে বক্তিমে শুনেছিলাম, মনে পড়লো লেখা পড়ে। কিন্তু দুয়ে দুয়ে দুহাজার দুশো বাইশ টা মোটেই করতে পারিনি।
  • Arindam Basu | ০৫ ডিসেম্বর ২০২৩ ১১:০৭526708
  • এই আপাত বিপরীতমুখী প্যাটার্ন, বা বিশেষ করে যে কারণে ইকোলজিকাল ফ্যালাসির কথাটা ওঠে, তার পশ্চাৎপটে এক বা একাধিক কনফাউণ্ডিং ভ্যারিয়েবলের ব্যাপার থাকে কিনা। এক্ষেত্রে ধরা যাক পুরুষ: নারী রেশিও, গোবলয়ে নারী:পুরুষ দক্ষিণ ভারতের তুলনায় ভিন্ন, ফলে বিশ্লেষণের সময় সেগুলো দেখলে হয়ত ছবিটা অন্যরকম হলেও হতে পারে। 
    আরেকটা ব্যাপার, ভোট পারসেন্ট আর লিটারেসির ব্যাপারটাকে linear model এ ফেললেন যে, :-)?
  • যদুবাবু | ০৫ ডিসেম্বর ২০২৩ ১৪:৪২526713
  • উত্তর দিতে একটু দেরি হোলো। সরি। :( 
     
    প্যালারাম: বক্তৃতাটা শুনিনি। তবে উনি সুবক্তা। কালকে খুঁজে একটা লিংক পেলাম। শুনে দেখি। বইটা বেশ। ঐরকম কিছু সুন্দর analysis দেশের data নিয়ে কেউ করেছেন কি না জানি না, কাল খুঁজে পেলাম না, তবে একদিনে আর কি সাগর সেঁচা যায়? 
     
    অরিন দা: হ্যাঁ, সে তো বটেই। লার্কিং ভেরিয়েবলের কথা আগে একবার বেশ লিখেছি বলে এইবার বাদ দিলাম, তবে একটু ফুটনোট দেওয়া উচিত ছিল। Freedman ওই অরিজিনাল পেপারে যেমন লিখেছেন যে Durkheim এর religiosity আর সুইসাইড রেটের উদাহরণেও confounding আছে। Lurking বা confounding দিয়ে কত যে fallacy ব্যাখ্যা করা যায় - শুধু ওইটাই যদি সবাই বুঝতো। 
     
    Linear model fit করিনি ঠিক, শুধু ওই কোরিলেশন যে নেগেটিভ সেটা দেখানোর জন্য একটা লাইন টেনেছি আর কি :)। অন্য কোনো অ্যাসোসিয়েশন (যেমন কেন্ডলস tau) দেখলেও ওই sign reversal টা হবে কারণ tau কে r এর ফাংশন হিসেবে লেখা যায়। তবে হ্যাঁ, এমনিতে প্রেডিকশন বা অন্য কিছু করতে হলে, আর রেসপন্স এরকম [০, ১] এর মধ্যে হলে অন্য কিছু মডেল ব্যবহার করতাম - বিটা রিগ্রেশন যেমন। 
     
    যদিও প্লটের উপর একটা linear regression এর ইকুয়েশন জ্বলজ্বল করছে। ওটাও ওই Freedman এর পেপারের মত - যেখানে লিটারেসি রেট আর ফরেন বর্ন এর স্ক্যাটার প্লট করে একটা লাইন আঁকা আছে উর্দ্ধমুখী স্লোপ দেখানোর জন্য। আবার এই স্পেসিফিক কেসে, এটা ঠিক যে এখানে y, x দুটোই ০, ১ এর মধ্যে বলে ওই যে স্ট্রেট লাইনটা আছে, তাতে দুটো এক্সট্রিম এ কোনো nonsensical value আসবে না, মানে x কে ০ থেকে ১ নিয়ে গেলে y এর ভ্যালু বা পুরো কনফিডেন্স ব্যান্ড ওই [০, ১] রেঞ্জের বাইরে বেরোচ্ছে না। যেটা সচরাচর এরকম লিনিয়ার মডেল লাগিয়ে দিলে সমস্যা হয়। 
     
     
  • dc | 122.164.81.56 | ০৬ ডিসেম্বর ২০২৩ ০৮:৪৪526731
  • ইকোলজিকাল ইনফারেন্স ব্যাপারটা অবাকই বটে। কারন ইনফারেন্শিয়াল স্ট্যাটিসটিক্স এর গোড়ার কথা হলো স্যাম্পল এর বেসিসে (বা স্যাম্প্লিং ডিস্ট্রিবিউশান ব্যাবহার করে) পপুলেশান সম্বন্ধে ইনফারেন্স ড্র করা। সেখানে, পপুলেশান থেকে ইন্ডিভিজুয়াল লেভেলে ইনফারেন্স ড্র করতে গেলে তো গোড়ায় গলদ হওয়ারই কথা! :-) বিটিডাব্লু, হ্যারি সেলডনের সাইকোহিস্টোরির কথা মনে পড়ে গেল। অ্যাসিমভ মনে করেছিলেন, একেকজন ব্যক্তির আচার আচরন প্রোব্যাবিলিস্টিক বা র‌্যান্ডম মনে হলেও, অনেক ব্যাক্তির আচার আচরনে একটা প্যাটার্ন খুঁজে পাওয়া সম্ভব আর সেই বেসিসে একটা পুরো দেশের বা গ্যালাক্টিক এম্পায়ারের ভবিষ্যত ইভোলিউশান প্রেডিক্ট করা সম্ভব। অ্যাসিমভ এটা বোঝানোর জন্য গ্যাস মলিকিউলের উদাহরন দিয়েছিলেন :-)
     
    বিটিডাব্লু, বিজেপি নর্থ ইন্ডিয়ায় কিন্তু ট্র‌্যাডিশনালি শহরের ভোট বেশী পায়, শিক্ষিত ও উচ্চশিক্ষিতদের ভোট বেশী পায়। লাস্ট দশ পনেরো বছরে বোধায় দলিত, আদিবাসী ইত্যাদি সেগমেন্টগুলোতেও ভোট পাচ্ছে, কারন আরেসেস গ্রাসরুট লেভেলে প্রচুর কাজ করছে, আর বিজেপির ওয়েলফেয়ার প্রোগ্রাম আর সোশ্যাল আউটরিচ প্রোগ্রাম গুলোও সফল হচ্ছে (যেমন মধ্য প্রদেশে লাডলি বেহনা প্রোগ্রাম)। তবে এখনও বিজেপির আর্বান ভোটার বেস খুব শক্তিশালী।  
  • Nirmalya Bachhar | ০৬ ডিসেম্বর ২০২৩ ০৯:১৯526732
  • খুব সহজ করে বুঝিয়েছিস। আমার একটা জিনিসে একটু ইসে লাগছে। ঐ কণ্ডিশানাল প্রবাবিলিটির ব্যপারটাই। আমার এটা পড়ে মনে হল, ইন্ডিভিজুয়াল আর এগ্রিগেটের মধ্যের কানেকশান ঐ কন্ডিশানাল প্রবাবিলিটিই। যেটা তুই খালি ফুটনোটে রেখেছিস। এটা যদি আর একটু বিশদে বলিস হয়তো ভালো হত। যদিও আমার স্ট্যাটিস্টিকাল বিদ্যে ঐ ১০+২ অব্দি। ভুল হলে পরে বুঝিয়ে দিস।
  • Arindam Basu | ০৬ ডিসেম্বর ২০২৩ ১০:১৯526734
  • যদুবাবু: "
    শুধু ওই কোরিলেশন যে নেগেটিভ সেটা দেখানোর জন্য একটা লাইন টেনেছি আর কি :)। অন্য কোনো অ্যাসোসিয়েশন (যেমন কেন্ডলস tau) দেখলেও ওই sign reversal টা হবে কারণ tau কে r এর ফাংশন হিসেবে লেখা যায়। তবে হ্যাঁ, এমনিতে প্রেডিকশন বা অন্য কিছু করতে হলে, আর রেসপন্স এরকম [০, ১] এর মধ্যে হলে অন্য কিছু মডেল ব্যবহার করতাম - বিটা রিগ্রেশন যেমন। 
     
    যদিও প্লটের উপর একটা linear regression এর ইকুয়েশন জ্বলজ্বল করছে। "
     
    বুঝেছি। লেখাটা অনবদ্য হয়েছে, আপনার লেখা আর সংলগ্ন আলোচনা পড়তে গিয়ে ফ্র্যাঙ্ক অ্যানস্কম্বের লেখা quartet এর কথাটা মনে পড়ে গেল। :-)
    ডাটা ক্লাউড একই রয়েছে, তার কিরকম যে কোরিলেশন আর ততোধিক interpretation, :-)
     
     
  • dc | 122.164.81.56 | ০৬ ডিসেম্বর ২০২৩ ১০:৩৬526735
  • সবই ইন্টারপ্রেটেশানের খেলা। সেজন্যই তো কবি বলেছেন লাইস, ড্যামড লাইস, আর স্ট্যাটিসটিক্স cheeky
  • s | 100.36.114.105 | ০৭ ডিসেম্বর ২০২৩ ২০:৩৯526768
  • পুরো সিরিজটাই দারুন হচ্ছে। যদুবাবুর কাছে দাবী, বেল কার্ভ বইটি পড়া থাকলে সেটা নিয়ে একটু অলোচনা হতে পারে? 
  • যদুবাবু | ০৭ ডিসেম্বর ২০২৩ ২১:০৭526769
  • আবার-ও অনেকটা দেরি করে উত্তর দিচ্ছি। ফাইনাল'স উইক, অর্থাৎ ভয়ানক ঝালাপালা চলছে। আমি দুই ভাগে উত্তর দিই। 
     
    ডিসিঃ "সেখানে, পপুলেশান থেকে ইন্ডিভিজুয়াল লেভেলে ইনফারেন্স ড্র করতে গেলে তো গোড়ায় গলদ হওয়ারই কথা!" - সেই তো হচ্ছে আসল কথা - যে লোকে করে কেন? আমি 'লে-পার্সন'দের কথা বলছি না, কিন্তু এক্সপার্ট-রা? আমার ভেবে মনে হয়েছে যে ইনডিভিজুয়াল লেভেলে করতে চাইলেও করার উপায় নেই তাই গ্রুপ লেভেলে যা আছে তার থেকেই করেন লোকে। 
    আসিমভের উদাহরণ-টা দারুণ লাগলো। হ্যাঁ, ঐ গেলম্যানদের বা আরও অনেকের, যেমন পাব্লিক হেলথে যারা কাজ করেন, তাদের তো ঐ বিভিন্ন রেজোলিউশনে কাজ করতেই হয়। না হলে তো এগোবে না। 

    বিজেপির আর্বান বেস খুব স্ট্রং। এইটা প্যান-ইন্ডিয়ার হিসেবঃ
     
    মাল্লোঃ হ্যাঁ, কন্ডিশনাল প্রোবাবিলিটি-র গল্প তো আছেই, তবে আগে সেই নিয়ে আগে একটা পর্ব লিখেছিলাম বলে এবারে বেশি লিখিনি - এক অর্থে ভাবলে রিগ্রেশন যখন করছিস, সেই কণ্ডিশনাল মিন-এর ই মডেল করছিস। আর এই সব বায়াস ইত্যাদি রিগ্রেশন দিয়ে সুন্দর অঙ্ক-ব্যাখ্যা করা যায়। আর ঐ ডিসি যা বলেছেন, গ্রুপ থেকে ইন্ডিভিজুয়াল লেভেলে আসতে গেলেই চাপ - যদি না গ্রুপের সবাই এক-ই রকম হয়। একদম জেরক্স কপি। 
  • dc | 122.164.87.32 | ০৭ ডিসেম্বর ২০২৩ ২১:৪৮526770
  • "গ্রুপ থেকে ইন্ডিভিজুয়াল লেভেলে আসতে গেলেই চাপ - যদি না গ্রুপের সবাই এক-ই রকম হয়"
     
    তাহলে তো আর স্যাম্প্লিং ডিস্ট্রিবিউশানেরও দরকার হবে না :-)
     
    বিটিডাব্লু, "বেল" নিয়ে লেখার জন্য কতোগুলো বিষয় আছে দেখুনঃ 
     
    আলেক্সান্ডার গ্রাহাম বেল 
    বেল কার্ভ 
    ক্রিকেটের বেল 
    বেল'স থিওরেম 
    ফর হুম দ্য বেল টোলস 
     
    এই সব কিছু নিয়ে কেউ যদি একটা উপন্যাস লিখতে পারেন তো তাঁকে সাহিত্যে নো বেল দেওয়াই যায় :-)
  • যদুবাবু | ০৭ ডিসেম্বর ২০২৩ ২৩:২৮526771
  • বেল হুকস, বেল'স পলসি, বেল বটমস, বেলের পানা, কদবেল ... কত বেল! তবে আমি বেলতলায় কবার সাহস করে যেতে পারবো সেটা একটা প্রশ্ন! 
  • যদুবাবু | ০৮ ডিসেম্বর ২০২৩ ০৩:১৯526775
  • অরিন-দাঃ থ্যাঙ্ক ইউ, থ্যাঙ্ক ইউ। :) আপনি কোরিলেশন ডাইনো দেখেছেন? ঐ অ্যানস্কোম্বি-র ধাঁচেই। এর নাম ডেটাসরাস ডোজ়েন। এক-ই সামারি স্ট্যাট - বিভিন্ন অবয়ব। আমি গত সপ্তাহেই ক্লাসে দেখালাম। বাচ্চারা মজা পেয়েছে। 


     
    s: এই বইটার নাম শুনেছি আর খাবলা খাবলা জানি - অন্যের পেপারে বা বইয়ে আলোচনা বা বলা ভালো সমালোচনা পড়েছি। কখনো 'বেল কার্ভ' ধরে পড়িনি। তবে, ঐ আই-কিউ ব্যাপারটা গোলমেলে। আর আমি মনে করি মানুষের জন্য ইন্টেলিজেন্স বা স্মার্টনেস ব্যাপার-টা ওভার-রেটেড এবং এমনিও ঐসব দিয়ে মাপা যায় না। বরং কার কতটা গ্রিট, কতোটা সহানুভূতি এইসব কাজের জিনিষ। তবে, সোশ্যাল ডিটারমিন্যান্টস নিয়ে কিছু লেখার ইচ্ছে আছে। 
  • r2h | 192.139.20.199 | ০৮ ডিসেম্বর ২০২৩ ০৩:২০526776
  • হাহা, ডাইনোসরের অ্যানিমেশনটা ব্যাপক তো!
  • lcm | ০৮ ডিসেম্বর ২০২৩ ০৫:১০526778
  • যদুবাবু | ০৮ ডিসেম্বর ২০২৩ ০৬:০৪526779
  • আরিব্বাস ... রাগী আইসক্রিম আর কিঞ্চিত মেলানকলিক সূর্য। দারুণ লাগলো। :D 

    বাই দ্য বাই, জিফ (নাকি গিফ?) অ্যানিমেশন অ্যাটাচ করলে যে কাজ করে জানতাম না। এবার থেকে লেখায় কিছু জিফ লাগাবো! ওয়েবে লেখার অ্যাডভান্টেজ নেওয়া উচিত। 
  • Arindam Basu | ০৮ ডিসেম্বর ২০২৩ ০৭:০২526780
  • "কখনো 'বেল কার্ভ' ধরে পড়িনি। তবে, ঐ আই-কিউ ব্যাপারটা গোলমেলে। আর আমি মনে করি মানুষের জন্য ইন্টেলিজেন্স বা স্মার্টনেস ব্যাপার-টা ওভার-রেটেড এবং এমনিও ঐসব দিয়ে মাপা যায় না। বরং কার কতটা গ্রিট, কতোটা সহানুভূতি এইসব কাজের জিনিষ।"
     
    বেল কার্ভ বইটা রিচার্ড হারনস্টাইন আর চারলস মারির যাকে বলে সামাজিক ডারউইনিয় বিবর্তনবাদকে জাস্টিফাই করে লেখা (social darwininsm), মানে মানুষের অর্থ, জাতপাত, সামাজিক পরিস্থিতি সবটাই জেনেটিক কারণগত, যে কারণে সে জিনিস বদলাবার নয়। এরা ১৯৯৪ সালে বইটিকে লিখেছিলেন। অবশ্য মানুষের স্বভাব চরিত্র, ব্যবহার ইত্যাদি অনেক কিছু নিয়ে যমজদের ওপর ততদিনে বিস্তর পরীক্ষা নিরীক্ষা হয়ে গেছে, তাও প্রথমত আইকিউ ব্যাপারটা প্রায় সবটাই সামাজিক পরিবেশের ব্যাপার, মেধার ব্যাপারটা সেখানে গৌন, কিন্তু ওই একই ব্যাপার যদুবাবু, কনফাউণ্ডিং ভ্যারিয়েবল না বিবেচনা করলে যা হয়। 
    এ নিয়ে স্টিফেন গুডের একটি অনবদ্য রিবাটল আছে, বইটা না পড়েও দিব্যি পড়া যায়
     
    তো সে সমালোচনার এক জায়গায় লিখেছেন,
     
    > Like so many conservative ideologues who rail against the largely bogus ogre of suffocating political correctness, Herrnstein and Murray claim that they only want a hearing for unpopular views so that truth will out. And here, for once, I agree entirely. As a card–carrying First Amendment (near) absolutist, I applaud the publication of unpopular views that some people consider dangerous. I am delighted that The Bell Curve was written–so that its errors could be exposed, for Herrnstein and Murray are right to point out the difference between public and private agendas on race, and we must struggle to make an impact on the private agendas as well. But The Bell Curve is scarcely an academic treatise in social theory and population genetics. It is a manifesto of conservative ideology; the book's inadequate and biased treatment of data display its primary purpose—advocacy. The text evokes the dreary and scary drumbeat of claims associated with conservative think tanks: reduction or elimination of welfare, ending or sharply curtailing affirmative action in schools and workplaces, cutting back Head Start and other forms of preschool education, trimming programs for the slowest learners and applying those funds to the gifted. (I would love to see more attention paid to talented students, but not at this cruel price.)
     
    বইটা বহুযুগ আগে পড়তে হয়েছিল, তবে এর কম্পানিয়ন বই, যেটা আমার মতে অবশ্যপাঠ্য হওয়া উচিৎ, সেটা স্টিফেন গুডের লেখা "Mismeasure of Man" |
     
     
  • যোষিতা | ০৮ ডিসেম্বর ২০২৩ ০৭:১৬526781
  • এই আলোচনা বুঝবার বা দাঁত ফোটানোর মতন ন্যূনতম বিদ্যেবুদ্ধি আমার নেই। তবে চোখ বোলাতে বোলাতে বেল কার্ভের প্রসঙ্গ এসেছে দেখে তাজ্জব বনে গেছি। ঐরকম নাৎসি মনোভাবাপন্ন হোয়াইট সুপ্রিমিস্ট যুক্তি কী করে এখনো প্রাসঙ্গিক হতে পারে!
  • dc | 122.164.87.32 | ০৮ ডিসেম্বর ২০২৩ ০৮:১৫526784
  • ডাইনো অ্যানিমেশানটা দুর্দান্ত, তবে এই ব্লগটা আগেও দেখেছি।  
     
    বিটিডাব্লু, এটা R এ করেছে বটে, তবে এরকম একটা ব্যাপার আমি অনেকদিন আগে এক ক্লায়েন্টের জন্য পাতি এক্সেলে করেছিলাম - অর্থাত ডিস্ট্রিবিউশান প্যারামিটারগুলো প্রায় এক রেখে, সামান্য এদিক ওদিক করে, তিন চার রকম বেস্ট ফিট লাইন জেনারেট করে দেখিয়েছিলাম। সে অবশ্য জল মেশানোর জন্য না, বরং কিছুটা সেন্সিটিভিটি অ্যানালিসিস মতো হয়ে গেছিল laugh
  • s | 150.148.14.138 | ০৮ ডিসেম্বর ২০২৩ ২০:২৮526794
  • যদুবাবু,
    আমি নিজেও বেল কার্ভ পুরো পড়িনি। একটু আধ্টু পাতা উল্টেছি আর আলোচনা এবং সমালোচনা পড়েছি। এই বইটি নিয়ে আমি একজন স্ট্যাটিস্টিশিয়ানের কাছে ডেটা ইন্টারপ্রিটেশন আর তার উপর ভিত্তি করে পলিসি প্রেসক্রিপশান - এই ব্যাপারে আলোচনা শুনতে চাই। আমার মনে হয় আপনি একজন স্ট্যাটিস্টিশিয়ান। তাই এই দাবী জানিয়েছিলাম।
     
    বেল কার্ভের লেখকরা সব সময় বলে থাকেন আমরা অবজেক্টিভ ডেটা অ্যানালিসিস করেছি। আই কিউ আর রেস মিশিয়ে ফেলার জন্যে ব্যাপারটা বিতর্কিত হয়েছে, কিন্তু তাতে ওনাদের কোনো দায় নেই। ওনারা নিরপেক্ষ ভাবে অ্যানালিসিস করেছেন। কিন্তু ওনারা শুধু অ্যানালিসিসেই থেমে যান নি, তার পরে কিছু পলিসি চেঞ্জের দাবী জানিয়েছেন। যেমন ইনার সিটি স্কুলে রিসোর্স বাড়িয়ে কোনো লাভ নেই, ইত্যাদি। ডেটা ইন্টারপ্রিটেশান আর তার থেকে সরকারি পলিসি তৈরি করা - এই ব্যাপারে আমার খানিকটা পেশাগত ইন্টারেস্ট আছে। তাই এই রকম কোনো আলোচনা হলে শুনতে আগ্রহী।
     
    পোস্ট কোভিড যুগে এই কাজটা অত্যন্ত কঠিন হয়ে দাঁড়িয়েছে। শুধু পলিসি তৈরি করাই নয়, এখন সায়েন্টিস্ট বা পলিসিমেকারদের খালি ডেটা নয়, বর্তমান পলিটিকস, মিসইনফর্মেশান, ডিসইনফর্মেশান এই সব নিয়েও চিন্তা করতে হয়।
     
    সময় হলে আলোচনা করতে পারেন। আগাম ধন্যবাদ।
  • Arindam Basu | ০৯ ডিসেম্বর ২০২৩ ০২:৩৪526798
  • "কবি বলেছেন লাইস, ড্যামড লাইস, আর স্ট্যাটিসটিক্স "
    এই কথাটাই একটা মিথ্যা কথা। এই কথাটার উৎস খুব সম্ভবত মার্ক টোয়েন, ভদ্রলোক ডিসরায়েলির নাম করে বলেছিলেন, কিন্তু ডিসরায়েলি এইরকম এটা বাজে কথা কখনো বলেন নি।
    আপনার বক্তব্য যদি হয় যে স্ট্যাটিসটিয়াশনরা ডাহা মিথ্যেবাদী, তাহলে সত্যি কিছু বলার নেই, তবে বেচারা স্ট্যাটিসটিশিয়ান করেটাই বা কি? তাকে ডাটা যা দেখাবে, তার বাইরে সে যায় কি করে? বাকী রইল ইন্টারপ্রিটেশন। 
  • Arindam Basu | ০৯ ডিসেম্বর ২০২৩ ০২:৪৯526799
  • যোষিতা, "বোলাতে বোলাতে বেল কার্ভের প্রসঙ্গ এসেছে দেখে তাজ্জব বনে গেছি। ঐরকম নাৎসি মনোভাবাপন্ন হোয়াইট সুপ্রিমিস্ট যুক্তি কী করে এখনো প্রাসঙ্গিক হতে পারে!"
     
    এই দুটোই মার্কামারা বদমাইশ। রেসিস্ট। তবে এই বইটার জনপ্রিয়তা দেখে মনে হয় আমেরিকাতে এই শ্রেণীর লোকেরাই প্রধান। 
     
  • যদুবাবু | ০৯ ডিসেম্বর ২০২৩ ০৩:২০526800
  • সামান্য ট্যানজেনশিয়াল, কিন্তু, ইউজেনিক্স নিয়ে ২০২০ সালেই রিচার্ড ডকিন্সের টুইট নিয়ে যে বিতর্ক হয়েছিলো তার একটা লিংক রেখে যাই। এই ভদ্রলোক-ও আমার হিরো ছিলেন এক সময়ে। দীর্ঘশ্বাস! 

    https://blogs.iu.edu/sciu/2020/03/07/science-eugenics-and-twitter/ 

    @অরিন-দা, আপনার দেওয়া ঐ রিবাটালের পেজ-টা পড়লাম। দারুণ ধারালো লেখা। ঐরকম লিখতে চাই। স্টিফেন গুড-এর বইটাও পড়ে ফেলবো। অর্ডার দিলাম। আপনার কাছ থেকে কখনো বইয়ের লিস্টি বানিয়ে নিয়ে আসবো। অনেক পড়াশুনো করতে হবে। 
     
    @এস, হ্যাঁ, আমি তো স্ট্যাটিশটিশিয়ান বটেই। বই না পড়ে কিছু বলা উচিত হবে না তাই বলছি না, কিন্তু অবশ্যই সময় পেলে বা পড়ে উঠতে পারলে আলোচনা করবো। আমার পলিসি-বেসড কাজ নিয়ে আগ্রহ আছে। 
     
    তবে, যে কোনো কাজ-ই "ডেটা-বেসড" হলেই তাকে "নিরপেক্ষ" বা 'আন-বায়াসড' বলা ঠিক কি না ভেবে দেখতে হবে, যেমন ধরুন আমার ক্রিমিনোলজিস্ট-দের সাথে কাজের সূত্রে দেখেছি যে বায়াসড ডেটার উপর বেস করে সে আপনি যতই "অবজেকটিভ" মডেল লাগান, তার আউটপুট ভয়ানক বায়াসড হবে, ইন ফ্যাক্ট, সেই রকম মডেল বায়াস-কে বাড়িয়ে তোলে। এর সবথেকে বড়ো উদাহরণ গুচ্ছ রেশিয়াল ডিস্প্যারিটি-ওয়ালা পুলিশের অ্যারেস্ট রেকর্ড-এর উপরে বানানো প্রেডিকশন মডেল - যেমন প্রেডপোল। এই নিয়ে বেশ কয়েক বছর আগে একটা ইংরেজি আর্টিকল লিখেছিলাম (লিংক) - সময় হলে পড়ে দেখতে পারেন, তবে ঐ ট্যানজেন-শিয়াল। 
     
    আমাদের একটা দীর্ঘ অনগোয়িং প্রোজেক্ট এইরকম বায়াসড প্রেডিকশন মডেলের ভুলত্রুটি ধরিয়ে দিয়ে ল-এনফোর্সমেন্ট-এর সাথে কাজ করা অন্য ভাবে সমস্যা-টা নিয়ে কিছু ভাবতে। এখন বেশ কিছু কাজকর্ম চলছে টেক্সাসে চাইল্ড ম্যালট্রিটমেন্ট প্রিভেনশন নিয়ে। কিন্তু সেই নিয়ে আবার পাবলিকলি কি লেখা যাবে বা যাবে না সেই নিয়ে নানান রকমের বিধিনিষেধ আছে। 
  • dc | 122.164.86.49 | ০৯ ডিসেম্বর ২০২৩ ০৭:৫৪526801
  • অরিন্দমবাবু, একটু মজা করছিলাম। আমি নিজেও স্ট্যাটিসটিক্স বেচে রুটি মাখন আর চিজ জোগাড় করি, কাজেই স্ট্যাটিসটিশিয়ানদের আর কি করে মিথ্যেবাদী বলি? :-)
  • Arindam Basu | ০৯ ডিসেম্বর ২০২৩ ১১:৪৯526803
  • @যদুবাবু, "যে কোনো কাজ-ই "ডেটা-বেসড" হলেই তাকে "নিরপেক্ষ" বা 'আন-বায়াসড' বলা ঠিক কি না ভেবে দেখতে হবে, যেমন ধরুন আমার ক্রিমিনোলজিস্ট-দের সাথে কাজের সূত্রে দেখেছি যে বায়াসড ডেটার উপর বেস করে সে আপনি যতই "অবজেকটিভ" মডেল লাগান, তার আউটপুট ভয়ানক বায়াসড হবে, ইন ফ্যাক্ট, সেই রকম মডেল বায়াস-কে বাড়িয়ে তোলে।"
     
    এটা একটা সাংঘাতিক গুরুত্বপূর্ণ পয়েন্ট, সমস্ত অ্যানালিসিসের (স্ট্যাটিসটিস বলুন, মেশিন লার্নিং বলুন) এটাই সার কথা। যা দেবেন তাই পাবেন। তার ওপর জর্জ বক্সের অমোঘ বাণী, সমস্ত মডেল ভুলভাল, কতগুলো শুধু কাজের, :-)
     
    @dc, "আমি নিজেও স্ট্যাটিসটিক্স বেচে রুটি মাখন আর চিজ জোগাড় করি, কাজেই স্ট্যাটিসটিশিয়ানদের আর কি করে মিথ্যেবাদী বলি? :-)"
    তবে?
    স্ট্যাটিসটিশিয়ানদের মিথ্যেবাদী দাগালে চলবে? বলে কিনা "ড্যাম লাইজ" এর অধম। উদাহরণ এক স্ট্যাটিসটিশিয়ান সায়েব আছেন অবশ্য, যাকে ডকিনস সায়েব ডারউইনের সার্থক উত্তরসূরী বলেছিলেন, তিনিও ঐ সায়িন্টিফিক রেসিজম এর গুরু, :-), থাক মহাপুরুষের নাম করা উচিৎ হবে না। 
     
  • dc | 122.164.86.49 | ০৯ ডিসেম্বর ২০২৩ ১২:০৪526804
  • বায়াস একটা খুব গুরুত্বপূর্ণ ব্যপার, যা অরিন্দমবাবু আর যদুবাবু দুজনেই উল্লেখ করলেন। অরিন্দমবাবু লিখলেন মেশিন লার্নিং এর কথা, তাতে মনে পড়লো মাইক্রোসফটের সেই চ্যাটবটটার কথা যেটা কয়েক ঘন্টার মধ্যে রেশিয়াল আর গেন্ডার বায়াস শিখে নিয়ে লোকজনকে গালাগাল দিতে শুরু করেছিল laugh
     
    মানুষমাত্রেই কোন না কোন ভাবে বায়াসড, কাজেই ডেটা অ্যানালিসিস করার সময়েও অনেক সময়ে অজান্তেই বায়াস চলে আসে। আর তার ওপর অনেকে তো আছেনই যাঁরা নিজেদের অ্যাজেন্ডা ফিট করানোর জন্যই অ্যানালিসিস করেন। সেজন্যই যেকোন অ্যানালিসিস বহুবার বিভিন্ন দিক থেকে ক্রসচেক করে দেখা উচিত, যাতে করে বায়াস ধরা পড়ে। 
  • dc | 122.164.86.49 | ০৯ ডিসেম্বর ২০২৩ ১২:০৪526805
  • *জেন্ডার বায়াস 
  • Arindam Basu | ০৯ ডিসেম্বর ২০২৩ ১৩:১৬526807
  • @dc, "মাইক্রোসফটের সেই চ্যাটবটটার কথা যেটা কয়েক ঘন্টার মধ্যে রেশিয়াল আর গেন্ডার বায়াস শিখে নিয়ে লোকজনকে গালাগাল দিতে শুরু করেছিল",
     
    Algorithmic Bias নিয়ে এই বছরের জুলিয়া কনফারেনসে রুমমান চৌধুরী (আগে টুইটারে কাজ করতেন, মাসক আসার পর ছাঁটাই হয়ে যান) একটি অনবদ্য কিনোট এড্রেস দিয়েছিলেন, দেখতে পারেন,
     
     
    (মোটামুটি ১৮ মিনিট থেকে ৫০-৫২ মিনিট পর্যন্ত শুনে দেখতে পারেন) |
     
    এটা তো একটা দিক। 
     
    AI এর আরো একটা গোলমেলে ব্যাপার মেশিন লার্নিং এর লার্নিং এর পিছনে অজস্র মানুষের নিদারুণ দুঃখ এবং তাদের নির্যাতনের করুণ গল্প যেগুলোর কথা অনেক সময়েই চাপা পড়ে যায়। টিমনিট গেবরু (একসময় গুগলের Ethical AI তে co-lead এর কাজ করতেন, একটি পেপার লেখার পর তাঁর কাজ যায়, পেপারটা এইখানে পাবেন, মেশিন লার্নিং এর বায়াস, বিশেষ করে বড় ল্যাঙ্গুয়েজ মডেলের বায়াস নিয়ে অত্যন্ত সময়োপযোগী লেখা, খুব ভাল করে লিখেছিলেন, এই নিয়ে বিস্তর জল ঘোলা হয়েছিল একসময়ে,
    On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?)
    এবং অ্যাড্রিয়েন উইলিয়ামসের একটি অনবদ্য লেখা আছে, এই নাম-না-জানা শোষিত শ্রমিকদের নিয়ে, পড়লে শিউরে উঠতে হয় কি লেভেলের শোষণ AI model training এর নামে চলছে।
    প্রবন্ধটির নাম, "The exploited labour behind artificial intelligence", 
     
     
    লিখছেন,
    > The “AI” industry runs on the backs of these low-wage workers, who are kept in precarious positions, making it hard, in the absence of unionization, to push back on unethical practices or demand better working conditions for fear of losing jobs they can’t afford to lose. Companies make sure to hire people from poor and underserved communities, such as refugeesincarcerated people and others with few job options, often hiring them through third party firms as contractors rather than as full time employees. While more employers should hire from vulnerable groups like these, it is unacceptable to do it in a predatory manner, with no protections.
     
    Data labeling jobs are often performed far from the Silicon Valley headquarters of “AI first” multinational corporations — from Venezuela, where workers label data for the image recognition systems in self-driving vehicles, to Bulgaria, where Syrian refugees fuel facial recognition systems with selfies labeled according to race, gender, and age categories. These tasks are often outsourced to precarious workers in countries like India, Kenya, the Philippines or Mexico. Workers often do not speak English but are provided instructions in English, and face termination or banning from crowdwork platforms if they do not fully understand the rules.
     
    এদের নিয়ে সিদ্ধার্থ সুরি আর মেরী গ্রে'র ghost work নামে একটি বইও আছে |
     
    সমস্যাটার নানান দিক। 
  • dc | 122.164.86.49 | ০৯ ডিসেম্বর ২০২৩ ১৮:১২526810
  • ভিডিওটার জন্য ধন্যবাদ, শুনে দেখবো। 
     
    ওয়ার্কার এক্সপ্লয়েটেশান ছাড়াও মেশিন লার্নিং এর আরেকটা এথিকাল কনসার্ন আছে, সেটা হলো ডেটা সোর্স। এই যে কোটি কোটি ডেটা পয়েন্ট দিয়ে ট্রেন করানো হচ্ছে, বেশীর ভাগ ক্ষেত্রেই সেই ডেটাসেটগুলো বহুবার কেনাবেচা করা হয়, ফলে যাঁর ডেটা তিনি জানতেও পারেন না, তাঁর অনুমতিও নেওয়া হয় না। 
  • π | ০৯ ডিসেম্বর ২০২৩ ১৮:২৩526811
  • খুব ইন্টারেস্টিং লেখা।
     
    কিন্তু 'আমেরিকান ' ইংলিশে সাক্ষর বলতে?  
  • যদুবাবু | ০৯ ডিসেম্বর ২০২৩ ১৯:৩৩526813
  • পাইদিঃ বিদেশে জন্মানো মানুষ হয়তো সেই দেশের হিসেবে সাক্ষর কিন্তু ইংরেজি অক্ষরপরিচয় নেই। ১৯৩০-এর সেন্সাসে ইংরেজি না বলতে পারা (inability to speak English) আর নিরক্ষরতা (illiteracy) আলাদা করে গণনা করা হয়েছিলো। এখনো হয় অবশ্য। এই দুটো যে আলাদা সেটা বলা উচিত ছিলো। 

    আমি ডেভিড ফ্রীডম্যানের লেখা থেকে কোট করি। 
    "The ecological correlation suggests a positive association between foreign birth and literacy: the foreign-born are more likely to be literate (in American English) than the native-born. In reality, the association is negative: the correlation computed at the individual level is −.11." 

    অরিন-দাঃ এই রুম্মান চৌধুরীর খুব নাম শুনেছি - ভিডিও-টা শুনে দেখবো আজকে। অ্যালগোরিদমিক বায়াস/ফেয়ারনেস ইত্যাদি তো আজকাল প্রায় একটা সাব-ডিসিপ্লিন হয়ে গেছে। খুব-ই হট টপিক। তবে মাস্ক আবার গাদা লোকের চাকরি খেয়ে ব্যাপারটাকে জটিল করেছেন। ঐ পুরো ফেয়ারনেস/অ্যালগো বায়াস টিমটাকেই বোধহয় ছাঁটাই করেছিল। 
     
    টিমনিট গেব্রু বা মার্গারেট মিচেল (https://m-mitchell.com)-র ও খুব-ই নাম শুনেছি - ঐ মেইন পেপার (স্টক্যাস্টিক প্যারট)টাও পড়া। ফাইন্যালি একটা কমন পেয়েছি যাকে বলে। এঁরা তো এখন রকস্টারের মত জনপ্রিয়। টাইমের কভারে ছবি ছাপা হয় ইত্যাদি। 
     
    শ্রমিক শোষণের উপরে যে লিঙ্কটা দিলেন, সেটা পড়িনি - পড়বো এবার। পড়া জমে যাচ্ছে। বলছি, আপনি এইটা নিয়ে একটু লিখুন না। :) 
  • পাতা :
  • মতামত দিন
  • বিষয়বস্তু*:
  • কি, কেন, ইত্যাদি
  • বাজার অর্থনীতির ধরাবাঁধা খাদ্য-খাদক সম্পর্কের বাইরে বেরিয়ে এসে এমন এক আস্তানা বানাব আমরা, যেখানে ক্রমশ: মুছে যাবে লেখক ও পাঠকের বিস্তীর্ণ ব্যবধান। পাঠকই লেখক হবে, মিডিয়ার জগতে থাকবেনা কোন ব্যকরণশিক্ষক, ক্লাসরুমে থাকবেনা মিডিয়ার মাস্টারমশাইয়ের জন্য কোন বিশেষ প্ল্যাটফর্ম। এসব আদৌ হবে কিনা, গুরুচণ্ডালি টিকবে কিনা, সে পরের কথা, কিন্তু দু পা ফেলে দেখতে দোষ কী? ... আরও ...
  • আমাদের কথা
  • আপনি কি কম্পিউটার স্যাভি? সারাদিন মেশিনের সামনে বসে থেকে আপনার ঘাড়ে পিঠে কি স্পন্ডেলাইটিস আর চোখে পুরু অ্যান্টিগ্লেয়ার হাইপাওয়ার চশমা? এন্টার মেরে মেরে ডান হাতের কড়ি আঙুলে কি কড়া পড়ে গেছে? আপনি কি অন্তর্জালের গোলকধাঁধায় পথ হারাইয়াছেন? সাইট থেকে সাইটান্তরে বাঁদরলাফ দিয়ে দিয়ে আপনি কি ক্লান্ত? বিরাট অঙ্কের টেলিফোন বিল কি জীবন থেকে সব সুখ কেড়ে নিচ্ছে? আপনার দুশ্‌চিন্তার দিন শেষ হল। ... আরও ...
  • বুলবুলভাজা
  • এ হল ক্ষমতাহীনের মিডিয়া। গাঁয়ে মানেনা আপনি মোড়ল যখন নিজের ঢাক নিজে পেটায়, তখন তাকেই বলে হরিদাস পালের বুলবুলভাজা। পড়তে থাকুন রোজরোজ। দু-পয়সা দিতে পারেন আপনিও, কারণ ক্ষমতাহীন মানেই অক্ষম নয়। বুলবুলভাজায় বাছাই করা সম্পাদিত লেখা প্রকাশিত হয়। এখানে লেখা দিতে হলে লেখাটি ইমেইল করুন, বা, গুরুচন্ডা৯ ব্লগ (হরিদাস পাল) বা অন্য কোথাও লেখা থাকলে সেই ওয়েব ঠিকানা পাঠান (ইমেইল ঠিকানা পাতার নীচে আছে), অনুমোদিত এবং সম্পাদিত হলে লেখা এখানে প্রকাশিত হবে। ... আরও ...
  • হরিদাস পালেরা
  • এটি একটি খোলা পাতা, যাকে আমরা ব্লগ বলে থাকি। গুরুচন্ডালির সম্পাদকমন্ডলীর হস্তক্ষেপ ছাড়াই, স্বীকৃত ব্যবহারকারীরা এখানে নিজের লেখা লিখতে পারেন। সেটি গুরুচন্ডালি সাইটে দেখা যাবে। খুলে ফেলুন আপনার নিজের বাংলা ব্লগ, হয়ে উঠুন একমেবাদ্বিতীয়ম হরিদাস পাল, এ সুযোগ পাবেন না আর, দেখে যান নিজের চোখে...... আরও ...
  • টইপত্তর
  • নতুন কোনো বই পড়ছেন? সদ্য দেখা কোনো সিনেমা নিয়ে আলোচনার জায়গা খুঁজছেন? নতুন কোনো অ্যালবাম কানে লেগে আছে এখনও? সবাইকে জানান। এখনই। ভালো লাগলে হাত খুলে প্রশংসা করুন। খারাপ লাগলে চুটিয়ে গাল দিন। জ্ঞানের কথা বলার হলে গুরুগম্ভীর প্রবন্ধ ফাঁদুন। হাসুন কাঁদুন তক্কো করুন। স্রেফ এই কারণেই এই সাইটে আছে আমাদের বিভাগ টইপত্তর। ... আরও ...
  • ভাটিয়া৯
  • যে যা খুশি লিখবেন৷ লিখবেন এবং পোস্ট করবেন৷ তৎক্ষণাৎ তা উঠে যাবে এই পাতায়৷ এখানে এডিটিং এর রক্তচক্ষু নেই, সেন্সরশিপের ঝামেলা নেই৷ এখানে কোনো ভান নেই, সাজিয়ে গুছিয়ে লেখা তৈরি করার কোনো ঝকমারি নেই৷ সাজানো বাগান নয়, আসুন তৈরি করি ফুল ফল ও বুনো আগাছায় ভরে থাকা এক নিজস্ব চারণভূমি৷ আসুন, গড়ে তুলি এক আড়ালহীন কমিউনিটি ... আরও ...
গুরুচণ্ডা৯-র সম্পাদিত বিভাগের যে কোনো লেখা অথবা লেখার অংশবিশেষ অন্যত্র প্রকাশ করার আগে গুরুচণ্ডা৯-র লিখিত অনুমতি নেওয়া আবশ্যক। অসম্পাদিত বিভাগের লেখা প্রকাশের সময় গুরুতে প্রকাশের উল্লেখ আমরা পারস্পরিক সৌজন্যের প্রকাশ হিসেবে অনুরোধ করি। যোগাযোগ করুন, লেখা পাঠান এই ঠিকানায় : [email protected]


মে ১৩, ২০১৪ থেকে সাইটটি বার পঠিত
পড়েই ক্ষান্ত দেবেন না। হাত মক্সো করতে মতামত দিন