ইনফরমেশন এক্সট্রাক্সন: উপাত্তকে তথ্যে রূপান্তর

সচলে দ্বিতীয় বারের মত লিখতে বসা। আমার প্রথম লেখায় আমি বাংলাদেশের রাজনৈতিক হুমকির একটা পরিসংখ্যান দেয়ার চেস্টা করেছি। খুব স্বাভাবিক ভাবেই, অনেকে জানতে চাচ্ছেন আমি কোন ম্যাথড বা ম্যাটেরিয়ালস ব্যাবহার করে ওই তথ্য গুলো দিয়েছি। প্রথম লেখাতে আমি এই ব্যাপারগুল সম্পর্কে খুব সংক্ষেপে এবং সহজ ভাবে কিছু জিনিশ ব্যাখ্যা করেছি, কারন সত্যি বলতে এই জাতীও টেকনিক্যাল লেখার গ্রহণযোগ্যতা বা লেখার টেকনিক্যাল অংশ গুলো সম্পর্কে পাঠক আগ্রহী হবে কিনা সে ব্যাপারে একটু সন্দিহান ছিলাম। কিন্তু লেখার পরে দেখলাম অনেকেই টেকনিক্যাল ব্যাপারগুলো সম্পর্কে জানতে আগ্রহ প্রকাশ করেছেন। সেই সাথে এই ধরনের আরও লেখা পড়তে চান বলে জানিয়েছেন। তাই আজ টেকনিক্যাল কিছু ব্যাপার নিয়ে কথা বলব।

উপাত্য কি, আর তথ্য কি?
ইংরেজিতে দুটো ভিন্ন নাম, ড্যেটা এবং ইনফরমেশন। ডেটাকে প্রসেস করে যা পাওয়া যায়, তাই ইনফরমেশন। ধরুন, আপনার কাছে আপনার ক্লাসের সব ছাত্রের সিজিপিএ এর লিস্ট আছে। এটা যদি হয় ডেটা, তাহলে এখান থেকে আপনি যে ধরনের ইনফরমেশন পেতে পারেন, সেগুলো হল,

১। ক্লাসে কার সিজিপিএ সব থেকে ভালো।
২। কার সিজিপিএ সব থেকে খারাপ।
৩। গড় সিজিপিএ কত।
৪। যাদের রোল প্রথম দিকে, তাদের সিজিপিএ ভালো, নাকি যাদের রোল শেষের দিকে।
৫। আপনার ক্লাসের কোন ছাত্র ভবিষ্যতে শিক্ষক হতে পারে।

কি ধরনের ইনফরমেশন আপনি জেনারেট করবেন বা করতে পারবেন, সেটা নির্ভর করে আপনার চিন্তার মাত্রা আর উপাত্যের সমৃদ্ধির উপর।
উপরে আমি যে ৫ টা ইনফরমেশন জেনারেট করার আইডিয়া দিলাম, এ ছাড়াও আর কোন ইনফরমেশন বের করার আইডিয়া থাকলে কমেন্টে জানাতে পারেন। যেমন এই মাত্র আরেকটা মাথায় আসলো। যেহেতু আপনার ক্লাসের সবাইকে আপনি মোটামুটি চেনেন, সিজিপিএর লিস্ট থাকলে আপনি চাইলে এই ইনফরমেশন বের করতে পারেন, "যাদের সিজিপিএ ভালো, তারা বেশী ক্রিয়েটিভ, নাকি যাদের সিজিপিএ খারাপ তারা?" সব ধরনের ইনফরমেশন আপনাকে বের করতে হবে পরিসংখ্যান, সম্ভাব্যাতা বা গনিতের এই জাতীও বিষয় গুলোর উপর ভিত্তি করে।

ন্যাচারাল লাঙ্গুয়েজ প্রসেসিং-
পৃথিবীতে অন্যান্য প্রানীর তুলনায় মানুষ এত উন্নত কেন? অনেকে অনেক ভাবে এর উত্তর দিতে পারে, কিন্তু আমার মতে এর কারন মানুষের কমিউনিকেশন ক্ষমতা আছে। অন্যান্য প্রানীদের কি নেই? আছে, কিন্তু মানুষের মত এট ডিটেলস ভাবে মনের ভাব প্রকাশ করার ক্ষমতা নেই। মানুষই একমাত্র প্রানী, যারা কথা বলে মনের ভাব প্রকাশ করতে পারে। এমনকি, মনের সূক্ষ্মাতিসূক্ষ্ম ভাবও কথা বলে প্রকাশ করা যায়। যেমন, আপনার এক বন্ধু আপনাকে বলল, তার ঠাণ্ডা লাগছে, আরেক বন্ধু বলল, তার ঠাণ্ডা ঠাণ্ডা লাগছে। দুটো কথার মধ্যে একটা সুক্ষ পার্থক্য আছে এবং মানুষ সেটা ধরতে পারে। এত সুক্ষ ভাবে আর অন্য কোন প্রানী কমিউনিকেট করতে পারে না।

আমাদের কথার মদ্ধে লুকিয়ে থাকে তথ্য। যেমন উপরের কথা দুটো থেকে আপনি প্রথমেই যেটা বুঝবেন, সেটা হল আপনার প্রথম বন্ধুর ভালো ঠাণ্ডা লাগছে, আর দ্বিতীয় বন্ধুর হালকা ঠাণ্ডা লাগছে। এটুকু পর্যন্ত বুঝতে আপনাকে কোন কস্ট করতে হবে না। কিন্তু কথাটি নিয়ে আরেকটু চিন্তা করলে আপনি আরও বুঝতে পারবেন আপনার প্রথম বন্ধুটি আছে একটি শীতল পরিবেশে, এবং দ্বিতীয় বন্ধুটি আছে এমন একটা পরিবেশে, যেখানে শিত আছে, কিন্তু খুব একটা বেশী না, অন্তত প্রথম বন্ধুটি যেখানে আছে সেখান থেকে কম। দুজন যদি একই যায়গায় থাকে, আপনি সিদ্ধান্ত নিতে পারেন আপনার প্রথম বন্ধুটির ঠাণ্ডা সহ্য করার ক্ষমতা দ্বিতীয় বন্ধুর থেকে কম। আপনাকে যখন কেউ কোন কথা বলে বা লিখে জানায়, সেটা আপনার মস্তিষ্কের কাছে ডেটা, সেখান থেকে আপনি কি ইনফরমেশন পাবেন, বা কতটি ইনফরমেশন পাবেন, সেটা নির্ভর করবে আপনার চিন্তার ব্যাপ্তি, মস্তিষ্কের প্যাটার্ন ম্যাচিং ক্ষমতা বা আপনার মস্তিষ্ক উপাত্যটিকে কতটুকু গুরুত্ব দিচ্ছে তার উপর।

ভাষাকে এনালাইসিস করলে অনেক ধরনের তথ্য পাওয়া সম্ভব। ঠিক যেমনটা আমি দেখিয়েছি আমার প্রথম লেখায়। এর জন্যে আপনার প্রথমেই যেই জিনিসটা লাগবে, সেটা হল টেক্সট কন্টেন্ট। আমরা যারা এখন বাংলাদেশে বাংলা ল্যাঙ্গুয়েজ প্রসেসিং নিয়ে কাজ করি, তাদের ডাটার সব থেকে বড় উৎস ইন্টারনেট। এমনকি অন্য যে কোন ভাষার খেত্রেও তাই। কিন্তু সমস্যা হল, ইংরেজিতে যে পরিমান কন্টেন্ট আছে, বাংলায় ওই পরিমান কন্টেন্ট নেই। বাংলা কন্টেন্টের অধিকাংসই হল বাংলা পত্রিকা গুলোর অনলাইন ভার্সন এবং বিভিন্ন ব্লগ(কিন্তু কিছু ব্লগে আজকাল যে ভাষা ব্যাবহার করা হয়, তা আসলে বাংলা থেকে ডাইভারটেড। তারা হয়ত মজা করার জন্যে এটা করে, কিন্তু এতে বাংলা ভাষা এবং ভাষার রিসোর্স ক্ষতিগ্রস্থ হচ্ছে)। আর আমার ধারনা, অধিকাংশ বাংলা সাইটের বয়স গড়ে ৫ বছর। কিছু হয়ত কম বেশী থাকতে পারে।
তাই কন্টেন্টের প্রাচুর্য আর বৈচিত্র দুটোই কম। তবে আশা করি, আর ১০ বছর পরে ইন্টারনেটে বাংলার সমৃদ্ধ রিসোর্স থাকবে। কন্টেন্টের একটা টেকনিক্যাল নাম আছে, সেটা হল করপাস/কর্পোরা।

এমনকি কোন প্রোগ্রাম লেখা সম্ভব, যা মানুষের মত কথা বুঝতে পারে? সায়েন্স ফিকশনে বা হলিউডের মুভিতে আমরা রোবটের সাথে মানুষকে কথা বলতে দেখি। বাস্তবেও এমন কিছু প্রজেক্ট আছে, যেমন অটমেটিক চ্যাট বট, একটি প্রোগ্রাম, যা আপনার সাথে মানুষের মত চ্যাট করবে (যদিও এখনো ৫০% পারফেক্ট করাও সম্ভব হয় নি)। কোন প্রোগ্রামের মানুষের মত কথা বোঝার বা বলার ক্ষমতা থাকা মানে সেই প্রোগ্রামের আসলে মানুষের মত চিন্তা করার ক্ষমতা আছে। তাই বুঝতেই পারছেন, এটা হল ন্যাচারাল লাঙ্গুয়েজ প্রসেসিং এর সব থেকে এডভান্স টপিক।

আমার উপাত্তের উৎসঃ
এক কথায় উত্তর, গুগল। ইন্টারনেট থেকে কন্টেন্ট কালেক্ট করার জন্যে আপনি চাইলে স্ক্রিপ্ট লিখতে পারেন, ক্রলার বানাতে পারেন, পার্সার ব্যাবহার করতে পারেন, ম্যানুয়ালি কপি পেস্ট করতে পারেন সেটা আপনার ইচ্ছা। আপনি কি জাতীও কাজ করবেন, বা কি ধরনের ইনফরমেশন চাচ্ছেন তার উপরেও নির্ভর করে। তবে একটা ব্যাপার সবাইকে জানিয়ে দেয়া ভালো, এই কাজে প্রচুর ধৈর্য আর সময় দরকার।

সব সময়কি আপনাকে কন্টেন্ট এনালাইসিস করেই ইনফরমেশন বের করতে হবে? না। ধরুন, আমার কাছে অনেক কন্টেন্ট আছে। আমি এখান থেকে এনালাইসিস করে স্টপ ওয়ারড গুলো (ও এবং, বা , কিন্তু এই ধরনের লেস সিগ্নিফিকেন্ট ওয়ার্ড, যাদের আসলে কন্টেন্টে খুব বেশী ভুমিকা থাকে না) বের করলাম। এখন কেউ যদি চায় তার কোন কাজে স্টপ ওয়ার্ড এর লিস্ট লাগবে, সেই ক্ষেত্রে সে কন্টেন্ট কালেক্ট করে এনালাইসিস এর মাধ্যমে স্টপ ওয়ার্ড বের করতে পারে, অথবা সে চাইলে আমার বের করা লিস্ট ব্যাবহার করতে পারে। এটাকে বলে লেক্সিক্যাল করপাস। যা এমন এক ধরনের ইনফরমেশন, যা ডাটা এনাইসিস করে বের করা হয়েছে, এবং পরবর্তী ইনফরমেশন বের করার জন্যে তাকেই আবার ডাটা হিসেবে ব্যাবহার করা হচ্ছে। আমার প্রথম পোস্টের ইনফরমেশন গুলোর জন্যে আমি একটি লেক্সিক্যাল করপাস ব্যাবহার করেছি। তার নাম "গুগল এডভান্স সার্চ"। আমরা সাধারনত গুগলে যে সার্চর কিভাবে গুগল সার্চ ইঞ্জিন ব্যাবহার করে এন-গ্রাম, মার্কভ মডেল, নেইমড এন্টিটি রিকগনিসনের মত কাজ গুলো করা যায়, আমি বর্তমানে সে ব্যাপারে রিসার্চ করছি। আমি কোন রিসার্চ পেপারের লিঙ্ক দিতে পারছি না কারন এর আগে এটা নিয়ে আর কেউ কাজ করে নি, মানে গুগল সার্চকে লেকজিক্যাল করপাস হিসেবে ব্যাবহার করে নি। তবে হয়ত বছরখানেকের মধ্যেই দিতে পারব। এই এপ্রোচের সব থেকে বড় সুবিধা, আপনাকে কন্টেন্ট স্টোর করতে হচ্ছে না এবং কোন এলগরিদম নিয়েও কাজ করতে হচ্ছে না। আপনার প্রোগ্রাম শুধু গুগলকে কোয়েরি পাঠাচ্ছে(এই পার্টটা সব থেকে ট্রিকি, আপনি কি ধরনের ইনফরমেশন চান, সেই অনুযায়ী কোয়েরি লিখতে হবে) এবং গুগল কোয়েরি একজিকিউট করার পরে যে রেজাল্ট দিচ্ছে, সে রেজাল্ট পারস করে নিয়ে আসছে। আর যেহেতু সব থেকে বেশী কন্টেন্ট গুগলের আছে, এবং গুগল তার ইফিসিয়েন্ট প্রোগ্রাম দিয়ে ওই কন্টেন্ট এনালাইসিস করে আপনাকে রেজাল্ট দিচ্ছে, তাই কন্টেন্টের সমৃদ্ধির ও এলগরিদমের ইফিসিয়েন্সির ব্যাপারে আপনি ১০০ ভাগ নিশ্চিন্ত থাকতে পারেন। এর থেকে বেশী কন্টেন্ট কোন করপাসে থাকা সম্ভব না। কারন অধিকাংশ করপাস হল গোটা ইন্টারনেটের কন্টেন্ট সেট এর একটা উপসেট।

ম্যাথডঃ
এটা সম্পূর্ণ আপেক্ষিক। আমি ধরনের ইনফরমেশন বের করতে চাচ্ছি এবং আমার কাছে কি ধরনের রিসোর্স এভেইলেবেল(কন্টেন্ট বা ম্যাথম্যাটিকাল/স্টাটেস্টিক্যাল/ল্যাঙ্গুয়িস্টিক থিউরি), তার উপর ভিত্তি করে তৈরি হবে আমার ম্যাথড। যেহেতু বাংলা লাঙ্গুয়েজ প্রসেসিং নিয়ে এখনো খুব বেশী থিওরিটিক্যাল কাজ এখনো হয় নি, তাই এ ক্ষেত্রে নিজের সৃষ্টিশীলতা বা প্রব্লেম সল্ভিং স্কিল দেখানোর একটা ভালো সুযোগ আছে। কাজ করার ক্ষেত্রে বা কোন সিদ্ধান্ত নেয়ার ক্ষেত্রে আপনি অনেকটাই স্বাধীন। আপনার এনালাইসিসের ফলাফল বলে দেবে আপনার সিদ্ধান্ত কতটুকু সঠিক ছিল। টেকনিক্যাল কিছু টারমের সাথে পরিচয় করিয়ে দেয়াটা দরকার মনে করি, যেমন ল্যাঙ্গুয়েজ মডেল, এন-গ্রাম মডেল, বাইগ্রাম, ট্রাইগ্রাম, মারকভ এজামসন, মারকভ মডেল, ২ বাই ২ কন্টিজেন্সি টেবিল, প্রিসিসন, রিকল, এফ মেজর, ইনফরমেশন এক্সট্রাক্সন, সেন্টিমেন্ট এনালাইসিস, করপাস, লেকজিক্যাল করপাস, স্টাটিস্টিক্স, প্রব্যাবিলিটি ইত্যাদি। এগুল সম্পর্কে এক আর্টিকেলে টেকনিক্যাল ডিটেলস দেয়া সম্ভব না। কেউ চাইলে স্টানফোরডের ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং এর উপরে ওপেন কোর্স করতে পারেন।

ইনফরমেশনের সত্যতা কতটুকুঃ
সেটা সব থেকে ভালো বলতে পারবে মানুষ। এখানে আপনাকে আমি যে তথ্য দিচ্ছি , তা আমাকে দিচ্ছে একটা প্রোগ্রাম। এর আউটপুট সঠিক কি ভুল, তা বলবে পাঠক। যদি প্রোগ্রাম যে তথ্য দিচ্ছে , তা বাস্তব হয়, বা কিছু সর্ত সাপেক্ষে বাস্তবতার কাছাকাছি থাকে, তাহলে বুঝতে পারব প্রোগ্রাম ডিজাইন ঠিক আছে। তবে প্রসেসে ভুল হওয়ার সম্ভাবনা কম, কারন আমি স্টাব্লিশ থিওরি গুলোর উপর ভিত্তি করেই প্রসেস এর মডেল করব, কিন্তু যে ইনফরমেশন চাচ্ছি, সে ব্যাপারে কন্টেন্ট যদি সমৃদ্ধ না হয়, সে ক্ষেত্রে প্রোগ্রামের দেয়া তথ্যের সাথে বাস্তবের গরমিল থাকতে পারে।এটা স্টাটেস্টিক্যাল ন্যাচারাল লাঙ্গুয়েজ প্রসেসিং এর একটা ড্রব্যাক(সীমাবদ্ধতা)।

ইনফরমেশন দিয়ে আমরা কি করবঃ
জানি না। আসলেই জানি না। সব ইনফরমেশন মানুষের কাজে লাগে না, কিছু ইনফরমেশন কেবল ইনফরমেশন হিসে জানতেই ভালো লাগে।
কিছু আপনার সমসাময়িক পরিস্থিতি সম্পর্কে আপনাকে পূর্বাভাস সেয় বা সচেতন করে। কিছু ইনফরমেশন প্রকৃতির নিয়ম বুঝতে সাহাজ্য করে। ইনফরমেশন ইজ অল এরাউন্ড, আপনি একে কিভাবে ব্যাবহার করতে পারবেন, তা নির্ভর করে সম্পূর্ণ আপনার উপরে। আর কিছু ক্ষেত্রে কেবলমাত্র বুদ্ধিবৃত্তিক তাড়না থেকে এসব জিনিস জানা দরকার হয়। আর কিছু ক্ষেত্রে মানুষের থেকে ভালো এনালাইসিস করতে পারে প্রোগ্রাম। সাধারন মানুষের পক্ষে এত ডকুমেন্ট ঘেটে তথ্য বের করা সম্ভব না। মানুষ ক্যালকুলেটর বানায়, তার মানে সে যোগ বিয়োগ করতে পারে না তা নয়। ক্যালকুলেটর কম সময়ে নিখুত ভাবে কাজটা করে দেয়।

বাংলাদেশের আলোচিত জেলাঃ
সবশেষে, আজ আরেকটা ইনফরমেশন দেই, যদিও আজ কোন ইনফরমেশন দেয়ার ইচ্ছা ছিল না। এটাও ডাটা এনালাইসিস করে পাওয়া। মেথড খুবই সিম্পল,করপাসে প্রতিটা জেলার জন্যে নাম্বার অফ ডকুমেন্টস কাউন্ট করছি ।

বাংলাদেশের অনলাইনে সব থেকে আলোচিত জেলা গুলো হল (ক্রমানুসারে),

ঢাকা (২,৫৭০,০০০)
গোপালগঞ্জ (১,০৮০,০০০)
চট্টগ্রাম (১,০৫০,০০০)
সিলেট (৭২৫,০০০)
রাজশাহী (৬২১,০০০)
খুলনা (৫৫৪,০০০)
বরিশাল (৫১৫,০০০)
রংপুর (৪৮০,০০০)

গোপালগঞ্জের ব্যাপারটা ইন্টারেস্টিং না? ঢাকার পরেই বাংলাদেশে যে জেলা নিয়ে অনলাইনে সব থেকে বেশী আলোচনা হয়, তা হল গোপালগঞ্জ। আরেকটা ব্যাপার, উপরের লিস্টে ১ টা ছাড়া বাকি সবই বিভাগ। তার মানে বিভাগ গুলো নিয়ে সব থেকে বেশী আলোচনা হয়। পপুলার জেলা গুলোর মধ্যে কুমিল্লা ও নোয়াখালী জেলার কাউন্ট যথাক্রমে ২৭৩০০০ ও ১৭৬০০০, যা যে কোন বিভাগের থেকে অনেক কম। এই ইনফরমেশন আপনার কোন কাজে লাগতে পারে বা নাও লাগতে পারে। যেমন,আপনি চাইলে হাইপথিসিস দার করাতে পারেন "যদি পরবর্তীতে কোন নতুন বিভাগ ঘোষণা করতে চায়, তাহলে লিস্টে গোপালগঞ্জ থাকতে পারে।"

লেখায় কোন ভুল থাকলে ক্ষমা সুন্দর দৃষ্টিতে দেখবেন, আমি গুছিয়ে লিখতে পারি না।

পথের দাবি