ஊர் கூடி...

மென்பொருள் துறையில் உருவாகக் கூடிய அழுத்தங்கள், புதிய சவால்கள், நுட்பங்கள் என்பதைப் பற்றியெல்லாம் எழுதுகிற போது நிறைய மின்னஞ்சல்கள் வரும். விவாதங்களுக்கும் புதிய திறப்புகளுக்குமான மின்னஞ்சல் அவை. அப்படித்தான் பிக் டேட்டா பற்றி எழுதிய போது கீதா சுரேஷ் மின்னஞ்சல் அனுப்பியிருந்தார். அமெரிக்காவில் வசிக்கிறார். பிக்டேட்டாவுக்கான இணைய வகுப்புகளையும் நடத்துகிறார். ‘தமிழில் பிக்டேட்டா பற்றி விரிவாக எழுதுகிறேன்’ என்றார். அப்படி அவர் எழுதுகிற கட்டுரைகளின் தொடர்ச்சி இது. மற்ற கட்டுரைகளைவிடவும் மிகச் சிறப்பாக வந்திருப்பதாக நினைக்கிறேன். வாசித்துவிட்டு கருத்துக்களைப் பகிர்ந்து கொள்ளவும்.

                                                               ***

பெருந்தகவலை (பிக்டேட்டா) கையாளும் போது ஏற்படும் சவால்கள் என்ன?

அளவில் அதிகமான மற்றும் பல வகையான தகவல்களை ஒரு சேரக் கையாளும் போது பல சவால்களை எதிர் கொள்ள வேண்டி இருக்கிறது. சேகரிப்பு, வகை பிரித்தல், பராமரித்தல் என தொழில்நுட்பம் சார்ந்த பல பிரச்சினைகள் இருக்கின்றன. அதனால்தான் வல்லுநர்களுக்குத் தேவை உருவாகிறது.

பெருந்தகவலை எவ்வாறு சேர்த்து வைப்பது ?

இன்றைய நிறுவனங்கள் முன் எப்போதையும் விட அதிகமான தகவல்களை தகவல்களை கையாள வேண்டி இருக்கிறது. உலகம் முழுவதும் கிட்டத்தட்ட 200 கோடி (2 பில்லியன்) மக்கள் இன்டர்நெட்டை பயன் படுத்துகிறார்கள். எல்லா வகையான தொழில்களும் வளர்ந்து வருகின்றன. இதனால் மேலும் மேலும் புதிய தகவல்கள் உருவாகிக் கொண்டேயிருக்கின்றன. இப்படியே போனால் 2020 வருடவாக்கில் கிட்டத்தட்ட 44 ஸிட்டா பைட்டு (zetabyte) அளவு தகவல்கள் உருவாகி இருக்கும்.

1 ZB = 1 Million petabytes = 1Billion Terabytes = 1Trillion Gigabytes (கணக்குப் போட்டால் தலையே சுற்றுகிறது)

ஆக, இந்தப் பெருந்தகவலை எங்கே சேகரிக்கப் போகிறோம்? எப்படிச் சமாளிக்கப் போகிறோம்? இதெல்லாம்தான் பிக்டேட்டா நுட்பங்களின் முன்னால் இருக்கக் கூடிய சவால்கள்.

அதே போலவே, பெருந்தகவலின் மற்றொரு சவால் தகவல் செயலாக்கம் (data processing). தகவல் செயலாக்கம் என்பது வேறொன்றுமில்லை. குப்பையில் இருந்து பொறுக்குமணியைச் சேகரிப்பது மாதிரி. கொட்டிக் கிடக்கும் தகவல்களிலிருந்து பயனுள்ள தகவலை அறிவதற்காக தகவலை ஆய்வு செய்வது, உருமாற்றும் செய்வது போன்ற செயல்பாடுகளை உள்ளடக்கியது.

பெருந்தகவல் பல்வகையான தகவல்களாக (அமைப்புள்ள தகவல் - structured data, ஒளி வடிவிலான தகவல், ஒலி வடிவிலான அல்லது கோப்பு வடிவிலான தகவல்) என கசமுசாவென்று பல வடிவிலும் இருக்கக் கூடும். இவை எந்த ஒழுங்குமற்ற அமைப்பில்லா தகவலாகவும் (unstructured data)) இருக்கலாம். இப்படிக் குப்பையாகக் கொட்டுகிற தகவல்களை ப்ராஸஸ் செய்வதே மலை போன்ற காரியம்தான்.

இதில் இன்னொரு பெரிய பிரச்சினையும் இருக்கிறது. உருவாகும் 90% தகவல் அமைப்பில்லா தகவல் (unstructured data). எந்த ஒழுங்குமில்லாத இந்த அமைப்பில்லா தகவலை அமைப்புள்ள தகவலாக மாற்றினால் மட்டுமே அதிலிருந்து மிகவும் பயனுள்ள அறிவை (knowledge) உருவாக்க முடியும்.

இதை எவ்வாறு செய்வது? ஆரக்கிள் (Oracle), டெராடாட்டா (Teradata) போன்ற பாரம்பரிய (Traditional) டேட்டாபேஸ் மென்பொருள் இதை செய்ய முடியுமா?

பொதுவாக பெருந்தகவலை பகுப்பாய்வு செய்ய பெரிய அளவில் பகுப்பாய்வு/சிபியு (CPU) திறன் தேவைப் படுகிறது. ஆரக்கிள் மாதிரியான பாரம்பரிய டேட்டாபேஸ் மென்பொருட்கள் ஒப்பீட்டளவில் சிறிய தகவல்களை மட்டுமே பகுப்பாய்வு செய்ய பயன்படுகின்றன. இவை வேகமான செயலி (Processor) மற்றும் அதிக மெமரியைப் பயன்படுத்துகின்றன. அதனால் முதலீடு அதிகம். அப்படியே பணத்தைக் கொட்டி முதலீடு செய்தாலும் கூட இருப்பதிலேயே வேகமான செயலியாலும் கூட பெருந்தகவலைப் பகுப்பாய்வு செய்ய முடிவதில்லை.

ஆக, பாரம்பரிய டேட்டாபேஸ் மென்பொருள்களால் பெருந்தகவலை பகுப்பாய்வு செய்ய முடிவதில்லை எனும் போது பெருந்தகவல் பகுப்பாய்வு எவ்வாறு செய்வது?

பரவுக் கணினிச் செய்முறை (Distributed Computing)

பரவுக் கணினிச் செய்முறை என்பது ஒரே கட்டளை நிரலை (ப்ரோக்ராமை) ஒரே நேரத்தில் பல கணினிகளுக்கு வேலையை பிரித்து கொடுத்து, வேலையைச் செய்து முடிப்பதாகும். இது ஒரு பலசாலியால் முடியாத வேலையை ஊர் மக்கள் கூடி ஒரு குழுவாக வெற்றிகரமாக முடிப்பது போன்றதாகும்.

பரவுக் கணினிச் செய்முறைக்கு அதிக விலையுயர்ந்த கணினிகள் தேவை இல்லை. சாதாரண கணினிகள் போதுமானது. இது நிறுவனங்களுக்கான செலவை பெருமளவில் குறைத்து அதிக பயனை தருகிறது.

பரவுக் கணினிச் செய்முறையில் உள்ள சவால்கள் என்ன?

1. பல கணினிகளுக்கு வேலையை பிரித்து கொடுத்து வேலையை ஆரம்பித்த பின் ஒரு கணினியின் செயல் பழுதடைந்து விட்டால், மொத்த வேலையும் பாதிக்கப் படக் கூடாது. அதே சமயம் வேலை தொடர்பான தகவல்களும் தொலைந்து போகக் கூடாது. வேலையின் பயன்முடிவு (result) சரியாகக் கொடுக்கப் பட வேண்டும்.

2. ஒரு கணினியின் பயன்முடிவு மற்ற கணினிகளின் பயன்முடிவுகளோடு சரியான முறையில் சேர்த்து கொடுக்கப் பட வேண்டும்.

3. கணினி வலைப்பின்னல் (network) தொடர்பான சிக்கல்கள், துண்டிப்புகள் கையாளப்பட வேண்டும்.

இந்தச் சவால்களையெல்லாம் சமாளிப்பது எப்படி?

பெருந்தகவல் தொடர்பான மென்பொருள்கள் இந்த சிக்கல்களை திறமையாக கையாள்கின்றன. இவற்றில் ஹடூப் (Hadoop) முன்னணியில் நிற்கிறது. ஹடூப் என்பது ஓபன் சோர்ஸ் (Open source) எனும் வகை மென்பொருள் கூட்டணி (Software Platform). யார் வேண்டுமானாலும் மேம்படுத்தலாம். இது இலவசமாகக் கிடைக்கக் கூடியது. இதனை வாங்குவதற்கு பணம் செலவழிக்க தேவை இல்லை. மேற்சொன்ன பெருந்தகவல்களை ஹடூப் மென்பொருள்கள் மூலமாக சேமிக்கவும் வகைப்படுத்தவும் முடியும். இலவசமாகக் கிடைக்கிறது என்பதால் பல நிறுவனங்களுக்கு கோடிக்கணக்கான டாலர்கள் தொகையை மிச்சப் படுத்த முடிகிறது.

நிறுவனங்கள் ஹடூப் மென்பொருளை உபயோகப் படுத்த முடிவு செய்யும் பொது, அவற்றுக்கு சில சிக்கலான மற்றும் அவசர உதவிகள் பெறுவதற்காக ஹடூப் மென்பொருள் உதவிகளை விற்கும் கிளொட்ரா (Cloudera) அல்லது ஹார்ட்டன்ஒர்க்ஸ் (Hortonworks) நிறுவனங்களுடன் ஒப்பந்தம் செய்து அதற்கு சிறு பணம் செலவு செய்கின்றன. அது ஆரக்கிள் (Oracle), டெரா டாட்டா (Teradata) நிறுவனங்களுக்கு செலவு செய்வதை விட மிகக் குறைவான பணம்.

2005-இல் டக் கட்டிங் (Doug Cutting) மற்றும் மைகேல் சபாரெலா இணைந்து ஹடூப்பை உருவாக்கினர். இதற்கு யாஹூ நிறுவனம் நிதி உதவி வழங்கியது.

2006-இல் யாஹூ நிறுவனம் இதை அபாச்சே (Apache) நிறுவனத்திடம் ஒப்படைத்து ஓபன் சோர்ஸ் (Open source) மென்பொருளாக மாற்றியது.

ஒரு சுவாரசியமான கதை: டக் (Doug)-இன் மகன் ஹடூப் எனும் ஒரு மஞ்சள் யானை பொம்மை வைத்திருந்தான். டக் பல பெயர்கள் யோசித்து விட்டு, கடைசியில் ஹடூப் எனும் பெயரையே வைத்து

விட்டார்.

ஹடூப் எவ்வாறு பரவுக் கணினிச் செய்முறையில் உள்ள சவால்களை கையாள்கிறது?

ஹடூப் பெருந்தகவல்களை கையாள்வதில் ஒரு முன்னணி மென்பொருளாக திகழ்கிறது. ஹடூப் தகவல்களை பல கணினிகளில் பிரித்து சேமித்து வைக்கிறது. பல கணினிகள் ஒன்றாக சேர்த்து ஒரு ஹடூப் திரள் அல்லது கிளஸ்ட்டர் (Cluster) என்று அழைக்க படுகிறது. ஹடூப் தகவல் சேமிப்பு மற்றும் தகவல் செயலாக்கம் இரண்டையும் திறமையாக பல கணினிகளுக்கு பிரித்து கொடுத்து வேலை செய்கிறது. ஹடூப் எந்த ஒரு தகவலையும் 2 அல்லது 3 கணினிகளில் சேமித்து வைக்கிறது. இதனால் ஒரு கணினியின் செயல் பழுதடைந்து விட்டால் அதில் உள்ள தகவல்கள் இழப்பு ஆகாது.

அதே சமயம், ஹடூப் தகவல் செயலாக்கதிலும் ஒரு பாதிப்பும் வராது. ஒரு கணினியின் செயல் பழுதடைந்து விட்டால் அதில் உள்ள தகவல் செயலாக்கங்கள் மற்றொரு கணினியில் ஆரம்பிக்கப்பட்டு அதன் முடிவுகள் மற்ற கணினிகளுடன் சேர்ந்து தரப்படும்.

ஹடூப் திரளில் சில கணினிகளை இணைத்தால், அதற்கு ஏற்றவாறு, அந்த ஹடூப் திரளின் செயல் வேகம் அதிகரிக்கும். ஒரு கணினியின் செயல் பழுதடைந்து விட்டால், ஹடூப் திரளின் செயல் வேகம் சற்று குறையுமே அன்றி, செயல் முடிவுகளில் தவறு எதுவும் நேராது.

ஹடூப் நிரல்களை ஜாவா, ரூபி, பைதான் மொழிகளில் எழுதலாம்.

இந்த பல சிறு கணினிகள் சேர்ந்து ஒரு பெரிய தகவலை கையாளும் ‘கூட்டு முயற்சி’ வித்தையை, நம் வாழ்க்கைக்கும் பொருத்திப் பார்க்கலாம்.

சில சமயம் நாம் தேவை இல்லாமல் நமது பிரச்சனைகளை நம்மை விட பெரிதாக கற்பனை செய்து கொள்கிறோம். நாம் எந்த ஒரு பெரிய பிரச்சினையையும் சிறு பிரிவுகளாக பிரித்தால், ஒவ்வொன்றுக்கும் சில மணி நேரம் ஒதுக்கி அதை தீர்க்கமாக எதிர்கொண்டால் சமாளித்து விடலாம். உதரணத்திற்கு ஹடூப் படிப்பதை சிறு சிறு பகுதிகளாக பிரித்து ஒரு தகுந்த வழிகாட்டி அல்லது நண்பனின் உதவியுடன் எளிதாக படித்து விட முடியும்.

(பிக்டேட்டா கட்டுரைகளை ‘பிக்டேட்டா’ என்ற லேபிளில் க்ளிக் செய்து வாசிக்கலாம்).

geethashdp@gmail.com