Skip Ribbon Commands
Skip to main content

​​​​​​​​​

டெப்ளாய் டூ அஸூர் & டிஎஸ்விஎம் பயன்படுத்தி தன்னியக்கமாக BigDL நிறுவல்


 

BigDL என்பது அபேச்சி ஸ்பார்க்குக்கான டிஸ்ட்ரிபியூட்டட் டீப் லேர்னிங் லைப்ரரி*. BigDL பயன்படுத்தி, நீங்கள் டீப் லேர்னிங் அப்ளிகேஷன்களை ஸ்க்லா அல்லது பைதன் புரோகிராம்களாக எழுதலாம் மேலும் இதன் மூலம் ஸ்கேலபிள் ஸ்பார்க் கிளஸ்டர்களின் அனுகூலத்தையும் பெறலாம்

BigDL பயன்படுத்துவதை எளிதாக்குவதற்கு, மைக்ரோசாஃப்டும் இண்டெலும் இணைந்து Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM)க்கு மேலே "டெப்ளாய் டூ அஸூர்" என்ற பட்டனை உருவாக்கியிருக்கிறார்கள்.

இது கிட்ஹப் வலைத்தளத்தில் https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDLஎன்ற இணைப்பில் கிடைக்கிறது.


 
குறிப்பு: டிஎஸ்விஎம் ஐ முழுமையாக நிறுவுவதற்கு 10 நிமிடங்கள் வரை ஆகும்—ஒரு காஃபி குடிப்பதற்கு சரியாக இருக்கும்!

கவனத்தில் கொள்ளுங்கள்: எளிதாகப் பயன்படுத்தவதற்கு, டிஎஸ்விஎம் நிறுவலின்போது எஸ்எஸ்ஹெச் தெரிவுக்கு பதிலாக கடவுச்சொல் தெரிவை தேர்ந்தெடுக்கப் பரிந்துரைக்கிறோம்.
 

உங்களுடைய சொந்த தனிப்பயனாக்கப்பட்ட டேட்டா சயின்ஸ் விஎம் எக்ஸ்டென்ஷன் டெப்ளாய்மெண்ட்களை உருவாக்குதல்

அஸூர் ரிசோர்ஸ் மேனேஜர் (ARM) உருமாதிரிகளைப் பயன்படுத்தும்போது நிறுவலுக்குப் பிறகு ஸ்கிரிப்ட்களை தன்னியக்கமாக இயக்குவதற்கான அமைப்பை அஸூர் வர்ச்சுவல் மெஷின்கள் அளிக்கிறது.

டிஎஸ்விஎம் குழு இதை Github*ல் ஆவணப்படுத்தியுள்ளது

டிஎஸ்விஎம் எக்ஸ்டென்ஷன்கள் எழுதுவதற்கு உதாரணங்கள். https://github.com/Azure/DataScienceVM/tree/master/Extensions

இந்தக் குழு அஸூரில் விஎம் உருவாக்கும்போது, லினக்ஸுக்கான டிஎஸ்விஎம் இல் BigDL நிறுவுவதற்கு அஸூர் ரிசோர்ஸ் மேனேஜரை (ARM) வெளியிட்டுள்ளது. டெப்ளாய் டூ அஸூர் பட்டனை கிளிக் செய்தால் அது பயனரை அஸூர் போர்டல் விஸார்டுக்கு கொண்டு செல்லும், http://portal.azure.com அங்கே விஎம் உருவாக்க செயல்முறையைப் பற்றி அறிந்துகொள்ளலாம், மேலும் விஎம் வெற்றிகரமாக நிறுவப்பட்டவுடன் பயன்படுத்தத் தயாராக இருக்கும்படி, BigDLஐ நிறுவுவதற்கு/கட்டமைப்பதற்குத் தேவையான ஸ்கிரிப்டை தன்னியக்கமாக செயல்படுத்தும்.

மேலே உள்ள ஆவணப்படி, மெஷின் கட்டமைப்பை செயல்படுத்துவதற்கு கோப்பு யுஆர்எல் மற்றும் கமேண்டுக்கான மாறிலிகளுக்குள் நீங்கள் இணைப்பைச் சேர்க்கவேண்டும்

{
 "fileUris": ["<url>"],
 "commandToExecute": "<command-to-execute>"
}
மேலே உள்ள உதாரணத்தின் படி இதுதான் https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.jsonஎன்ற இணைப்பிலிருந்து எடுக்கப்பட்ட ஏஆர்எம் இல் நடைமுறைப்படுத்தல் ஆகும்

 "variables": {
      "location": "[resourceGroup().location]",
      "imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris": https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter Notebooks சர்வரை இயக்குதல்

மாதிரிகளை செயல்படுத்துவதற்காக Jupyter*நோட்புக்கைத் தொடங்குவதற்கு பயனர் நேரடியாக /opt/BigDL/run_notebooks.sh ஐ இயக்கலாம்.

நீங்கள் BigDLஐ கைமுறையாக நிறுவ விரும்பினால்

BigDLஐ கைமுறையாக நிறுவுவதற்கான படிப்படியான நிறுவல் செயல்முறை

உங்களிடம் முன்பே டிஎஸ்விஎம் (உபுண்டு) இருந்தால், அல்லது மேலே உள்ள தன்னியக்க செயல்பாடுகள் என்ன செய்கிறது என்ற விவரங்களைப் புரிந்துகொள்வதற்கு டேட்டா சயின்ஸ் வழிகளை உருவாக்குவதற்கு.

டிஎஸ்விஎம் ல் BigDL ஐ கைமுறையாக நிறுவுதல்

டிஎஸ்விஎம் நிறுவல்

நீங்கள் தொடங்குவதற்கு முன், அஸூர்  தயாரிப்புகள் விவரப் பக்கத்துக்கு சென்று லினக்ஸுக்கான (உபுண்டு) மைக்ரோசாஃப்ட் டேட்டா சயின்ஸ் வர்சுவல் மெஷினை உருவாக்கி, விஎம் கிரியேஷன் விஸார்டில் உள்ள வழிகாட்டுதலைப் பின்பற்றுங்கள்.

டிஎஸ்விஎம் கட்டமைக்கப்படும்போது, அதனுடைய பொது ஐபி முகவரி அல்லது டிஎன்எஸ் பெயரைக் குறித்து வைத்துக்கொள்ளுங்கள்; நீங்கள் தேர்ந்தெடுக்கும் இணைப்புக் கருவி மூலம் டிஎஸ்விஎம் உடன் இணைப்பதற்கு அது உங்களுக்குத் தேவைப்படும். டெக்ஸ்ட் இன்டர்ஃபேஸுக்குப் பரிந்துரைக்கப்பட்ட கருவி, எஸ்எஸ்ஹெச் அல்லது புட்டி. கிராஃபிகல் இன்டர்ஃபேஸுக்கு, X2GO* எனப்படும் X க்ளையண்டை மைக்ரோசாஃப்ட்* பரிந்துரைக்கிறது.

குறிப்பு: உங்கள் நெட்வொர்க் பிராக்ஸி மூலமே அனைத்து இணைப்புகளும் செல்லவேண்டுமென உங்கள் நெட்வொர்க் அட்மினிஸ்ட்ரேட்டர்கள் விரும்பினால், உங்கள் பிராக்ஸி சர்வரை நீங்கள் சரியாக அமைக்க வேண்டும். டிஎஸ்விஎம் இல் ஆதரிக்கப்படுகிற ஓரே அமர்வு வகை Xfce*.

இண்டெலின் BigDL கட்டமைத்தல்

ரூட்டுக்கு மாறி கிட்ஹப்பிலிருந்து BigDL குளோன் செய்யுங்கள்; ரிலீஸ் செய்யப்பட்ட பிரான்ச்-0.1க்கு மாறுங்கள்:

     sudo –s
     cd /opt
     git clone https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0 மூலம் BigDL கட்டமைத்தல்:

     $ cd BigDL
       $ bash make-dist.sh -P spark_2.0
வெற்றிகரமாக இருந்தால், நீங்கள் பின்வரும் செய்திகளைப் பார்ப்பீர்கள்:

 

BigDL இயக்குவதற்கு டிஎஸ்விஎம் கட்டமைப்பு படிகளின் உதாரணங்கள்

பைதான்* 2.7க்கு மாறுங்கள்.

     $ source /anaconda/bin/activate root


பைதான்* வடிவத்தை உறுதிப்படுத்துங்கள்.

     $ python - - version


 
 

 

பைதான் பேக்கேஜ்களை நிறுவவும்

     $ /anaconda/bin/pip install wordcloud
     $ /anaconda/bin/pip install tensorboard
ஜூபிடர்* நோட்புக் மற்றும் டென்சர்போர்டு* ஆகியவற்றை இயக்குவதற்கு ஸ்கிரிப்ட் கோப்புகளை உருவாக்குதல்

நீங்கள் BigDL லைப்ரரியை (/opt/BigDL) குளோன் செய்த டைரக்டரியில், ஸ்கிரிப்டை உருவாக்கி, பின்வரும் உள்ளடக்கத்துடன் run_notebook.sh ஐ இயக்கவும்:

#begin run_notebook.sh
#!/bin/bash
#setup paths
BigDL_HOME=~/BigDL

#this is needed for MSFT DSVM
export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}
#end MSFT DSVM-specific config

#use local mode or cluster mode
#MASTER=spark://xxxx:7077
MASTER="local[4]"
PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip
BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar
export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

source ${BigDL_HOME}/dist/bin/bigdl.sh

${SPARK_HOME}/bin/pyspark \
    --master ${MASTER} \
    --driver-cores 5  \
    --driver-memory 10g  \
    --total-executor-cores 8  \
    --executor-cores 1  \
    --executor-memory 10g \
    --conf spark.akka.frameSize=64 \
  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \
    --py-files ${PYTHON_API_ZIP_PATH} \
    --jars ${BigDL_JAR_PATH} \
    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \
    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar
# end of create_notebook.sh
-----

chmod +x run_notebook.sh
அதே BigDL டைரக்டரியில், பின்வரும் உள்ளடக்கத்துடன் start_tensorboard.sh ஐ உருவாக்கவும்:

#begin start_tensorboard.sh
PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH
/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries
#end start_tensorboard.sh

'/anaconda/lib/python2.7/site-packages/' என்பது நிறுவல் சார்ந்தது, எதிர்கால எஸ்விஎம் வெளியீடுகளில் மாறக்கூடும். எனவே, இந்த வழிமுறைகள் உங்களுக்கு வேலை செய்யவில்லை என்றால் இந்த வழியை நீங்கள் புதுப்பிக்க வேண்டியிருக்கும்.


 


 

http://10.0.2.4:6006 பதிவின் இறுதியில் உள்ள URL ஐக் குறித்துக்கொள்ளுங்கள். டென்ஸர்போர்டு பேனைப் பார்ப்பதற்கு, அதைக் கொண்டு உங்கள் டிஎஸ்விஎம் உலாவியைத் திறக்கவும்.

டெக்ஸ்ட் வகைப்படுத்தல் உதாரணத்தை இயக்குதல்

வெவ்வேறு டெர்மினல்களிலிருந்து பேஷ் கமேண்ட்கள் மூலம்run_notebook.sh மற்றும் start_tensorboard.sh ஆகியவற்றை இயக்குங்கள்:

       $bash run_notebook.sh
       $bash start_tensorboard.sh
இரண்டு உலாவி டேப்களைத் திறக்கவும், ஒன்று text_classification.ipynb க்கும் மற்றொன்று TensorBoard க்கானது.

text_classification உதாரணத்துக்கு செல்லவும்:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —மாதிரியின் இடத்தை சரிபாருங்கள்.

நோட்புக்கை இயக்கவும். இதற்கு சில நிமிடங்கள் ஆகும். இறுதியில், இதைப் போன்ற ஒரு இழப்பு வரைபடத்தைப் பார்ப்பீர்கள்:​

டெக்ஸ்ட் வகைப்படுத்தல் மாதிரிக்கான உங்கள் டென்சர்போர்டு இதைப் போல இருக்கும்.
 

 

டிஎஸ்விஎம் இல் BigDL நிறுவலை தன்னியக்கமாக்குதல்

அஸூர் ரிசோர்ஸ் மேனேஜர் (ARM) உருமாதிரிகளைப் பயன்படுத்தும்போது நிறுவலுக்குப் பிறகு ஸ்கிரிப்ட்களை தன்னியக்கமாக இயக்குவதற்கான அமைப்பை அஸூர் வர்ச்சுவல் மெஷின்கள் அளிக்கிறது. கிட்ஹப்இல், அஸூரில் விஎம் உருவாக்கும்போது, ARM மாதிரி மற்றும் லினக்ஸுக்கான டிஎஸ்விஎம் இல் BigDL நிறுவுவதற்கு ஸ்க்ரிப்ட் வெளியிட்டுள்ளோம்.  அதே கிட்ஹப் டைரக்டரியில் உள்ள டெப்ளாய் டூ அஸூர் பட்டனை கிளிக் செய்தால் அது பயனரை அஸூர் போர்டல் விஸார்டுக்கு கொண்டு செல்லும், அங்கே விஎம் உருவாக்க செயல்முறையைப் பற்றி அறிந்துகொள்ளலாம், மேலும் விஎம் வெற்றிகரமாக நிறுவப்பட்டவுடன் பயன்படுத்தத் தயாராக இருக்கும்படி, BigDLஐ நிறுவுவதற்கு/கட்டமைப்பதற்குத் தேவையான ஸ்கிரிப்டை தன்னியக்கமாக செயல்படுத்தும். மாதிரிகளை செயல்படுத்துவதற்காக Jupyter*நோட்புக்கைத் தொடங்குவதற்கு பயனர் நேரடியாக /opt/BigDL/run_notebooks.sh ஐப் இயக்கலாம்.

முடிவு

BigDL தொடர்ந்து உருமாறி வருகிறது, ஓப்பன் சோர்ஸ் சமூகம் மற்றும் இண்டலின் பிரத்யேக மென்பொருள் பொறியாளர் குழுவின் பெரும் ஆதரவைப் பெற்றுள்ளது.

ஆதாரங்கள்

​​
​​​​​​​​​​​

மேலும்...​

​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.