Skip Ribbon Commands
Skip to main content

​​​​

​​​​​Azure & DSVMకు డిప్లాయ్ ఉపయోగించి BigDL ఆటోమేటెడ్ ఇన్‌స్టలేషన్

​ 

BigDL  అపాచే స్పార్క్* కొరకు డీప్ లెర్నింగ్ లైబ్రరీని అందించింది. BigDL ఉపయోగించి, Scala లేదా Python ప్రోగ్రామ్‌ల వలే డీప్ లెర్నింగ్ అప్లికేషన్‌లను మీరు రాయవచ్చు.  స్కేలబుల్ స్పార్క్ క్లస్టర్‌ల  పవర్  ప్రయోజనాన్ని పొందుతుంది.

BigDLని తరలించడాన్ని సులభతరం చేయడం కొరకు, మైక్రోసాఫ్ట్ మరియు ఇంటెల్‌లు డేటా సైన్స్ వర్చువల్ మెషిన్ (DSVM)  Linux (Ubuntu) పైన 'డిప్లాయ్ టూ అజ్యూరే' సృష్టించడానికి భాగస్వామ్యం నెరుపుతుంది.

ఇది Githubపై https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL వద్ద లభ్యం అవుతుంది.

 

 


 

 
గమనిక: పూర్తి ప్రొవిజన్ DSVMకు దీనికి సుమారు 10 నిమిషాలు పడుతుంది—కాఫీ బ్రేక్ కొరకు ఇది సరైన సమయం.

దయచేసి గమనించండి: సులభంగా ఉపయోగించడం కొరకు, DSVM ప్రొవిజనింగ్ ప్రాంప్ట్‌లో SSH ఆప్షన్ కంటే పాస్‌వర్డ్ ఆప్షన్ ఎంచుకోవాలని మేం సూచిస్తున్నాం.​

మీ స్వంత కస్టమ్ డేటా సైన్స్ VM ఎక్స్‌టెన్షన్ డిప్లాయ్‌మెంట్‌లను సృష్టించడం

Azure రిసోర్స్ మేనేజ్‌మెంట్ (ARM) టెంప్లెట్‌లు ఉపయోగించేటప్పుడు పోస్ట్ ప్రొవిజనింగ్ సమయంలో ఆటోమేటిక్‌గా స్క్రిప్ట్ రన్ చేయడం కొరకు Azure వర్చువల్ మెషిన్‌లు ఒక మెకానిజంని అందిస్తాయి.

DSVM టీమ్ దీనిని Github* మీద డాక్యుమెంట్ చేసింది,

రాతపూర్వక DSVM ఎక్స్‌టెన్షన్‌లకు ఉదాహరణలు https://github.com/Azure/DataScienceVM/tree/master/Extensions

టీమ్ Azure రిసోర్స్ మేనేజర్ (ARM) టెంప్లెట్‌ని మరియు Azureపై VMని సృష్టించేటప్పుడు Linux (Ubuntu) కొరకు DSVMపై BigDL ఇన్‌స్టాల్ చేయడం కొరకు స్క్రిప్‌ని కూడా పబ్లిష్ చేశాం. డిప్లాయ్ టూ Azure బటన్ క్లిక్ చేయడం ద్వారా యూజర్‌ని Azure పోర్టల్ విజార్డ్‌కు తీసుకెళుతుంది, http://portal.azure.com మరియు VM సృష్టించే ప్రక్రియలోనికి వెళ్లడం ద్వారాను, మరియు BigDL ఇన్‌స్టాల్ చేయడం/కాన్ఫిగర్ చేయడం కొరకు అవసరమైన స్క్రిప్ట్‌ని ఆటోమేటిక్‌గా రన్ చేస్తుంది, తద్వారా VM విజయవంతంగా ప్రొవిజనింగ్ చేయబడిన తరువాత ఉపయోగించడానికి సిద్ధంగా ఉంటుంది.

పైన ఉన్న డాక్యుమెంటేషన్ ప్రకారంగా, uri ఫైలు చేయడానికి మరియు మెషిన్ కాన్ఫిగర్ కొరకు అమలు చేయడం కొరకు వేరియబుల్‌ లోపల లింక్ జోడించండి.

{
  "fileUris": ["<url>"],
  "commandToExecute": "<command-to-execute>"
}
పై ఉదాహరణ ప్రకారంగా, ఇది ARM  అమలు.  ఇది https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json నుంచి తీసుకోబడింది

 "variables": {
      "location": "[resourceGroup().location]",
      "imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris": https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter నోట్‌బుక్‌ల సర్వర్ రన్ చేయడం

శాంపుల్స్ అమలు చేయడం కొరకు Jupyter నోట్‌బుక్ సర్వర్ స్టార్ట్ చేయడం కొరకు యూజర్ నేరుగా /opt/BigDL/run_notebooks.sh రన్ చేయవచ్చు.

ఒకవేళ మీరు BigDLని మాన్యువల్‌గా ఇన్‌స్టాల్ చేయాలని అనుకున్నట్లయితే

-BigDLని మాన్యువల్‌గా ఇన్‌స్టాల్ చేయడం కొరకు దశలవారీగా ఇన్‌స్టలేషన్ ప్రక్రియ

ఉదాహరణకు ఒకవేళ మీకు ఇప్పటికే DSVM (Ubuntu) డేటా సైన్స్ దశలను మీరు క్రియేట్ చేయడం కొరకు, లేదా పైన ఆటోమేటెడ్ దశలు ఏమి చేస్తాయని అర్థం చేసుకోవాలని కోరుకున్నా.

DSVMపై BigDL  మాన్యువల్ ఇన్‌స్టలేషన్

DSVM ప్రొవిజనింగ్

మీరు ప్రారంభించడానికి ముందు, Azure ప్రొడక్ట్ వివరాలు పేజీని సందర్శించడం ద్వారాను మరియు VM క్రియేషన్ విజార్ట్‌లోని ఆదేశాలను అనుసరించడం ద్వారా Linux (Ubuntu)కు మైక్రోసాఫ్ట్ డేటా సైన్స్ వర్చువల్ మెషిన్‌ని మీరు అందించాల్సి ఉంటుంది.

 

 

DSVM కాన్ఫిగర్ చేయబడినప్పుడు, దాని  పబ్లిక్ IP అడ్రస్ లేదా DNS పేరును నోట్ చేసుకోండి; మీరు ఎంచుకున్న మీ కనెక్ట్ టూల్ ద్వారా మీరు DSVMకి కనెక్ట్ కావాల్సి ఉంటుంది.  తరువాత ఇంటర్‌ఫేస్ కొరకు సిఫారసు చేయబడ్డ టూల్ SSH లేదా పుట్టీ. గ్రాఫికల్ ఇంటర్‌ఫేస్ కొరకు,, Microsoft*, X2GO* అని పిలవబడే X క్లయింట్‌ని సిఫారసు చేస్తుంది.

గమనిక: మీ నెట్‌వర్క్ అడ్మినిస్ట్రేటర్‌లు అన్ని కనెక్షన్‌లు కూడా మీ నెట్‌వర్క్ ప్రాక్సీ గుండా వెళ్లాల్సి ఉంటే మీరు మీ ప్రాక్సీ సర్వర్‌ని సరిగ్గా కాన్ఫిగర్ చేయాల్సి రావొచ్చు. DSVMపై డిఫాల్ట్‌గా మద్దతు ఇచ్చే ఏకైక సెషన్ టైప్ Xfce*

Intel  BigDL రూపొందించడం

రూట్‌ని మార్చండి మరియు Github నుంచి BigDL క్లోన్ చేయండి; రిలీజ్డ్ బ్రాంచ్-0.1కు మారండి:

     sudo –s
     cd /opt
     git clone https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0తో BigDL  రూపకల్పన:

     $ cd BigDL
       $ bash make-dist.sh -P spark_2.0
ఒకవేళ విజయవంతమైనట్లయితే, మీరు దిగువ పేర్కొన్న సందేశాలను చూస్తారు:

 
 
  

BigDL రన్ చేయడం కొరకు DSVM కాన్ఫిగరేషన్ దశలకు  ఉదాహరణ

Python* 2.7కు మారడం

     $ source /anaconda/bin/activate root

Python* వెర్షన్

     $ python - - version

 ​

 

Python ప్యాకేజీలు ఇన్‌స్టాల్ చేయడం

     $ /anaconda/bin/pip install wordcloud
     $ /anaconda/bin/pip install tensorboard
Jupyter* నోట్‌బుక్ మరియు TensorBoard* రన్ చేయడం కొరకు స్క్రిప్ట్ తయారు చేయడం

మీరు క్లోన్డ్ BigDL లైబ్రరీ (/opt/BigDL)ని సృష్టించిన డైరెక్టరీలో,ఒక స్క్రిప్ట్ సృష్టించండి మరియు దిగువ కంటెంట్‌తో run_notebook.shని రన్ చేయండి:

#begin run_notebook.sh
#!/bin/bash
#setup paths
BigDL_HOME=~/BigDL

#this is needed for MSFT DSVM
export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}
#end MSFT DSVM-specific config

#use local mode or cluster mode
#MASTER=spark://xxxx:7077
MASTER="local[4]"
PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip
BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar
export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

source ${BigDL_HOME}/dist/bin/bigdl.sh

${SPARK_HOME}/bin/pyspark \
    --master ${MASTER} \
    --driver-cores 5  \
    --driver-memory 10g  \
    --total-executor-cores 8  \
    --executor-cores 1  \
    --executor-memory 10g \
    --conf spark.akka.frameSize=64 \
  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \
    --py-files ${PYTHON_API_ZIP_PATH} \
    --jars ${BigDL_JAR_PATH} \
    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \
    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar
# end of create_notebook.sh
-----

chmod +x run_notebook.sh
అదే BigDL డైరెక్టరీలో దిగువ కంటెంట్‌తో start_tensorboard.shని సృష్టించండి:

#begin start_tensorboard.sh
PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH
/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries
#end start_tensorboard.sh
'/anaconda/lib/python2.7/site-packages/'  ఇన్‌స్టలేషన్ ఆధారితమైనదని మరియు DSVM  భవిష్యత్తు రిలీజ్‌తో మారవచ్చనే విషయాన్ని దయచేసి గమనించండి. తద్వారా, ఈ ఆదేశాలకు మీ కొరకు పనిచేయనట్లయితే, మీరు ఈ పాత్‌ని అప్‌డేట్ చేయాల్సి ఉంటుంది.


 

లాగ్  చివరల్లో URL నోట్ చేయండి http://10.0.2.4:6006. టెన్సర్‌బోర్డ్ ప్యాన్ చూడటం కొరకు మీ DSVM బ్రౌజర్ ఓపెన్ చేయండి.

టెక్ట్స్ క్లాసిఫికేషన్ ఉదాహరణ లాంఛ్ చేయడం

విభిన్న టెర్మినల్స్ నుంచి బ్యాష్ కమాండ్‌ల ద్వారా run_notebook.sh మరియు start_tensorboard.sh అమలు చేయండి:

       $bash run_notebook.sh
       $bash start_tensorboard.sh
text_classification.ipynb కొరకు ఒకదానిని మరియు TensorBoard కొరకు మరో దానిని రెండు బ్రౌజర్ ట్యాబ్‌లను ఓపెన్ చేయండి.

text_classificationకు నావిగేట్ అవ్వండి, ఉదాహరణ:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —శాంపుల్  లొకేషన్ చెక్ చేయండి.

నోట్‌బుక్ రన్ చేయండి. దీనికి కొన్ని నిమిషాలు పడుతుంది. చివరల్లో, మీరు ఈ విధంగా ఉండే లాస్ గ్రాఫ్‌ని మీరు చూడవచ్చు:

 ​
టెక్ట్స్ క్లాసిఫికేషన్ ఉదాహరణ కొరకు మీ టెన్సర్‌బోర్డు ఈ విధంగా కనిపించవచ్చు.

 

DSVMపై BigDL  ఇన్‌స్టలేషన్ ఆటోమేటింగ్

Azure రిసోర్స్ మేనేజ్‌మెంట్ (ARM) టెంప్లెట్‌లు ఉపయోగించేటప్పుడు పోస్ట్ ప్రొవిజనింగ్ సమయంలో ఆటోమేటిక్‌గా స్క్రిప్ట్ రన్ చేయడం కొరకు Azure వర్చువల్ మెషిన్‌లు ఒక మెకానిజం అందిస్తాయి. Github పై, మేం ARM టెంప్లెట్‌ని మరియు Azureపై VMని సృష్టించేటప్పుడు Linux (Ubuntu) కొరకు DSVMపై BigDL ఇన్‌స్టాల్ చేయడం కొరకు స్క్రిప్‌ని కూడా పబ్లిష్ చేశాం. అదే Github డైరెక్టరీపై  డిప్లాయ్ టూ Azure బటన్ ఉంటుంది,  ఇది యూజర్‌ని Azure పోర్టల్ విజార్డ్‌కు తీసుకెళుతుంది. VM సృష్టించే ప్రక్రియలోనికి వెళ్లడం ద్వారాను, మరియు BigDL ఇన్‌స్టాల్ చేయడం/కాన్ఫిగర్ చేయడం కొరకు అవసరమైన స్క్రిప్ట్‌ని ఆటోమేటిక్‌గా రన్ చేస్తుంది, తద్వారా VM విజయవంతంగా ప్రొవిజనింగ్ చేయబడిన తరువాత ఉపయోగించడానికి సిద్ధంగా ఉంటుంది. శాంపుల్స్ అమలు చేయడం కొరకు Jupyter నోట్‌బుక్ సర్వర్ స్టార్ట్ చేయడం కొరకు యూజర్ నేరుగా /opt/BigDL/run_notebooks.sh రన్ చేయవచ్చు.

ముగింపు

BigDL ఉద్భవించడం కొనసాగిస్తుంది, ఓపెన్ సోర్స్ కమ్యూనిటీ నుంచి అదేవిధంగా ఇంటెల్  ప్రత్యేక సాఫ్ట్‌వేర్ ఇంజినీరింగ్ టీమ్ నుంచి సపోర్ట్‌ని ఆస్వాదించండి.

వనరులు

Linux VMలపై బిల్డింగ్ కస్టమ్ ఎక్స్‌టెన్షన్ https://docs.microsoft.com/en-us/azure/virtual-machines/windows/extensions-customscript​​

​​​​​
​​​​​

Read More on...

​      
    ​​​​​​​​​​
​​ ​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.