Skip Ribbon Commands
Skip to main content

​​​​​​​​

Deploy to Azure আৰু DSVM ব্যৱহাৰ কৰি BigDLৰ অটোমেটেড সংস্থাপনকৰণ

 

BigDL হৈছে এপাচ্চে স্পাৰ্কৰ* বাবে এক ডিষ্ট্ৰিবিউটেড ডীপ লাৰ্ণিং লাইব্ৰেৰী। BigDL ব্যৱহাৰ কৰি আপুনি স্কেলা বা পাইথন প্ৰগ্ৰামৰ দৰে ডীপ লাৰ্ণিং এপ্লিকেশ্যন লিখিব পাৰে আৰু স্কেলেবল স্পাৰ্ক ক্লাষ্টাৰ্ছৰ লাভ উঠাব পাৰে

BigDL ডিপ্লয় কৰাটো সহজ কৰি তোলাৰ বাবে, মাইক্ৰচফট আৰু ইনটেলে অংশীদাৰ হৈ  ডাটা চায়েন্স ভাৰ্চুৱেল মেচিন (DSVM)ৰ লিনাক্স (উবাণ্টু) ৰ ওপৰত "Deploy to Azure" বুলি এটা বুটাম তৈয়াৰ কৰিছে।

এয়া গিটহাবত তলৰ লিংকত উপলব্ধ


 

 

টোকাঃ DSVMৰ সম্পুৰ্ণ সুবিধা কৰি লয় মানে ১০ মিনিটমান সময়ৰ প্ৰয়োজন হব পাৰে- কফি একাপ খাই লোৱাৰ বাবে ভাল সময়!

অনুগ্ৰহ কৰি টুকি লবঃ ব্যৱহাৰৰ সুবিধাৰ বাবে, DSVM প্ৰভিজনিং প্ৰম্পটত SSH বিকল্পতকৈ পাছৱৰ্ড বিকল্প বাচি লোৱাৰ বাবে পৰামৰ্শ দিছো।

 

 

আপোনাৰ নিজা কাষ্টম ডাটা চায়েন্স ভিএম এক্সটেনচন ডিপ্লয়মেণ্ট তৈয়াৰ কৰক

এজিউৰ ৰিচৰ্ছ মেনেজাৰ চমুকৈ ARM টেম্পলেট ব্যৱহাৰ কৰি পোষ্ট প্ৰভিজনিঙৰ সময়ত স্বয়ংক্ৰিয়ভাৱে এটা স্ক্ৰিপ্ট ৰান কৰাৰ বাবে এজিউৰ ভাৰ্চুৱেল মেচিনে মেকানিজিম দিছে। 

DSVM টিমটোৱে এইবিষয়ে Github*ত লিখিছে,

DSVM এক্সটেনচন লিখাৰ উদাহৰণ ইয়াতে পাব। https://github.com/Azure/DataScienceVM/tree/master/Extensions

টিমটোৱে এজিউৰত ভিএম সৃষ্টি কৰাৰ সময়ত লিনাক্স (উবাণ্টু) ত DSVM BigDL ইনষ্টল কৰাৰ বাবে এজিউৰ ৰিচৰ্ছ মেনেজাৰ (ARM) টেম্পলেট আৰু স্ক্ৰিপ্ট প্ৰকাশ কৰিছে। Deploy to Azure বুটামত ক্লিক কৰিলে ব্যৱহাৰকাৰীজনক এজিউৰ পৰ্টেলৰ ৱিজাৰ্ড http://portal.azure.com  লৈ লৈ যাব আৰু ভিএম ক্ৰিয়েচনচ প্ৰচেছৰ মাজেৰে নিব, আৰু BigDL সংস্থাপন/কনফিগাৰ কৰাৰ বাবে প্ৰয়োজনীয় স্ক্ৰিপ্ট স্বয়ংক্ৰিয়ভাবে এগজিকিউট কৰিব যাতে ভিএমৰ সুবিধা সফলতাৰে কৰি লোৱাৰ পিছত এয়া ব্যৱহাৰৰ বাবে সাজু হৈ উঠে।

ওপৰৰ নথি অনুযায়ী, আপুনি ভেৰিয়েবলৰ ভিতৰতে uri ফাইল আৰু কমাণ্ড লিংক কৰাব লাগিব যাতে মেচিন কনফিগৰ লগত এগজিকিউট কৰিব পাৰে

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

ওপৰৰ উদাহৰণ অনুসৰি এয়া হৈছে ARMত ৰুপায়ন যিটো লোৱা হৈছে https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json

 "variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL জুপিটাৰ নোটবুকচ চাৰ্ভাৰ ৰান কেনেদৰে কৰিব

নমুনাবোৰ এগজিকিউট কৰাৰ বাবে ব্যৱহাৰকাৰীজনে জুপিটাৰ* নোটবুক চাৰ্ভাৰ ষ্টাৰ্ট কৰাৰ বাবে পোনপটীয়াকৈ /opt/BigDL/run_notebooks.sh ৰান কৰিব পাৰে।

আপুনি যদি মেনুৱেলী BigDL সংস্থাপন কৰিব বিচাৰে

- মেনুৱেলী BigDL সংস্থাপন কৰাৰ বাবে ঢাপে ঢাপে সংস্থাপনৰ বিধি

আপোনাৰ যদি ইতিমধ্যে DSVM (উবাণ্টু) ইনষ্টেন্স আছে তেন্তে অথবা অটোমেটেড ষ্টেপচৰ সবিশেষ জনাৰ বাবে যদি ইচ্ছা কৰিছে তেন্তে ডাটা চায়েন্সৰ ঢাপবোৰ তৈয়াৰ কেনেদৰে কৰিব, সেয়া ওপৰত আছে।

DSVM BigDL ৰ মেনুৱেল সংস্থাপনকৰণ

DSVMৰ প্ৰভিজনিং

আপুনি আৰম্ভ কৰাৰ আগেয়ে এজিউৰ প্ৰডাক্টৰ সবিশেষ পৃষ্ঠা লৈ গৈ আু ভিএম ক্ৰিয়েছন ৱিজাৰ্ডত থকা নিৰ্দেশনা অনুসৰণ কৰি লিনাক্স (উবাণ্টু)ৰ বাবে মাইক্ৰচফট ডাটা চায়েন্স ভাৰ্চুৱেল মেচিনৰ প্ৰভিজন কৰি লোৱাৰ প্ৰয়োজন আছে।


 
 

যেতিয়া DSVM কনফিগাৰ কৰা হয়, তেতিয়া ইয়াৰে পাবলিক আইপি এড্ৰেছৰ অথবা ডিএনএছ নামটো টুকি থওক; আপোনাৰ পচন্দৰ কানেক্ট টুলচেৰে DSVMৰ সৈতে সংযোগ স্থাপন কৰাৰ সময়ত আপোনাক এয়া লগা হব। টেক্সট ইণ্টাৰফেচৰ কাৰণে পৰামৰ্শিত টুলচ হৈছে এছএছএইছ অথবা পুট্টি। গ্ৰাফিকেল ইণ্টাৰফেচৰ কাৰণে মাইক্ৰচফটে* পৰামৰ্শ দিয়া এক এক্স ক্লায়েণ্ট যাৰ নাম হৈছে X2GO*   

টোকাঃ আপোনাৰ নেটৱৰ্ক এডমিনিষ্ট্ৰেটৰে যদিহে আটাইবোৰ কানেক্সচনচ আপোনাৰ নেটৱৰ্ক প্ৰক্সিৰ মাজেৰে যোৱাটো বিচাৰিছে, তেন্তে আপুনি আপোনাৰ প্ৰক্সি চাৰ্ভাৰ শুদ্ধকৈ কনফিগাৰ কৰিব লাগিব। DSVMত সমৰ্থিত একমাত্ৰ ডিফল্ট চেছন টাইপ হৈছে Xfce*

ইনটেলৰ BigDL বিল্ড কৰা

ৰুটলৈ সলনি কৰক আৰু গিটহাবৰ পৰা BigDLৰ ক্লন কৰক; ৰিলিজ ব্ৰাঞ্চ 0.1 লৈ চুইটচ কৰকঃ:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

স্পাৰ্ক*  ৰ সৈতে BigDL বিল্ড কৰাঃ

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

যদিহে সফল হয়, আপুনি তলত দিয়া মেচেজ দেখিবলৈ পাবঃ

 
 

 

BigDL ৰাণ কৰাৰ বাবে DSVM কনফিগাৰেশ্যন ষ্টেপচৰ উদাহৰণ

পাইথন* 2.7 লৈ সলাওকঃ

     $ source /anaconda/bin/activate root



পাইথনৰ*ৰ সংক্সৰণ নিশ্চিত কৰক।

     $ python - - version


 

 
 
 
 

পাইথন পেকেজবোৰ সংস্থাপন কৰা

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

জুপিটাৰ* নোটবুক আৰু TensorBoard* ৰান কৰাৰ বাবে স্ক্ৰিপ্ট ফাইলচ তৈয়াৰ কৰা

আপুনি BigDL লাইব্ৰেৰী ক্লন কৰা ডিৰেক্টৰীত এটা স্ক্ৰিপ্ট তৈয়াৰ কৰক আৰু তলত দিয়া সমলৰ সৈতে run_notebook.sh ৰাণ কৰকঃ

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

একেটা BigDL ডিৰেক্টৰীত তলত দিয়া সমলৰ সৈতে start_tensorboard.sh সৃষ্টি কৰকঃ

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

মন কৰিব যে ‘/anaconda/lib/python2.7/site-packages/’ হৈছে সংস্থাপন-নিৰ্ভৰশীল আৰু ভৱিষ্যতৰ DSVM ৰিলিজৰ সৈতে সলনি হ'ব পাৰে। এনেদৰে, যদি এই নিৰ্দেশনাবোৰে যদি কাম নকৰে, তেন্তে আপুনি এই পাথটো আপডেট কৰাবলগা হব পাৰে।

 
 
 
 
 
 
 

http://10.0.2.4:6006 লৈ যোৱাৰ আগেয়ে লগৰ শেষত ইউআৰএলটো টুকি লওক। TensorBoard পেন চোৱাৰ বাবে ইয়াৰেই আপোনাৰ DSVM ব্ৰাউজাৰটো খোলক।

এটা টেক্সট ক্লাচিফিকেশ্যন মুকলি কৰাৰ উদাহৰণ

বিভিন্ন টাৰ্মিনেলৰ পৰা বেছ কমাণ্ডযোগে run_notebook.sh আৰু start_tensorboard.sh এগজিকিউট কৰক।

       $bash run_notebook.sh

       $bash start_tensorboard.sh

দুটা ব্ৰাউজাৰ টেব খোলক, এটা text_classification.ipynb ৰ বাবে আৰু আনটো TensorBoard ৰ বাবে।

text_classification উদাহৰণটোলৈ যাওকঃ

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —নমুনাৰ স্থানাংক পৰীক্ষা কৰক।

নোটবুকটো ৰাণ কৰক। ইয়ে কেইমিনিটমান লব। ইযাৰে শেষত, আপুনি তলত দিয়াধৰণৰ লছ গ্ৰাফ এডাল দেখা পাবঃ

 
 
 
 
 

টেক্সট ক্লাচিফিকেশ্যন উদাহৰণটোৰ বাবে আপোনাৰ TensorBoard খন দেখাত এনেকুৱা হব পাৰে।

 
 
 

DSVM BigDL ৰ সংস্থাপনৰ অটোমেটিং কৰা

এজিউৰ ৰিচৰ্ছ মেনেজাৰ (ARM) টেম্পলেট ব্যৱহাৰ কৰি পোষ্ট প্ৰভিজনিঙৰ সময়ত স্বয়ংক্ৰিয়ভাৱে এটা স্ক্ৰিপ্ট ৰাণ কৰাৰ বাবে এজিউৰ ভাৰ্চুৱেল মেচিনে এবিধ মেকানিজিম দিছে। Github ত আমি এজিউৰত ভিএম তৈয়াৰ কৰা সময়ত লিনাক্স (উবাণ্টু)ৰ বাবে BigDL সংস্থাপন কৰাৰ বাবে ARM টেম্পলেট আৰু স্ক্ৰিপ্ট আমি প্ৰকাশ কৰিছো। একেটা গিটহাব ডিৰেক্টৰীতে Deploy to Azure  বুলি বুটাম এটাও আছে যিয়ে তেওঁলোকক এজিউৰ পৰ্টেল ৱিজাৰ্ডলৈ যায় আৰু ভিএম ক্ৰিয়েছনৰ মাজেৰে লৈ যায় আৰু এবাৰ ভিএম সফলতাৰে প্ৰভিজনিং কৰি লোৱাৰ পিছত ব্যৱহাৰৰ বাবে সাজু কৰি ৰখাৰ উদ্দেশ্যে BigDL সংস্থাপন/কনফিগাৰ কৰাৰ বাবে ওপৰৰ স্ক্ৰিপ্ট স্বয়ংক্ৰিয়ভাৱে এগজিকিউট কৰে। নমুনা এগজিকিউট কৰাৰ বাবে এটা জুপিটাৰ নোটবুক চাৰ্ভাৰ আৰম্ভ কৰাৰ বাবে ব্যৱহাৰকাৰীয়ে পোনপটীয়াকৈ /opt/BigDL/run_notebooks.sh ৰাণ কৰিব পাৰে।

সামৰণি

BigDL ক্ৰমান্বয়ে বিকশিত হৈ আহিছে আৰু মুক্ত-স্ৰোত কমিউনিটিৰ লগতে ইনটেলৰ উত্সৰ্গিত চফটৱেৰ অভিযন্তা টিমৰপৰাও দৃঢ় সমৰ্থন লাভ কৰি আহিছে। 

সমলসমূহ

লিনাক্স ভিএমত কাষ্টম এক্সটেনছন বিল্ড কৰা  https://docs.microsoft.com/en-us/azure/virtual-machines/Linux/extensions-customscript ​​
​​​​​​​

Read More on...​

​​​​​​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.