Skip Ribbon Commands
Skip to main content

​​​​​​​

অ্যাজারএবং DSVM-এ ডিপ্লয় ব্যবহার করে BigDL এর স্বয়ংক্রিয় ইনস্টলেশন

 

BigDL হল অ্যাপাচে স্পার্ক* এর জন্য একটি ডিপ লার্নিং লাইব্রেরি| BigDL ব্যবহার করে, আপনি ​স্ক্যালা অথবা পাইথন প্রোগ্রামের মত ডিপ লার্নিং অ্যাপ্লিকেশন লিখে স্কেলেবল স্পার্ক ক্লাস্টারের সুবিধা ব্যবহার করতে পারেন|

BigDL সফ্টওয়্যার পরিসেবা সহজ বানানোর জন্য, মাইক্রোসফট এবং ইন্টেল পরস্পর সহযোগ করে Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM) এ “Deploy to Azure” বোতাম টি তৈরি করেছে|

এটি গিটহাব  https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL তে উপলব্ধ আছে
 

নোট: DSVM এর সম্পূর্ণ সংযোজনের জন্য 10 মিনিট পর্যন্ত লাগতে পারে-কফি বিরতির জন্য সঠিক সময়!

অনুগ্রহ করে নোট করুন: ব্যবহারের সহজতার জন্য, আমরা DSVM এর প্রভিশনিং প্রম্পটে SSH বিকল্পের পরিবর্তে পাসওয়ার্ড বিকল্পটি নির্বাচন করার পরামর্শ করি|

 
 
 

আপনার নিজস্ব কাস্টম ডেটা সাইন্স VM এক্সটেনশন ডিপ্লয়মেন্ট তৈরি করা

অ্যাজার রিসোর্স ম্যানেজার (ARM) টেম্পলেট ব্যবহার করার সময় পোস্ট প্রভিশন চলাকালীন  অ্যাজার ভার্চুয়্যাল মেশিন স্বয়ংক্রিয়ভাবে স্ক্রিপ্ট রান করার পদ্ধতি প্রদান করে

DSVM দল এটিকে Github* এ ডকুমেন্ট করেছে,

DSVM  এক্সটেনশন লেখার উদাহরণ| https://github.com/Azure/DataScienceVM/tree/master/Extensions

অ্যাজারের জন্য VM  তৈরি করার সময় দল লিনাক্স (উবুন্তু)-র ক্ষেত্রে DSVM BigDL ইনস্টল করার জন্য স্ক্রিপ্ট এবং অ্যাজার রিসোর্স ম্যানেজার (ARM) টেম্পলেট প্রকাশিত করেছেন| Deploy to Azureবোতামে ক্লিক করলে ব্যবহারকারী অ্যাজার পোর্টাল উইজার্ড, http://portal.azure.com পৌঁছে যায় এবং সেখানে VM নির্মান করার পদ্ধতি প্রদর্শন করা হয়, এবং BigDL ইনস্টল/কনফিগার করার জন্য প্রয়োজনীয় স্ক্রিপ্টট স্বয়ংক্রিয়ভাবে চালু হয়ে যায় যাতে VM সফলভাবে প্রভিশন করলে এটি ব্যবহারের জন্য তৈরি থাকে|

উপরে প্রদত্ত ডকুমেন্টেশন অনুযায়ী আপনার মেশিন কনফিগার সম্পাদন করার জন্য ফাইল uri এবং কমান্ড-এ ভ্যারিয়্যাবল-এর মধ্যে লিঙ্ক অন্তর্ভুক্ত করা প্রয়োজন

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

উপরে প্রদত্ত উদাহরণ অনুযায়ী এটি https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json থেকে নেওয়া ARM এ করা সম্পাদন

 "variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

জুপিটার নোটবুক সার্ভার রান করা

ব্যবহারকারী স্যাম্পল এক্সিকিউট করার জন্য জুপিটার* নোটবুক সার্ভার চালু করার উদ্দেশ্যে সরাসরি /opt/BigDL/run_notebooks.sh রান করতে পারেন|

যদি আপনি ম্যানুয়ালি BigDL ইনস্টল করতে চান

BigDL ইনস্টল করার জন্য ক্রমশ ইনস্টলেশন প্রণালী

আপনার কাছে DSVM (উবুন্তু) ইনস্ট্যান্স ইতিমধ্যে মজুত থাকলে ডেটা সাইন্সের ধাপগুলি তৈরি করার জন্য, অথবা যদি আপনি উপরের দেওয়া স্বয়ংক্রিয় ধাপগুলি যা করছে সেগুলি বিস্তারিতভাবে বোঝার জন্য|

DSVM BigDL এর ম্যানুয়াল ইনস্টলেশন

DSVM প্রভিশন করা

শুরু করার আগে, আপনাকে Azure product detail page পরিদর্শন করে এবং VM নির্মান উইজার্ডের নির্দেশাবলী অনুসরণ করে লিনাক্স (উবুন্তু)-র জন্য মাইক্রোসফট ডেটা সাইন্স ভার্চুয়্যাল মেশিনকে প্রভিশন করতে হবে|
 

DSVM কনফিগার হওয়ার পর, এটির পাবলিক আইপি এড্রেস অথবা DNS নাম নোট করে নিন; আপনাকে আপনার নির্বাচিত টুলের মাধ্যমে এটির DSVM এর সাথে সংযোগ করতে হবে| টেক্সট ইন্টারফেসের জন্য SSH অথবা পুট্টি টুল ব্যবহার করার পরামর্শ দেওয়া হল| গ্রাফিক্যাল ইন্টারফেসের জন্য, মাইক্রোসফট* X2GO নামক একটি X ক্লাইন্ট-এর পরামর্শ করে*|

নোট: যদি আপনার নেটওয়ার্ক পরিচালকের সমস্ত সংযুক্তির প্রক্সির মাধ্যমে পাঠানোর প্রয়োজন হয় তাহলে আপনার প্রক্সি সার্ভার কে সঠিকভাবে কনফিগার করার প্রয়োজন হতে পারে| DSVM এ ডিফল্ট রূপে একমাত্র Xfce* সেশন সমর্থিত|

ইন্টেল BigDL তৈরি করা

রুটে স্থানান্তর করে গিটহাব থেকে BigDL ক্লোন করুন; রিলিজ ব্র্যাঞ্চ-0.1 এ সুইচ করুন:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

স্পার্ক* 2.0 দ্বারা BigDL তৈরি করা:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

সফল হলে আপনি নিম্নলিখিত বার্তাগুলি দেখতে পাবেন:

 

 

রান করার জন্য DSVM এর কনফিগারেশন ধাপগুলির উদাহরণ

পাইথন* 2.7 এ সুইচ করুন|

     $ source /anaconda/bin/activate root



পাইথন* ভার্শন সুনিশ্চিত করুন|

     $ python - - version

 

 

পাইথন প্যাকেজগুলি ইনস্টল করুন

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

জুপিটর* নোটবুক এবং TensorBoard* রান করার জন্য স্ক্রিপ্ট ফাইল তৈরি করা

ডাইরেক্টরির মধ্যে যেখানে আপনি BigDL লাইব্রেরি (/opt/BigDL) ক্লোন করছেন, সেখানে একটি স্ক্রিপ্ট তৈরি করে নিম্নলিখিত বিষয়বস্তু দিয়ে run_notebook.sh করুন:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

একই BigDL ডাইরেক্টরি-তে, নিম্নলিখিত বিষয়বস্তুর সাথে start_tensorboard.sh বানান:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

অনুগ্রহ করে নোট করুন যে ‘/anaconda/lib/python2.7/site-packages/’ ইনস্টলেশনের উপর নির্ভরশীল এবং DSVM এর ভবিষ্যতে রিলিজে পরিবর্তন হতে পারে| এই কারণে, যদি বাক্সে প্রদত্ত এই তথ্যগুলি আপনার ক্ষেত্রে কাজ না করে তাহলে আপনার এই পাথ আপডেট করার প্রয়োজন হতে পারে|​

 

 
লগ http://10.0.2.4:6006-র শেষে URL-টি নোট করুন| TensorBoard পেন দেখার জন্য এটির দ্বারা আপনার DSVM খুলুন|
একটি টেক্সট শ্রেনিবিন্যাসের উদাহরণ লঞ্চ করা
বিভিন্ন টার্মিনাল থেকে ব্যাশ কমান্ডের মাধ্যমে run_notebook.sh এবং start_tensorboard.sh সম্পাদন করা:
       $bash run_notebook.sh
       $bash start_tensorboard.sh
দুটি ব্রাউসার ট্যাব খুলুন, একটি text_classification.ipynb এর জন্য এবং অন্যটি TensorBoard এর জন্য|
text_classification উদাহরণে নেভিগেট করা:
http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —স্যাম্পলের অবস্থান যাচাই করুন|
নোটবুক রান করুন| এটির জন্য কয়েক মিনিট লাগবে| অবশেষে, আপনি এরূপ একটি অপচয় গ্রাফ দেখবেন:
 

 

টেক্সট শ্রেণীবিভাগের উদাহরণের ক্ষেত্রে আপনার TensorBoard এরূপ দেখাতে পারে|

 

 

 

DSVM BigDL এর ইনস্টলেশন

 

 

 

 

অ্যাজার রিসোর্স ম্যানেজার (ARM) টেম্পলেট ব্যবহার করার সময় পোস্ট প্রভিশন চলাকালীন অ্যাজার ভার্চুয়্যাল মেশিন স্ক্রিপ্ট স্বয়ংক্রিয়ভাবে রান করার জন্য একটি পদ্ধতি প্রদান করে| Github*, আমরা অ্যাজারে VM  তৈরি করলে লিনাক্স (উবুন্তু)-র ক্ষেত্রে DSVM BigDL ইনস্টল করার জন্য ARM টেম্পলেট এবং স্ক্রিপ্ট প্রকাশিত করেছি| একই গিটহাব ডাইরেক্টরিতে একটি Deploy to Azure বোতাম রয়েছে যেটি ব্যবহারকারীকে অ্যাজার পোর্টাল উইজার্ডে নিয়ে গিয়ে VM নির্মানের তথ্য প্রদান করে, এবং স্বয়ংক্রিয়ভাবে BigDL  ইনস্টল/কনফিগার করার উপরে প্রদত্ত স্ক্রিপ্ট সম্পাদন করে যাতে VM সফলভাবে প্রভিশন হওয়ার পর এটি ব্যবহারযোগ্য হয়ে যায় ব্যবহারকারী স্যাম্পল সম্পাদন করার জন্য একটি জুপিটর নোটবুক সার্ভার শুরু করতে সরাসরি /opt/BigDL/run_notebooks.sh রান করতে পারে|     

সিদ্ধান্ত

BigDL ওপেন-সোর্স সম্প্রদায় এবং ইন্টেলের উৎসর্গকৃত সফ্টওয়্যার ইঞ্জিনিয়ারিং দলের ভারী সমর্থনের সাথে অনবরত বিকশিত হচ্ছে|

সংস্থান

লিনাক্স VM  এ কাস্টম এক্সটেনশন তৈরি করা https://docs.microsoft.com/en-us/azure/virtual-machines/Linux/extensions-customscript
​​​​
​​​​

Read More on...

--> 

​​​​​​​​​​

​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.