ติดตั้งและใช้งาน Blender plugin สำหรับการ Live streaming Rokoko Studio

ติดตั้งและใช้งาน Blender plugin สำหรับการ Live streaming Rokoko Studio

  Getting Started : การติดตั้ง Blender plugin  

ในการติดตั้ง Plugin ของ Blender จะต้องใช้ Blender version 2.8 หรือสูงกว่าขึ้นไป ดาวน์โหลด Blender plugin    ก่อนอื่นเลยจะต้องตรวจสอบก่อนว่าเราเคยติดตั้งไว้ก่อนหรือเปล่า

  1. การ Uninstalling plugin ที่เคยติดตั้งไว้แล้ว
    – ในโปรแกรม Blender ให้ไปเลือกที่ Edit -> Preferences.

    ในโปรแกรม Blender ให้ไปที่ Edit – Preferences

    – ช่องค้นหาให้ใส่ “Rokoko” เพื่อหา Plugin rokoko ที่เคยติดตั้งก่อนหน้านี้ ถ้าเจอให้ทำการลบทิ้ง แต่ถ้าไม่เจอก็สามารถติดตั้งใหม่ได้เลย

    ค้นหา Plugin Rokoko ที่เคยติดตั้งมาก่อนหน้านี้

    – ทำการ Restart Blender จากนั้นให้ทำการ Install plugin

     

  2. Installing the plugin
    ดาวน์โหลด plugin here.
    – ในโปรแกรม Blender ให้ไปที่ Edit -> Preferences.

    ในโปรแกรม Blender ให้ไปที่ Edit – Preferences

    – ใน Preferences ให้ไปที่ Add-ons > Install.

    ในหน้าต่าง Preferences ไปที่ Add-ons > Install.

    – เลือกไฟล์ที่ได้ดาวน์โหลด .zip มาเพื่อทำการติดตั้ง plugin

  3. Enabling the plugin
    – ทำการ Enable “Rokoko Studio Live for Blende” โดยการคลิกที่กล่องสี่เหลี่ยมที่อยู่ด้านหน้าข้อความ เพื่อเป็นการเปิดการทำงานของ plugin ตัวนี้เมื่อมีการ Live streaming

    Enable “Rokoko Studio Live for Blende”

     

     

Getting Started: Streaming to Blender on Rokoko Studio  

Video Tutorial – Live Streaming to Blender 2.8

– ไปที่การตั้งค่าและคลิกที่ Studio Live ซึ่งจะมีเมนูเด้งมาแสดงให้เห็นและทำการเลือก

เปิดการ Studio Live บน Rokoko Studio

– Configuring the data Stream
ก่อนที่คุณจะสามารถเริ่มการ Streaming data คุณต้องกำหนดค่าข้อมูลผู้รับ เริ่มต้นด้วยการคลิกที่ icon   ที่มุมขวาบน

เปิดการรับรู้ข้อมูลของการ Streaming

– Adding a receive
(1) การเพิ่มช่องทางรับข้อมูลโดยคลิกปุ่มบวก ซึ่งจะใช้ตัวรับหนึ่งตัวในขั้นตอนนี้ คุณสามารถแก้ไขที่อยู่ IP และหมายเลขพอร์ตได้
(2) คลิกปุ่มลูกศรลง เพื่อกำหนดค่าพอร์ต VP (Virtual Production)
(3) เปิดและปิดตัวรับข้อมูล
(4) สามารถเปิดและปิดตัวรับข้อมูลแต่ละตัวได้โดยการสลับสวิตช์ icon    นี้

ช่อง IP การรับข้อมูล
เปิด/ปิด การรับข้อมูล

Enabling the data stream

เปิดใช้งานสตรีมข้อมูลโดยคลิกที่ช่อง icon แคปซูน ถ้าแสดงเป็น สีเขียว = เปิดการรับข้อมูลการ Streaming data, แต่ถ้าเป็น สีเทา = ปิดการรับข้อมูล Streaming data โดยการคลิกอีกครั้งเพื่อปิดใช้งาน (ในการเปิดใช้งานสตรีมข้อมูล ต้องเปิดใช้งานตัวรับอย่างน้อยหนึ่งตัวก่อน)

  Blender settings 

  1. ในมุมมอง 3 มิติ ให้กด N หรือลูกศรเล็กๆ ทางด้านขวา
    ตั้งค่าใน Blender
  2. คลิกที่แถบ “Rokoko”
    ตั้งค่าใน Blender

     

  3. ตั้งค่า Port ให้ตรงกับ Rokoko Studio
  4. จากนั้นกดที่ “Start Receiver” เพื่อเป็นการรับข้อมูลจาก Rokoko Studio.
    ตั้งค่า Port และเปิดการรับข้อมูลการ Streaming

  Streaming Character data

  1. หลังจาก “Start Receiver” แล้ว ให้เลือกชุดเกราะที่คุณต้องการทำให้เคลื่อนไหว เปิดหมวดหมู่ Object จากนั้นเปิดแผง “Rokoko Studio Live Setup”
  2. ในช่อง Actor เลือก Smartsuit ที่คุณต้องการใช้สำหรับชุดเกราะนี้
  3. กรอกช่องกระดูกทั้งหมดโดยกด “Auto Detect” และตรวจสอบว่ากระดูกทั้งหมดถูกกรอกอย่างถูกต้องหรือไม่ และกรอกกระดูกที่หายไปด้วยตัวเองในกรณีที่หายไป
    การตรวจสอบการเชื่อมต่อของกระดูกในโมเดล

     

  4. ตรวจสอบให้แน่ใจว่าชุดเกราะที่เลือกอยู่ในท่า T-Pose จากนั้นกด “Set as T-Pose”
    การตั้งค่า T-Pose

    ชุดเกราะของคุณควรจะเคลื่อนไหวได้ตามวีดีโอด้านล่างนี้

    Option : เพื่อปรับปรุงประสิทธิภาพของแอนิเมชั่นให้เปิดใช้งาน “Hide Meshes during Play” ในแผงรับสัญญาณเข้า

    (ตาข่ายที่เคลื่อนไหวโดยข้อมูลใบหน้าจาก Rokoko Studio จะไม่ถูกซ่อนโดยการตั้งค่านี้)

    หากคุณพบอาการกระตุกเมื่อใช้ Plugin ให้ปิดหน้าต่างที่แสดงคีย์เฟรม (ใน timeline) Blender จะทำให้มันทำงานได้อย่างราบรื่นมากยิ่งขึ้นเนื่องจากแผงควบคุมใช้ทรัพยากรจำนวนมากในการแสดงผล

 

  Streaming Face data  

  1. หลังจากเริ่มต้นเปิดตัวรับข้อมูล ให้เลือก Mesh ที่คุณต้องการเคลื่อนไหว เปิดหมวดหมู่ Object category จากนั้นเปิดบานหน้าต่าง “Rokoko Studio Live Setup”
    Rokoko Studio Live Setup
  2. ในช่อง “Face” เลือกข้อมูลใบหน้าที่คุณต้องการใช้สำหรับ Mesh นี้
    การเลือก “Face” เพื่อเชื่อมกับ Mesh ที่ต้องการ
  3. กรอกข้อมูลในช่อง Shape key ทั้งหมดโดยกด ” Auto Detect” และตรวจสอบว่าใส่ Shapekey ทั้งหมดถูกต้องหรือไม่ และเติม Shapekey ที่ขาดหายไป
    การตรวจสอบ Shape key

     

    ตอนนี้ Mesh ของคุณควรจะเคลื่อนไหวโดยข้อมูลใบหน้าเป็นต้นแบบ

 

  Streaming Virtual Production data

หลังจากเปิดตัวรับข้อมูลแล้ว ให้เลือกวัตถุที่คุณต้องการทำให้เคลื่อนไหวจากนั้นทำตามขั้นตอนนี้

  1. เปิดหมวดหมู่ Object จากนั้นเปิด “Rokoko Studio Live Setup”

    Rokoko Studio Live Setup

     


  2. ในช่อง”Tracker or Prop” เลือกข้อมูลตัวติดตาม หรือตัวประกอบที่คุณต้องการใช้สำหรับวัตถุนี้
    เมื่อคุณเลือกพร็อพของคุณแล้ว คุณยังสามารถเปิดใช้ “Use Custom Scale” และเปลี่ยน Scale เพื่อให้แน่ใจว่าทุกอย่างเหมาะสมกับโปรเจ็กต์ Blender ของคุณ

    Tracker or Prop
    เลือก Prop ที่ต้องการ

    ขณะนี้วัตถุของคุณควรเคลื่อนไหวโดยตัวติดตาม หรือข้อมูลประกอบ

    ในแผงตัวรับสัญญาณ คุณสามารถตั้งค่า “Scene Scale” เพื่อปรับขนาดข้อมูลตำแหน่งสดให้เหมาะกับโครงการของคุณ

    การตั้งค่าขนาด “scale”

    ที่มา : https://support.rokoko.com/