DETEKSI MANUSIA ROBOT SONBI MENGGUNAKAN KINECT DAN RASPBERRY PI

A. TUJUAN

Untuk membangun sistem perangkat lunak raspberry pi di dalam Sonbi dan
mengintegrasikan Microsoft Kinect ke dalam Raspberry pi dan membuatnya
interaktif dengan robot Sonbi dengan cara ketika orang berdiri di depan
Kinect, robot Sonbi melambaikan tangannya ke orang-orang.

B. SISTEM PERANGKAT KERAS

Sonbi memiliki item perangkat keras dasar berikut yang dipasang di dalam
sasis dadanya:
• Raspberry Pi w/8GB Flash
• Pololu Maestro 24
• Microsoft Kinect
• ATX 500 Watt PS
• Bagian lain-lain (papan proto, kawat, mekanik)

Raspberry pi:

• Prosesor inti 700 MHz ARM1176JZF-S
• SDRAM 512 MB
• Didukung melalui microUSB (5V)
• Ethernet, HDMI, dan 2 port USB untuk periferal
• OS Raspbian
• Banyak digunakan, banyak dokumentasi!

Pololu maestro 24

• 24 Saluran
• Denyut nadi hingga 333Hz
• Ukuran skrip hingga 8KB
• Hingga 1,5 amp per saluran
• 2 Opsi Daya USB/header daya
• Skrip atau dukungan API asli

Antarmuka raspberry pi dan Pololu

• Pengkabelan sederhana
– Power, Gnd, Tx-Rx, dan Rx-Tx
• Port serial TTL
– Secara default Pi menggunakan port serial untuk input/output konsol
– Edit /etc/inittab dan /boot/cmdline.txt untuk mengubah default
dan port serial gratis untuk digunakan
• Tutorial yang bagus di:
http://shahmirj.com/blog /raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Kamera RGB yang menyimpan tiga data saluran dalam resolusi 1280×960
. Hal ini memungkinkan pengambilan gambar berwarna.
• Pemancar inframerah (IR) dan sensor kedalaman IR. Emitor
memancarkan berkas cahaya inframerah dan sensor kedalaman membaca sinar
IR yang dipantulkan kembali ke sensor. Berkas pantul
diubah menjadi informasi kedalaman yang mengukur jarak
antara objek dan sensor. Hal ini memungkinkan pengambilan
gambar yang mendalam.
• Mikrofon multi-array, yang berisi empat mikrofon
untuk menangkap suara. Karena ada empat mikrofon,
mungkin untuk merekam audio serta menemukan lokasi
sumber suara dan arah gelombang audio.
• Akselerometer 3 sumbu yang dikonfigurasi untuk rentang 2G, di mana G adalah
percepatan gravitasi. Dimungkinkan untuk menggunakan
akselerometer untuk menentukan orientasi saat ini dari
Kinect

Sudut kemiringan vertikal:27 derajat
• Kecepatan Bingkai :30 fps

C.INTEGRASI KINECT DENGAN RASPBERRY PI

Berikut adalah langkah-langkah yang dilakukan untuk mengintegrasikan Kinect dengan
Raspberry Pi.

Menghubungkan Microsoft Kinect dan driver sensornya pada raspberry pi:

Proses ini adalah salah satu bagian proyek yang membosankan, karena kita harus menyadari bahwa Kinect bekerja pada windows dan untuk membuatnya bekerja pada sistem operasi berbasis unix kita perlu menginstal secara manual semua perpustakaan dan driver yang terkait dengannya. keras dan membutuhkan banyak jam kerja dalam menyelesaikan masalah. Langkah-langkah yang diambil dan pustaka serta daftar paket yang diinstal diberikan di bagian membangun sistem perangkat lunak.

Menggunakan kemampuan penuh Kinect:

Untuk menggunakan semua fitur Kinect seperti depth sensor, IR sensor, mic dan motor untuk memiringkan kamera, kita membutuhkan library yang bisa melakukan ini. RPI secara default memiliki OpenCV dan Open GL/GLES yang terpasang di dalamnya, tetapi ini belum mendukung (segera akan) sensor kedalaman dan motor, jadi kami memerlukan paket OpenNI atau Libfreenect untuk diinstal. Salah satu saja sudah cukup tetapi saya memutuskan untuk menginstal keduanya. Untuk menguji dan memahami, Anda dapat menjalankan program contoh, yang tersedia di folder OpenNI dan Libfreenect. Saya sudah mematuhi dan membangun binari. Seseorang dapat menjalankannya hanya dengan membuka folder “bin” dan menjalankan sampel dengan
./”program sampel.”

D. MEMBANGUN SISTEM PERANGKAT LUNAK

Libfreenect:
Libfreenect adalah driver ruang pengguna untuk Microsoft Kinect. Ini berjalan pada
dukungan Linux
• RGB dan Gambar Kedalaman
• Motor
• Akselerometer
• LED
Audio sedang dalam proses
Untuk membangun libfreenect, Anda memerlukan
• libusb>=1.0.13
• CMake>=2.6
• python ==2.* (hanya jika BUILD_AUDIO atau BUILD_PYTHON)
Sebagai contoh, Anda memerlukan
• OpenGL (disertakan dengan OSX)
• glut (disertakan dengan OSX)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # jika Anda tidak memiliki make atau tidak ingin keluaran warna #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $USER video Sudo adduser $USER plugdev # perlu? # hanya jika Anda
membuat contoh:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Pembungkus:

Antarmuka ke berbagai bahasa disediakan dalam pembungkus/. Wrapper
tidak dijamin sebagai API yang stabil atau mutakhir.
• C (menggunakan API sinkron)
• C++
• C#
• python
• ruby
• actionscript
• Java (JNA)

OpenNI:

Persyaratan:
1) GCC 4.x
Dari:http://gcc.gnu.org/releases.html
Atau melalui apt:Sudo apt-get install g++
2) Python 2.6+/3.x
Dari:http://www.python.org/download/
Atau melalui apt:Sudo apt-get install python
3) LibUSB 1.0.x
Dari:http://sourceforge.net/projects/libusb/files/libusb-1.0/
Atau melalui apt:Sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
Dari:http://freeglut.sourceforge.net/index.php#download
Atau melalui apt:Sudo apt-get install freeglut3-dev
5) JDK 6.0
Dari:
http://www.Oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Atau melalui apt:sudo add-apt-repository “ hutang

Persyaratan Opsional (Untuk membuat dokumentasi):
1) Doxygen
Dari:
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
Atau melalui apt:Sudo apt-get install doxygen
2) GraphViz
Dari:http://www.graphviz.org/Download_linux_ubuntu.php
Atau melalui apt:Sudo apt-get install graphviz

Membangun OpenNI:

1) Masuk ke direktori:“Platform/Linux/CreateRedist”.
Jalankan script:“./RedistMaker”.
Ini akan mengkompilasi semuanya dan membuat paket redist di
Direktori “Platform/Linux/Redist”. Itu juga akan membuat distribusi di
direktori “Platform/Linux/CreateRedist/Final”.
2) Masuk ke direktori:“Platform/Linux/Redist”.
Jalankan skrip:“sudo ./install.sh” (harus dijalankan sebagai root)
Skrip instalasi menyalin file-file kunci ke lokasi berikut:
Libs ke:/usr/lib
Bin ke:/usr /bin
Termasuk ke dalam:/usr/include/ni
Mengkonfigurasi file ke:/var/lib/ni
Jika Anda ingin membuat pembungkus Mono, jalankan juga "make
mono_wrapper” dan “membuat mono_samples”

E. DETEKSI ORANG DAN TINDAKAN SONBI:

Raspberry PI menjalankan program bootscript_sonbi.sh
"bootscript_sonbi.sh" menjalankan perintah "python facedetect.py
–cascade=face.xml 0"
Anda akan membutuhkan untuk mengunduh file wajah terlatih ini:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
facedetect.py menjalankan algoritme deteksi wajah dan memicu
"Sonbi" dapat dieksekusi. Biner Sonbi bertanggung jawab untuk menjalankan
motor servo ke dalam tindakan. Bagan alur prosesnya ada di bawah.

Sumber:DETEKSI MANUSIA ROBOT SONBI MENGGUNAKAN KINECT DAN RASPBERRY PI