Backpropagation and Deep Neural Network engine

After discuss with my friend Eko kurniawan, finally we share our deep learning engine project to github. So you can try the engine or contribute to develop the engine (we hope there are a lot of people interested with this project).

Our project started in 2015 when we tried to create a startup company that concern with data analytics or data science. We trying to create the general engine for deep neural network that able to customize the stack of methods, so can be fit with some cases in the real world. And I used this engine for my theses in ITB (Institut Teknologi Bandung) to finished my study in master of informatics (computer science) program.

I hope this engine can be use to resolve a lot of problem that need machine learning implementation, especially for automation system. We call this project “DEEPWISSEN”, hope it will be usefull.

*before, I have explained about Deep Learning in an article in this blog using Bahasa Indonesia :  https://situkangsayur.wordpress.com/2015/07/27/deep-learning/

or in english : https://situkangsayur.wordpress.com/2016/12/25/what-is-deep-learning/

Thanks.

You can check the project repo in this link : https://github.com/situkangsayur/machine-learning

and for the jar : https://github.com/situkangsayur/deepwissen-jar

Advertisements

Infrastruktur Big Data

Ketika membicarakan Big Data tentunya kita akan tersadar terhadap kebutuhan infrastruktur untuk menopang teknologi Big Data tersebut. Dalam infrastruktur teknologi Big Data sendiri memiliki karakteristik yang berbeda dengan traditional data, yaitu :

Screenshot from 2014-01-04 17:33:50

Pada awalnya tahun 1970-2000 data yang dibangun meruapakan data dengan model terstruktur dan merupakan relational database seperti MySQL, oracle, dan lain-lain. Lalu pada tahun 1995 berikutnya mulai dibangun suatu business intelligence yang menggunakan structured dan relational database dengan system seperti cognos, pentaho dan lain-lain. Pada 2010 hingga sekarang dibangun suatu system yang memiliki tujuan 3V (volume, velocity, varity) atau 4V (ditambah value), dan dengan bermacam teknologinya seperti map reduce, high performance computers cluster dan lain-lain. Continue reading

Big Data dalam Social Media Analysis

Social Media merupakan issue yang sangat hangat diperbincangkan dalam berbagai bidang, salah satunya pemerintahan dan juga eknonomi, karena perkembangan yang terjadi dalam social media dapat menjadi acuan atau bahkan dapa mempengaruhi kejadian yang mungkin terjadi dimasa yang akan dating.

Sesuai yang dikatakan gartner mengenai Big Data “high-volume, high-velocity and high variety information assets that demand cost-effective, innovative forms of information processing form enchanced insight and decision making” . Big data merupakan data yang memiliki volume yang sangat besar, memiliki velocity yang tinggi, dan verietas informasu yang tinggu pula, sehingga dibutuhkan suatu bentuk pemrosesan untuk meingkatkan pengetahuan dan pengembilan keputusan. Dan itulah yang dibutuhkan dalam intelijen bisnis. Continue reading

Big Data dalam Bidang Astronomi

Pada dasarnya orang-orang yang bergerak dibidang astronomi melihat langit yang sama, dan objek yang relative sama, namun tentunya dalam bidang astronomi objek yang dilihat jauh lebih detail dengan berbagai datanya yang kompleks. Kita ketahui bahwa benda langit atau objek langit itu sangat banyak ragamnya dan jumlah nya sangat banyak dan masih menyimpan banyak rahasia juga pengetahuan (termasuk rahasia jumlah objek) dan data-data tersebut masih terus berubah dalam berjalannya waktu.

Perubahan data yang terjadi dalam bidang astronomi atas benda-beda langit sendiri membutuhkan waktu yang cukup lama, mungkin ribuan tahun, jutaan tahun, ratusan juta tahun, atau bahkan miliyaran tahun. Sehingga tidak mungkin kita menduku perubahan tersebut sehingga dibutuhkan suatu system yang melakukan analisis atas berbagai benda langit yang ada pada saat ini, dan tentunya proses tersebut membutuhkan data yang sangat banyak dan juga objek yang dilakukan observasi sangat banyak mungkin para astronom berurusan dengan sekitar 10^7 objek tata suya, 10^9 objek bintang galaktik, 10^9 eksgalaksi, dan itu merupakan jumlah yang sangat besar. Continue reading

Big Data dalam Biology

Dalam bidang biologi terutama dalam kasus genome dan gen bank, perang big data cukup besar, dan pemanfaatan dimasa yang akan dating sangat penting dan memiliki value yang cukup besar. Jumlah memori data genome pada suatu individu memiliki sequence yang cukup panjang sehingga dapat ditampung dalam beberapa GB dalam memori, belum lagi genome pada setiap mahluk hidup baik hewan, tumbuhan bahkan bakteri dan virus dapat disimpan dan menjadi informasi yang bermanfaat dimasa yang akan dating.

Di negara maju seperti amerika, melakukan pengumpulan sequence genome berbagai individu manusia juga berbagai mahluk hidup di dunia ini, bahkan bakteri dan virus, mereka membuat menjadi seperti genbank. Apa manfaat dari gen bank tersebut, kita dapat mencari berbagai genome yang terdapat didunia dan memanfaatkanya untuk melakukan ekstraksi informasi baik untuk penelitian ataupun pemanfaatan lainnya diberbagai bidang. Continue reading

Big Data dalam Bidang Eksplorasi Minyak dan Gas

Hari ini teknologi eksplorasi minyak dan gas bumi mengalami kemajuan yang sangat pesat. Banyak teknologi yang dikembangkan seperti frekuensi tinggi, geophone dan lain-lain untuk merekam gelombang elastic dengan sensistivitas yang sangat tinggi. Teknologi-teknologi tersebut dihubungkan dengan teknologi informasi dan komunikasi sehingga pengambilan dan perpindahan data relatif menjadi lebih mudah dan cepat. Data yang didapatkan pun memiliki variasi yang cukup tinggi sehingga pertumbuhan data sebagai input dari alat yang digunakan untuk mendeteksi keberadaan suatu sumber minyak atau gas bumi sangat cepat dan besar, disinilah peluang dan pemanfaatan Big Data serta perkembangan hardware, software, dan algoritma rekonstruksi citra seismic khususnya dalam eksplorasi minyak dan gas bumi. Continue reading

Big Data dalam Sistem Informasi Geospasial

Dalam bidang informasi geospasial big data sangat berguna terutama dalam menangani permasalahan pengolahan dan manjemen data spasial yang sangat besar. Pada tahun 1997 untuk data spasial mengenai pulau Jawa yang memiliki luas 138,794 km^2 membutuhkan 25 m grid space, dengan 1600 titik/kma dan terdapat 222 juta titik dan dikodekan dengan tipe data REAL(4 bit), peru 848 MB (pada saat storage devei yang dapat dibawa kemana saja adalah disket flopy A) tentunya pada saat ini ukuran data sebesar itu bukan lagi menjadi masalah, dan pada masa itu infomrasi geospasial yang digunakan tidak sedetil sekarang. Dan pada tahun selanjutnya 1999, data untuk DKI Jakarta dengan luas wilayah 1200 km^2 membutuhkan 2,3 GB hanya untuk data hidrologinya saja, namun pada saat itu perangkat keras serta perangkat lunak yang sanggup mengolah data sebesar itu secara real time masih terbatas. Pada tahun 2003 untuk foto pemetaan wilayah Kalimantan Barat dan Timur saja dengan luas kurang lebih 200,000 Km^2 membutuhkan 16000 foto udara, dengan beberapa informasi spasial lainnya sehingga menghasilkan total citra sebesar 6 TB dan dengan data GPS lapangan dan lain-lain sebesar 1 TB. Continue reading