Pazartesi, Haziran 27, 2016

Python ile GUI - pySide -


Bu ara python ile uğraştığımdan bahsetmiştim. Python devasa kütüphane desteğine rağmen, GUI konusunda pek de gelişkin araçlara sahip değil malesef. Dağıtımlarda standart gelen Tkinter ne yazıkki pek güzel değil. Aktif, güncel  bir GUI aracı yok malesef. Kod yazarak GUI oluşturmakda eziyet. Epey bir araştrıma yapdıktan sonra bulabilidiğim en rahat çözümden bahsetmek istiyorum. PySide

PySide Qt bazlı bir  kütüphane. pyQt de öyle bir çözüm, hatta daha da yaygın. Ama malesef arkasında ticari bir firma var. Anladığım kadarıylada ticari kullanım için lisans satın almanız gerekiyor. Pyside ın hali hazırdaki versiyonu 1.2.4 ve Qt 4.8 bazlı. Lisansı ticari kısıtlama içermiyor LGPL.  Ek olarak Qt. 5.x bazlı bir dağıtım -PySide2- üzerinde çalışmalar devam ediyor hatta Qt nin desteğide var bakınız.  
https://wiki.qt.io/PySide2
Peki nasıl kullanacağız ?

* Öncelikle PySide paketini kurmamız gerekiyor windows için kolay bir kurulum var.

pip install -U PySide
 
* GUI oluşturmak için QtDesigner ı kullanacağız. Pythonun kurduğunuz dizinin altındaki dizine geçin. Ben Anaconda dağıtımını kullandığım için

'C:\Anaconda2\Lib\site-packages\PySide'
bu dizin içinde designer.exe  adı altında Qt Designer ' ulaşıyorsunuz. Bu programı çalıştırın


Dialoglu bir seçeneği kullanın. 

Bundan sonrasında sol tarafta GUI araçlarında sürükle bırak tarzında  GUI dizaynımıızı yapıyoruz.



Biz bir tek giriş nesnesi ve bir liste kutusu ortayada bir düğme koyduk girişi yapılan texti listeye ekleyeceğiz. Dizayı işimiz bitince dizaynımızı
'PySide-Deneme.ui' 
olark kaydediyoruz. komut satırından
pyside-uic PySide-Deneme.ui -o PySide-Deneme.py

yazarak dizaynımızı python koduna çeviriyoruz.



kodda Ui_Dialog diye bir sınıf tanımlanmış ama yeterli değil, ilaveler yapmamız gerekiyor.
Önce başına
import sys

sonra sonuna
app = QtGui.QApplication(sys.argv)
form = Ui_Dialog()
Dialog = QtGui.QDialog()
form.setupUi(Dialog)
Dialog.show()
sys.exit(app.exec_())

satırlarını ekliyoruz. Artık uygulamamız çalışır fakat sadece  dizay ettiğimizi GUI yi görüyoruz. Listeye ekle düğmesinin çalışması için.  Önce ekeleme işlemi için  Ui_Dialog sınıfına bir fonksiyon ekleyelim.
def Ekle(self):
   self.listWidget.addItem(self.lineEdit.text())
 QLineEdit nesnesindeki text i QListWidget nesnesine ekliyoruz basitçe

Ekle Düğmesine basıldığında bu fonksiyonun çağrılması için ise
self.pushButton.clicked.connect(self.Ekle)
satırını Ui_Dialog Sınıfının setupUi fonksiyonun sonuna ekliyoruz.


ve hepsi bu kadar mutlu son....

Kodu incelemek isterseniz
github.com/birolkuyumcu/PySide-Deneme
burdan bakabilirsiniz.

Cumartesi, Mayıs 21, 2016

Günahsız Dille Duâ

Ey Rabbimiz eğer unutmuş ve yanılmışsak bizi sorumlu tutma.
Ey Rabbimiz, bizi doğru yola erdirdikten sonra kalplerimizi kaydırma, gönüllerimizi aç, işlerimizi kolaylaştır.

Allahım Bize kendine yakınlaşmayı kolaylaştır. Senden uzaklaştıracak şeylere fırsat verme. Bizi sana muhtaç olma ve senden başkasına ihtiyaç duymama hissiyle müstağni kıl....

Bize ibadet ve itaat için en kolay yolu nasib et. Gaflet ve hatalarımızdan dolayı bizi hesaba çekme. Günlerimizi sana yakınlığa vesile olacak ve rızanı kazandıracak amellerle geçirmeyi nasib eyle...

Allahım ! Dillerimizi ancak zikr-i ilahine bırak Kalblerimizi Zat-ı ilahinden başkasına bağlama. Ruhlarımızı sana yakınlığın latif rüzgarıyla ferahlandır, gönüllerimizi sevginle doldur. iç dünyamıza kullarına karşı iyi niyetler yerleştir.Nefislerimizi ilmin cihetine yönelt...

Bizi temizi alan kirliyi bırakan, afiyetin kadrini bilip şükreden ve kendisine vekil olman için
senin kefilliğine razı olan kullarından eyle. Bizleri azametini tanımaya muvaffak kıl...


....

Resûlullah (sas) Hazretleri ashabına şöyle buyuruyor:
-Allahü Teâlâ'ya günahsız dille duâ edin!
Diyorlar ki:
-Yâ Resûlallah, günahsız dilimiz yoktur, nasıl günahsız dille dua edeceğiz?
Şöyle açıklar günahsız dille dua etmeyi:
-Sizin diliniz kendiniz hakkında günahlıdır, ama başkaları hakkında günahlı değildir.
Öyle olunca siz başkaları hakkında günahsız olan dilinizle dua edin, onlar da sizin hakkınızda günahsız olan dilleriyle dua etsinler. Böylece günahsız ağızlarla birbirinize dua etmiş, makbul duaları almış sayılırsınız...

Dua eder dualarınızı bekleriz Özellikle vav çizmek için sandalcı çavuşluğunu bırakan ihtiyar için

Cumartesi, Nisan 16, 2016

Poincare Plot Feature Extraction 1

Nasettin hocaya sormuşlar hocam sizin bir icadınız varmı ?
hoca ;
 Karla ekmek yemeği icat ettim ama sonra bende beğenmedim bıraktım 
demiş.
Feyiz kaynağımız Nasrettin hocamızdan çok şeyler öğrenmdiğimizi blog'umuzu takip edenler bilir.
Bizimde naçizane bir icadımız oldu. Zaman serisi tipindeki veriler için bir öznitelik çıkarma metodu. Aslında EEG verileri için kullandıkda
Yapay Sinir Ağları ile Epilepsi İçin Otomatik EEG analizi

Yazıya okuduysanız işimizi görmüş bir öznitelik çıkarma olarak görünüyor. Fakat tabii ki genelleştirmek için kesinlikle yetersiz. Aradan epey bir vakit geçti, hep bir bakayım diyorum bir türlü vakit bulamıyorduk. Bu günlerde biraz vakit bulunca ucundan kıyısında anlatmaya ve kodu pythona çevirmeye başladık.

Öncelikle Zaman serisi tipindeki veriler çok yaygın ve çok çeşitli. Bu yüzden envai çeşit  öznitelik çıkarma metodlarıda mevcut elbette. Bir kısmından bahsetmiştik
Zihin Egzersizleri 2 


Konuya geçelim denemeler yapmak için önce seriler oluşturalım.



resimlerden çizilmiş bu serileri görünüşleri ile ayrıştırabiliyoruz. Bu haliyle kullanımı pek mümkün değildir. Elbette sabit bir genişlikteki veriyi seçip kullanabiliriz fakat verinin seçeceğimiz kısmına göre veri bir ileri veya geri gitmek bile veri vektörünü nerdeyse tamamen değiştirir.

Poicare Plot  adını fransız matematikçi H. Poincare den alan bir metoddur.  Basitçe anlatırsak

X1, X2,... Xn 
şeklindeki bir zaman serisinin  2 boyutlu bir koordinat sisteminde  sırayla
 (X1, X2 ) ,   (X2, X3 ) ,  (X3, X4) , .... ,   (Xn-1, Xn )

noktalarının  çizilmesidir.

 Yukardaki serilerin Poincare Plot metoduyla çizimlerini görelim

belki bir parça daha kolay ayrıştırılacak halde . Bu haliyle kullanımını görmekteyiz. Mesela tıp alanında  kalp atım hızı değişkenliği - Heart Rate Variability -  analizlerinde kullanılıyor

İnternette ufak bir aramayla pek çok makaleye ve çalışmaya rastlaya bilirsiniz
bir örnek verip geçiyoruz.

Poincare Plot Used As Confirmative Tool In Diagnosis Of Left Ventricular Diastolic Dysfunction For Diabetic Patients With And Without Myocardial Ischemia

Biz burdakilerden farklı metodla bu grafik üzerinden öznitelik çıkarmayı deneyeceğiz. İlk aşamada noktalar arasında vektöreler oluşturacağız. Vektör büyüklüğü ve yönü üzerinden histogramlar çıkaracağız. Sonrasında bir birini takip eden vektörler üzerinden iki boyutlu histogram çıkaracağız.

Yukardaki kadarıyla kodu

github.com/birolkuyumcu/Poincare-Plot

adresinden IPython notebook olarak inceleyebilirsiniz.

Şimdilik bu kadarını yazalımbırakalım. Devamını yazmaya kudretimiz ve dahi şevkimiz olursa devam edecek İnşallah

Cuma, Nisan 08, 2016

Bizden Haberler

Epeydir bir şey yazamıyorum. Aslında yazacak çok şey çıkıyor. Vakit bulup toparlayıp yazarım dedikçe zamanla yitip gidiyor. Bütün bütün kaybolmadan işaret taşı nevinden bir kaç satır karalıyalım dedik.

İlk olarak kitapdan bahsedelim. Kitabın ikinci baskısına geçileceği bildirildi. Memleketimizde çokda yaygın olmayan bir konudaki kitabın ikinci baskıya gitmesi bence güzel bir gelişme. Alanlara, tanıtanlara ve yayılmasına yardımcı olanlara burdan teşekkür ederim.

Geçen sene oldukça yoğun geçti aslında. Yılınbaşında Tübitak Desteği için başvurulan bir proje içindeydik. Proje konusu aşağı yukarı "nöro marketing" üzerineydi.  Nöro marketing beyin dalgalarının anlamdırılması esasına dayanan bir alan. Beyin dalagalarının anlamlandırılması zaten uygulama alanı çok geniş bir alan. Bunun pazarlama amaçlı kullanılarak ticari kazanç elde edilmesi üzerine bir projeydi. Bilimum bürokratik işlem ve alınan danışmanlık hizmeteri sonunda proje sunum aşamasına geldi. İlk aşamada 2 hakem atandı değişik üniversitelerden. Farklı tarihlerde ayrı ayrı sunum yapıldı. Aradan bir kaç ay geçince muhtemelen  hakemlerin farklı görüşlerinden yeni 2 hakem daha atandı. Onlarada ayrı ayrı sunum yapıldı. Aradan epey bir zaman geçtikten sonra projenin kabul görmediğini öğrendik malesef.

Yılın son 6 ayında bu sefer bilgisayarlı görü alanında bir projeye dışardan yardımcı olduk.


IHA görüntüleri üzerine bir Ar-Ge projesi idi.

Gerek yukarda bahsettiklerim gerekse bu tür projelerle uğraşanlardan dinleiklerime istinaden memleketimizdeki Ar-Ge projelerindeki problemler hakkında en azından başlık olarak bir şeyleyler karalayalım. Uygun bir imkan bulursak genişletilmiş versiyonunuda yazarız



* Ekip nasıl kurulur ? :  İstenen nitelikde insan bulamama çünkü yok yetişmemiş. Olmayan nitelikleri ve ilaveten "ağzıyla kuş da tutsun " şeklinde ilanlarla heveslileri kaçırmak. Hevesliler kaçınca geriye hallederiz cilerin kalması. Hallederizle hiç bir şeyin hallolmayacağı. Şaş kaza hevesli , Kısmen nitelikli insanında bütün işin üzerine yıkılması ile geldiğine pişman edilmesi.

*Plan Nasıl Yapılır :  Ekip yok, Ekipman yok, Veri yok. Beklenenlerin teknik olabilirliği meçhul. Zaman kısıtlaması evler şenlik, dünyada eşi olmayan çalışmayı 6 ayda çıkarmak istenir...  Buyrun cenaze planına...

*Akademik Danışma veya Danışamama : Projenize uygun yeterlilikte danışmanı nerden bulursunuz. Eş dost tanık diye adı yazılanlar. Bulduğunuz danışman ne derece vakit ayırabilir.  Adamın işi başından aşkındır, ip ucu nevinden ufak yönlendirmeler ancak yapar. İp ucunu takip edecek dedektif yok. Kimisi olabildiğince teorik kalır. Şuralarda daha kısa bir yol olabilir araştıralım der. projenin kısıtlamalarına bakmaz İş gücü çıkmaz sokaklarda gezer durur.

*Devlet Desteğimi , Kösteğimi :  hibe desetği olmadığı sürece  bence "Projenin teknik olabilirliği"  dışında  ıvır zıvırla uğraşmaması gerekirken. Bilimum bürokrasiyi önünüze yığması. Kabul red kriterlerinin net olmamması. Fuzuliden günümüze proje sundum tanıdık değil deyu almadılar anlayışının devam ediyor olması.  Yurt dışında başarılı olmuş projelerin çoğunluğu memleketimizde olsa destek alamıyacak oluşu...

*Yatırımcı Melek mi ? : Yurt dışında başarılı olmuş projelerin çoğunluğu memleketimizde olsa yatırımcı bulamıyacağı gerçeği. Yurt dışında yatırımın fikre ve fikri gerçekleştireceği düşünülen ekibe yapılırken. Memleketimizde yatırımcı hazır sofraya ortak olma şeklinde yapılır. Yatırımcı arıyan, fikre ve ekibe, hazır sofra sorarlar.

*Ar-Ge Nedir : Gerek ekipden biri olarak, gerek devlet olarak gerek yatırımcı olarak,  Ar-Ge nin ne olduğunu farkında olmadığımızın farkındamıyız ?  Araştırma ve Geliştirme ; Araştırma ve geliştirme işini araştırmadan yapabilrimiyiz ?  Nasıl planlaya biliriz şu kadar adam saatte biter diye. Gittiğimiz yönün doğru olduğunu ve isteğiğimiz sonucu vereceğine nasıl emin olabiliriz. Emin oluyorsa bu zaten araştırma değildirki !.  Bu durumda hazır sofranın - iş modeli- olmasının imkanı varmıdır.?

Haberlere devam edelim

mbed ile embeded konusuna bakdığımı söylemiştim.  Başka bir tür kart ile yine ufak bir çalışmam oldu.

Nesnelerin interneti IoT kavramı bunca popülerken bakmamış olmamız bir eksiklik olurdu. Ardunio bazlı wireless bağlantısı kurabilen mini bir board. Eklenmiş olan düğmeye basınca
ardesine bir sayaç değeri yolluyor.  Yazılımcıların çekinmemesi gereken bir alan diye düşünüyorum. C / C++ biliyorsanız, yabancılık çekmiyorsunuz.

Son olarak da Derin öğrenme konularına değinelim.  En az IoT kadar popüler olmaya aday bir konu. Bu konuda çalışabilmek için benim emektar diz üstü bilgisayarımı devredip yeniledim. bir Toshiba i7 ve NVDIA grafik kartlı bilgisayar aldım. Elbette yeterli değil ama konu üzerinde denemeler yapabilecek sevyede bir imkan sağlıyor.

İlla Linux da kullanın  derin öğrenme kütüphaneleri şak diye kuruluyor masalına bende inanıp bazı denemeler yaptım. Sonucusu bilgisayarın göçmesiyle sonuçlanan 3 denemeden sonra vaz geçtim. İlk olarak Linuxda söylendiği gibi her şey güllük gülistanlık değil. İkinci olarak Linux komut satırı handikapından kurtulmamış. Daha doğrusu kurtulmak istemiyor. Her problemde karşınıza bir kamyon komut satırı işler düşüyor. sonuçda garanti değil bu arada.
"X problemini çözmek için şu şu komutları yazın. "
Bilmem kaçıncı aşamada biri hata veriyor ortada kalıyorsunuz Geri nasıl alınacağıda meçhul.

 İlerde bir daha denermiyim bilmiyorum ama Windows da da pek ala idare edebiliyorum şimdilik.  Caffe yi mxneti theanoyu kurdum. Caffe de eğitim denemeleri yaptım . caffe ve mxnette hazır modelleri kullandım. Tabii bu arada el mahkum pythona başladım.

Derin öğrenmede genelde bütün yollar Python 'a çıkıyor. Rahmetli İsmail Arı zamanında söylüyorduda dudak büküyorduk. Akademik camia matlabdan nedendir bilinmez pythona göç etmişler. Heme her konuda python kütüphanesi bulabiliyorsunuz. Keza Derin öğrenme kütüphaneleride çekirdiği C++ da yazılsada kullanımı python tercih edilmiş durumda. Bizde python öğrenmeye başladık.

Pythona dil olarak her şey serbest bir dil yapısında tip tanımlama yok. Bu her ne kadar özgürlük gibi görünsede bence eksiklik. C / C++ da bir fonksiyonun prototipi size iyi kötü nasıl kullanacağınızı anlatır. şu şu şu tipte verileri yollayacağım şu tipde bana sonuç dönecek vs... Pythonda en azınmdan benim için hiç bir şey ifade etmiyor. Devasa kütüphaneleri olan bir sistem ama dökümante edilmiş hatta örneklenmiş değilse kullanamazsınız. Güzel tarafı ise kütüphanelerin kurulumu için bir sistemi var pip Pek çok - dikkat her demiyorum - kütüphane için çalışıyor. Paket kurulumunda bir problem yoksa tek satırla koda dahil edilebiliyor.

Pythonda bir başka problemde hangi versiyonun kullanılacağı problemi  2.x mi 3.x mi Uzun uzun araştırmaya gerek yok. Hali hazırdaki kütüphane desetği yüzünden 2.x i tercih edin. Python kurarken pek çok kütüphanenin hazır olarak bulunduğu dağıtımları tercih etmeniz sizin için iyi olacaktır.
wiki.python.org/moin/PythonDistributions
Ben Anacondayı yı tercih ettim. Hatta şöyle bir çalışmada yaptım


Python Deneme from bluekid on Vimeo.

python + openCv + sklearn

IDE olarak önerilerim.


Yazıyı çok uzatmışız umarım okuyan çıkar. Bizden haberler şimdilik bu kadar.

Günün anlam ve önemine istinaden Kandiliniz , Cumanız, Üç aylarınız maddi manevi hayırlara vesile olsun İnşallah

Cuma, Ocak 01, 2016

Caffe for Windows

Caffe bir derin öğrenme kütüphanesi ve uygulaması. Derin öğrenme yazılarımızın üçüncüsünde kısaca bahsetmiştik.

Caffe hali hazırda görüntü tanıma üzerine çalışma yapacaklar için en oturmuş ve en hızlı kütüphane. Üç şekilde kullanma imkanına sahibiz. komut satırı, python, matlab. Nedendir bilinmez python dili epey bir revaçta. Derin öğrenme yazılarımızın dördücüsünde görebileceğiniz gibi çoğu kütüphane ya tamamen  python ile yada hız faktörü yüzünden çekirdek kısmı C++ yazılıp kullanımını pythona üzerinden yapmışlar. Python bilmeyen biri için buna malesef demek zorundayım. İnşallah ilerde en azından böyle Caffe gibi çekirdeği C++ yazılmış kütüphaneler için doğru düzgün bir C / C++ arabirimi yazsınlar. Beklemek yerine elbette bizimde bir taraftan python öğrenmeye çalışmamız gerekiyor. Caffe için biz bu sıkıntıyı komut satırı kullanımı ile aşmayı planlıyoruz.

Derin Öğrenme kütüphanelerinin genel ikinci sıkınıtısı genel olarak Windows desteği olmaması. Bence bir başka hatada bu. Akademik camiada makale için bir şeyler yapılacaksa elbette windows la muhatp olmak zorunda olmayabilirsiniz. Fakat Ticari bir faaliyete girilecekse, windows işletim sistemini dışlamak müşteri portföyünüzü küçültmek anlamına gelir.

Caffe de resmi windows dağıtımı yok malesef. Resmi dağıtım dışı bazı çalışmalar var

Caffeyi kullanmak için ilk etapta bu linklerden birine müracaat edin. Yada Daha Önce derlenmiş bir paket bulun.  Biz derlemek için İlk alternatifi kullandık. Linki verilen siteden zip olarak indirip harddiskte bir dizine açtık.
  • Öncesinde  yapmanız gerekenler
  • Cuda desteği olan bir derleyiciyi kurun Visual Studio gibi 
  • Cuda ve CuDNN kütüphanelerini  indirip kurun - NVIDIA sitelerinden -
  • halen kurulu değilse CMake i kurun



 CMake ile kaydettiğimiz  dizine gelin ve orda derlemek için bir dizin oluşturun derleyiciyi seçin.  Önce Configure sonra Generate ile önce gereken indirmeleri internetten kendisi otomatik yapacaktır. en sonda derlemek için seçtiğiniz derleyiciye göre -solution file - derleme projelerini oluşturacaktır.
Visual Studio ile biz bu dosyayı açtık ver derlmeye başlattık. Cuda kodlarıda içerdiğinden derleme işlemi epey bir uzun sürüyor. İşlemin sonunda çalıştırılabilir dosyaları elde ederiz.



isim adının peşine -d olanlar debug olarak derlenmiş olanlar. Burda en önemli dosya elebette caffe.exe . Derleyemediysenizde canınızı sıkmayın bizden temin edebilirsiniz. Windowsun nimetlerinden.

Peki Nasıl kullanacağız ?

Önce resmi sayfadan CommandLine  kısmını okumanızı öneririm.

genel kullanımı 
caffe

şeklinde komutlar   { train  , test ,device_query, time } dan oluşuyor parametreler ile  birlikte
caffe ile komut satrından pek çok işlemi yapabiliyorsunuz. Mesela Grafik işlemcinizin durumunu sorgulamak için
caffe device_query -gpu 0

dediğinizde



yukardaki gibi bir ekran gelir Elbette CUDA destekli bir GPU olması lazım.

train komutu eğitim için için kullanılır. Caffede Eğitim işlemi için elbette verilere ve  bu verilerin üzerinde eğitim için kullanılacağı model dosyasına ihtiyaç vardır.  Model dosyası prototxt  denen bir formatta tutuluyor. text bir dosya ve okunabilir bir yapı


İlk etapda böyle bir model dosyasını oluşturmak zor olacağından hali hazırda test edilmiş ve kullanılmış model dosyalarının kendi verilerimize göre güncellenip uygulanması öneriliyor.
Her halükarda bu konuda bir şeyler öğrenmemiz gerekiyor. bulabildiğim  açıklamalar şunlar


Veri dosyamızı nasıl vereceğimize gelirsek. Caffe , LMDB, levelDB , HDF5 gibi data veri dosya formatlarından okuma yapabiliyor. Böyle bir imkanınız yoksa  doğrudan görüntü dosyasınıda kendisi okuyup kullanabiliyor. Nerden ne şekilde okunacağını model dosaysında  belirtmeniz gerekiyor.
Mesela MNIST için levelDB formatındaki bir veriyi okutmak için model dosyasında


yazılıyor.  Doğrudan Görüntü dosyasını kullanmak isteseydik. Her satırda Görüntü dosyasının yolu ve adını tutan sonunada ait olduğu sınıfı gösteren bir formatta text dosyası oluşturmamız gerekiyordu



gibi
Sonrasında Model proto dosyasında  bu text dosyayı verileri okumak için kullanmasını bildirirdik
bakınız



gibi. aynı şeyleri test verisi içinde yapmamız gerekiyor. Eğitim test verileri olmaksınızın bizi yanıltabilir. bakınız

Eğitim esansında kullanılacak parametreler teker teker parametre olarak mümkün olduğu gibi yine prototxt formatında bir solver dosyası olarakda vermek mümkün.
mesela yukardaki model dosyası için

# net : Eğitimde kullanılacak model dosyasının adı
net: "alpha_train_text.prototxt"
# test_iter geri besleme öncesi kaç ke ağın ileri besleyeceği.
test_iter: 25

# test_interval: Test verisi ile yapılacak kontrolün aralığı mesela 300 iterasyonda bir
test_interval: 300

# Yapa Sinir ağı parametreleri öğrenme hızı vs...
base_lr: 0.001
momentum: 0.7
weight_decay: 0.0005
# Öğrenme hızı ile ilgili parametreler
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# her 100 iterasyonda durumu gösteriyor.
display: 100
# En çok kaç iterasyona kadar çalışacağı
max_iter: 1500
# arada eğitilmiş model saklanacakmı ve kaç iterasyonda bir
snapshot: 100
snapshot_prefix: "alpha"
# Caffenin çalışma modu CPU yada GPU
solver_mode: GPU
böyle bir solver dosyası kullanılıyor.  yukarda # peşinden gelen açıklma satırları ile açıklamaya çalıştım. YSA parametreleri için YSA üzerine bir şeyler okumanız lazım...
biraz eski bir kaynak ama burdan  aratıp bazı şeyleri öğrenmeniz mümkün
http://www.faqs.org/faqs/ai-faq/neural-nets/

Solver dosyamızı da ayarladıktan sonra şu komutu verip

caffe train -solver lenet_solver.prototxt 

çalışmasını izleyip



sistemin eğitilmesini bekliyoruz. Caffe uzantısı  ".caffemodel" olarak eğittiği modeli kaydeder.

Eğitim Bitti peki biz bu eğitilmiş modeli nasıl kullanacağız. Bu konuda OpenCv yardımımıza koşuyor. OpenCv 3.0 dan itibaren contrib kısmında DNN diye bir modül var. OpenCv kurarken contib modülünü dahil edip derlediyseniz - kitapta derlemeyi anlattım -  kullanabilirsiniz. İlaveten model prototxt dosyasının kullanım için hazırlanmış versiyonu lazım genelde deploy ön adı ile sağlıyorlar. Çünkü normal dosyada veri girişi için dosya kullanılıyor. OpenCv nin sağladığı bu kolaylıkla OpenCv ve bahsettiğimiz DNN modülünü derlediğiniz her sistemde eğitilmiş model dosyası ve deploy protxt dosyası ile çalıştırabilirsiniz.

Bizde yukarda gösterdiğimiz gibi mnist verisi için bir eğitim yaptık ve daha önce OpenCv KNN ile yazdığımız programa DNN ekledik.



KNN ile % 97.6 olan başarı caffe ile yaptığımız bu eğitim ile %99.3 e yükseldi.

Şimdilik yazacaklarımız bu kadar sorularınız olursa bildiğimiz kadarıyla cevaplamaya çalışırız.


Mnist with Deep Neural Network from bluekid on Vimeo.


Perşembe, Aralık 31, 2015

Derin Öğrenme 4

Geçen yazımızda konuyu bitirmiştik ama yeni gelişmeler çıktı. Bu gelişmelerden en önemlisi Google'ın   kendi geliştirdiği sistemi açık kaynak olarak yayınlamasıydı. Pek çok büyük firma derin öğrenme üzerine hazırladıkları kütüphanelerini açık kaynak kodlu yayınladılar. Aslında henüz oturmamış bir alan ve bu alanda baskın bir kütüphane yok.  Bu yüzden bende en azından genel kullanılan diğer  kütüphaneleri  listeleyim  istedim.

1) TensorFlow : Google ın yayınladığı açık kaynak kodlu bir kütüphane. Derin öğrenme konusunda Tensor terimini çok duyacaksınız. Tensor çok boyutlu veri matrisleridir.

Bu kütüphane ile tensörlerin akışı ile yapay öğrenme metodları gerçekleştiriliyor.  Tıpkı caffe deki gibi çekirdek kütüphane c++  ile yazılmış olsada, ana kullanım Python üzerinden yapılabiliyor. Lisansı ticari kullanıma uygun. Bence bir başka eksi yön windows desteği yok malesef.

2) The VELES :  Bu kütüphanede Samsung firmasının  geliştirmiş olduğu derin öğrenme kütüphanesidir. Pythonda geliştirilmiş ve GPU için hem CUDA hem OpenCL desteği var.
Lisansı yine ticari kullanıma uygun.

3) Computational Network Toolkit (CNTK)  : Bu kütüphanede Microsoft'un C++ temelli geliştirdiği yine açık kaynak kodlu kütüphane. Benim gibi C++ kullanan kişiler için  bir avantaj elbette. Microsoft ne derece arkasında duracak bilemiyorum. Malesef halen beta statüsünde duruyor.



4) Intel® Deep Learning Framework :  Intel firmasının geliştirmiş olduğu yine C++ temelli bir kütüphane C API kullanılarak çağrılıyor. hem CPU hemde GPU desteği var fakat GPU için OpenCl temelli kodlama yapılmış.

5) Theano : Python da yazılmış çok genel bir kütüphane doğrudan derin öğrenme için kullanıldığı gibi  üzerine yazılmış keras veya lasagne gibi kütüphanelerle de kullanabiliyorsunuz. pyCuda ile GPU kullanarak çalışmasını hızlandırabiliyor.

6) MXNet  : C++ temelli bir kütüphane. Hemen hepsinde olduğu gibi C++ ile değil.  Python,R, Julia gibi diller üzerinden kullanabiliyoruz. Windows için hazır paketleri var.

 7) warp-ctc  : C temelli bir kütüphane. Baidu nun ürünü  Torch üzerinden kullanılacak şekilde düşünülmüş. Ses tanıma  üzerine çalışmışlar





Bu liste böyle uzuyor gidiyor.  Bu tür kütüphaneler ,dökümanlar ve kitaplar gibi kaynakların listelendiği aşağıdaki linke bir göz atın.







Cumartesi, Kasım 07, 2015

Derin Öğrenme 3

Bir önceki yazımızda kabaca çalışma sisteminden bahsetmiştik. Bu yazımızda pratik olarak neler yapabileceğimize bakalım.

Sitemizi takip ediyorsanız görmüşsünüzdür. eskiden beri pratik uygulamalara ağırlık vermişizdir. klasik YSA kütüphanesi olan FANN 'ın pek çok değişik alanda kullanarak gösterdik. Genel kullanım aslında aynı.

  • Uygulanacak bir alan bul. 
  • Verileri topla. 
  • Sistemi eğit. 
  • Eğitilmiş sistemi kullan.

Sıfırdan bir derin öğrenme sistemi yazmak çoğumuz için mümkün değildir. Gerekli de değildir.  Hali hazırda pek çok kişi  tarafından geliştirilmekte olan uygun kütüphanneler mevcuttur. Bunları kullanmak hem daha sağlıklı hemde daha kolaydır. Tekerleği icat edilecek yer var edilmeyecek yer var ... Bizim görüşümüz kendinize en yakın gördüğünüz ve gelişmesi devam eden bir kütüphaneyi seçmektir. Sonrasında çalışmalarımızı bu sistemi öğrenmek ve uygulamak üzerine harcaya biliriz. Biz bir kaç tanesinden bahsedelim.

Torch 

Torch aslında genel bir Yapay Öğrenme kütüphanesi ve Geçmişi epey eski hatta bir vakitler üzerine yazılmış görüntü işleme kısmıyla birlikte çıkmıştı Torch Vision diye biz de bahsetmiştik. Torch Vison pek gelişmesede ana kütütüphane olan Torch çok gelişti. Ana kütüphane C de yazılmış olsada, Lua destekli olarak epey revaçta bir kullanıma sahip. GPU desteği zaten derin öğrenme sistemlerinin olmazsa olmazı. Açık kaynak kodlu ve ticari kullanımada uygun bir lisans yapısı var.

Caffe 


Berkley Üniversitesi tarafından geliştirilmiş bir sistemdir Caffe .  Açık kaynak kodlu, ticari kullanıma uygun ve GPU destekli bir yapıdır. Temelde C++ olarak yazılmıştır. Hiç program yazmadan Komut satırından çalıştırılan programlarla ve google 'ın  -Protocol Buffers - Google's data interchange format - ile yazılmış model yapıları ile eğitip kullanabiliyorsunuz. 



mesela bakınız.


NVDIA'nın DIGITS  ürünü ilede  GUI  üzerinden kullanabiliyorsunuz.



Pek çok araştırma gurubu tarafından kullanılan bir sistem olan Caffe bizimde tercihimizdir. 
Matlab ve python destekleride vardır. Caffe için en büyük  eksiklik şimdilik windows desteğinin pek iyi olmaması. Resmi bir windows versiyonu yok. Fakat bu konuda değişik çalışmlar var
Sonuncusunda çalıştırılabilir bir versiyonunda var

Caffenin bizim açımızdan diğer bir  avatajı da OpenCv 3.0 ile birlikte Caffede eğitilmiş olan modelleri kullanma imkanına sahib olmamızdır.  Mesela bir önceki yazımızdaki video yu  Caffe de eğitilmiş "bvlc_googlenet.caffemodel" modeliye yazdık.  Caffe de  eğitilmiş modellerede ulaşabiliyorsunuz. 

 OpenCv de Derin Öğrenme sistemlerine ulaşmak için OpenCv 3.0 'ı contrib eklemeleri ile birlikte kurmalısınız. -Kitabımızda anlatmıştık -  Bu kısımda dnn modülünde  bahsettiğimiz özellikler var.

Dökümantasyonu ;
docs.opencv.org/master/d6/d0f/group__dnn.html
Örnek Program ;
github.com/Itseez/opencv_contrib/blob/master/modules/dnn/samples/caffe_googlenet.cpp
Dökümantasyondaan görülebileceği gibi  hali hazırda çalışmasada eğitilmiş Torch modelleri içinde üzerinde çalışılıyor.

Bizim bahsettiğimiz dışında da başka kütüphaneler var elbette. Burdan detaylı bir listeye ulaşabilirsiniz. Listenin olduğu site deeplearning.net de genel konu ile ilgili açıklamalara ve bağlantılara ulaşabilirsiniz.

Bütün yazdıklarımızı toparlarsak. Pratik bir çalışma yapmak  istediğimizde

1) Hazırda geliştirilmiş sistemlerden biri tercih edip öğrenmemiz gerekiyor. Bizim önerimiz Caffe
2) Büyük işlemgücü gerektiğinden en azından CUDA destekli bir NVDIA grafik kartlı  bir bilgisayar edinin. Daha teferruatlı açıklama için bakınız ; deep-learning-hardware-guide
3) Bol miktarda veri istediğinden ;  sabır  ve zaman  - mümkünse ekip oluşturup işi paylaşmak -
4) Bütün her şey hazır olup eğitim denemelerine başlandığında eğitim işleminin uzun olması yüzünden zaman.

Listedende anlaşılacağı üzere orjinal bir çalışma için ; İnsan para ve zaman gerekiyor...

Evet bir yazı dizimizinde böylece sonuna geldik. Bir başlangıç yapabilmek adına gerekenlerden bahsettiğimizi umuyorum. Umarım birilerine bir faydası dokunur. Her türlü soru , öneri ve eleştirilerinizi bekeleriz...