Cumartesi, Aralık 09, 2017

Eski Kodlar...

Blogdaki eski yazılarımız halen okunuyor ve paylaştığımız kod ve dökümanlara ulaşılmaya çalışılıyor.  Zaman zaman ulaşılamadığına dair yorumlar ve iletilerde geliyor.

Neler varmış mesela











FAQ kısmımızda bahsettik burda yine tekrarlıyalım. Eski kodlarımızı genelikle "Google-Code"  projesi olarak yayınlıyorduk. Google bu hizmetini kaldırdı hali hazırda sadece eski projeleri indirmek için kullanabiliyorsunuz. 
code.google.com/archive/p/derin-deli-mavi/
Ama buda bir süre sonra tümden kaldırılacak.
Bizde halen kullanılabilecek fadalana bileceğinizi düşündüğümüz kodları githubda bir proje açıp içine aktardık
github.com/birolkuyumcu/ddm_projects_old
Bu github kod deposudan ulaşabilirsiniz...

Çarşamba, Aralık 06, 2017

OpenCv ve Derin Öğrenme

OpenCv nin yeni versiyonundan bahsetmiştik.
Windowsda Python için OpenCv kurulumu
En büyük yenilik  Derin öğrenme modellerini  opencv içinden çalıştırmanıza imkan  sağlayan DNN  modülünün, ana dağıtıma eklenmesi olmuştur.  Halen yoğun bir şekilde geliştirilen bir modül. Derin öğrenmenin üst düzey popülerliğinde  opencv camiasıda buna kayıtsız kalamazdı. Bizde bu yazımızda bu modülü kullanan bir örneği anlatıp paylaşacağız.

Öncelikle DNN den bahsedelim. OpenCv nin DNN modülü genel bir ihtiyaç aslında. DNN ağlarını eğitmek için pek çok kütüphane meydan çıkdı. Her birsinin değişik iyi ve kötü yanları var. Bizde iki yazıyla bu konudan bahsettik
Derin Öğrenmede Kütüphane Savaşları 1 , 2
Bir başka ve daha yaygın ihtiyaç daha var. Eğitilmiş modellerin kullanılması. Elbette kendi kütüphaneleri içinden kullanmanız mümkün. Ama hem caffe, hem torch , hem tensorflow  kütüphanesini kullanmak istersek ne olacak ? her birisiyle ayrı ayrı uğraşmak yerine bir kütüphane olsa eğitilmiş modelleri sadece çalıştırmak için kullanabilsek.  İşte OpenCv de DNN tamda bu iş için geliştiriliyor. Şimdilik en büyük eksikliği sadece cpu üzerinden çalıştırılıyor olması. Halen vadettiklerini hepsini gerçekleştiremiyor ama yoğun olarak geliştiriliyor.

Gelelim DNN örneğimize. Biz bu yazımızda bir nesne tespit ağı olan SSD nin hafif versiyonu Mobil SSD ağını çalıştıracağız.
SSD bahsedelim ,  Single Shot MultiBox Detector   kelimelerinden oluşturulmuş bir kıslatma.
2015 yılında,  Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg  kişiler tarafından yayınlanan
SSD: Single Shot MultiBox Detector
makalesiyle ortaya çıktı. Ağ yapısı

başlangıcı VGG sonunda ise nesne sınıfı ve konumunu gösteren çerçeve veriyor.



Ana SSD github sayfası
github.com/weiliu89/caffe/tree/ssd
Bizim bu gün kullanacağımız Mobile SSD github sayfası
 github.com/chuanqi305/MobileNet-SSD
 Gelelim koda ;

Kodu kullanabilmeniz için OpenCV  3.3 ve üstü lazım.

OpenCV de caffe modeli kullanabilmek için  2 dosya lazım
  • Ağ yapısını tutan prototxt dosyası
  • Eğitilmiş Ağ ağırlıklarını içeren caffemodel uzantılı dosya

cv2.dnn.readNetFromCaffe fonksiyonuyla bu ikisini kullanarak ağı  oluşturyoruz.



Ağı çalıştırmak için kullacağımız görüntüyü öncelikle ağın giriş ebatına (300x300) çeviriyoruz. Sonrasında görüntüyü cv2.dnn.blobFromImage fonksiyonuyla blob a çeviriyoruz.  Oluşturduğumuz ağ nesnesine bu blobu verip ağı çalıştırıyoruz.


Çalışan ağ bize tespit ettiği nesneleri ve konumlarını ve tespitin eminlik değerini verir. Bundan sonrasında resim üzerinde çerçeve ver sınıf bilgilerini yazdırıyoruz.



Koda OpenCv kitabının kodlarının python versiyonlarını yazdığımız 
github.com/birolkuyumcu/opencvbook_python
ders 13 olarak ulaşabilirsiniz
her türlü görüş ve önerilerinizi bekleriz





Perşembe, Ekim 26, 2017

Levent Ali Keten 'nin hatırasına....

Levent ile tanışıklığımız 2009 yılına dayanıyor. Her şey aşağıdaki ilk e-posta ile başladı



Merhabalar, 

...

Sizin de bir yazınızda belirttiğiniz gibi yazılım, içimde hep ukte kalan birşeydi. 1990 yılında üniversiteyi kazanınca yazılımı bıraktım. Üç yıl öncesine kadar da yeniden elime almadım. Yazılıma Commodore 64 le, basicle başladım. Sonraları cobol, ne yazdığımı hatırlayamayacak kadar C. Orta okul dönemim elektronik sevdasıyla geçti. Evde bozmadığım birşey kaldı mı hatırlamıyorum. Ama bir sürü de şey yapmıştım. Sanat okulunu 2.likle kazandığım halde 1. ye bölüm değiştirme hakkı tanıdılar bense tercih sebebiyle Tesviye bölümünde okudum. Sonra onu çok sevdim. Makinalar, çalışmaları hep merakımdı çünkü. Çok iyi bir tesviye eğitimi aldım. Ancak üniversitede matematik eksikliğim yüzünden Turizm Eğitimi bölümünü kazandım. Kısacası devletin bana eğitimim için yaptığı tüm yatırımlar boşa gitti. Elektronik okuyamadığım için tornacı, mühendis olamadığım için turizmci, turizmi sevmediğim için de bilgisayarcı olmuştum. Ama yazılım hep ukte kalmıştı içimde. 

Bu hayatta neyi istediysem Allah'tan hepsinin sahibi oldum. Söke söke aldım hayattan her istediğimi. Uzunca bir bilgisayar satıcılığından sonra, sektörün artık tekel büfeleriyle yarıştığı dönemde kapadım işyerimi. Ankara'ya gidip 6 ay boyunca yazılım kursu aldım. Dot.Net. İyi bir yazılımcıyım. İyi bir algoritma mantığım var. Eğitimden sonra birkaç yazılım yapıp sattım. Fizik tedavi merkezlerine. Ancak sağlık bakanlığı 1 yıl içinde öyle kararnameler çıkardı ki, yazdığım tüm yazılımı iki kez yazmak zorunda kaldım. Sonra kararnamelere yetişemeyince, sağlık alanını bıraktım. Çünkü ekip kurmaya ne maddi gücüm yetiyordu, ne de bu ülkede ortak iş mantığı gelişmişti. Sonra iki yıl Eskişehir'de kaldım. Birkaç firmaya birkaç yazılımdan sonra doğduğum yere, Mersin'e geri döndüm. Burada da aklımdaki projeleri hayata geçirebilmek için, hayatımı idame ettirebilecek bir ek gelir adına web tasarımları yaptım. En son 5 ay önce  Mersin Büyükşehir Otogar'ına otomasyon sistemi yazma işini almam, sizinle tanışmaya kadar getirdi işleri.

Muhasebe otomasyonunu yazdıktan sonra, benden kapı girişlerinde plaka tanıma sistemi olmasını istediler. Herkesin belirli alanlarda uzmanlaşmasını her zaman benimsemişimdir. Bu yüzden bu komponenti yazan bir firmadan alıp kullanmak istedim. İşte herşey ondan sonra başladı. Bu komponenti yazan firmalar, ya komple sistemi satıyorlardı, ya da 5 bin euro istiyorlardı. Ne yalan söyleyim, bu güne kadar 5.000 euroluk bir yazılım işim olmadı. Hele ki Anadolu'da bu fiyat!

En son görüştüğüm bir İstanbul Teknopark firmasına, yaptıklarının yanlış olduğunu, bu komponentin binlerce kullanım alanı olduğunu, bu fiyata sattıkları sürece bu alanlarda bunların kullanılamayacağını, bunun aynı zamanda binlerce istihdamı önlediğine varana kadar konuşmalarım boşunaydı ve en son dalga geçer gibi, bu komponenti 4 yılda bilmem kaç mühendisle, profla yazdıklarını, bunun öyle benim yazdığım yazılıma benzemeyeceğini küçümser bir tavırla söylediklerinde, bende "e bizde oturur kendimiz yazarız" dedim ve hiç alanım olmayan görüntü işlemeye dalmış oldum böylece.

3 aydır kısıtlı kaynaklarla geldiğim aşama plaka karakterlerini temizlenmiş olarak çıkartmak oldu. Bu aşama içerisinde oldukça başarılı sonuçlar elde edebildim. Ancak bu aşamadan sonra OCR işleminde YSA kullanıldığını öğrendim. Elimdeki kaynak miktarı sanırsam bir 200 Mb civarında. Onlarca tez, döküman, internet sayfası vs. Ama  üzülerek söyleyim ki bir çoğu kopyala yapıştır arasına birşeyler sıkıştır yazılmış. 

YSA'yı anlayamadığım için onunla ilgili her hangi bir algoritma ve  kodda türetemiyordum. Taaki sizin sitenizle karşılaşana kadar. Aslında algoritma olarak sizin sitenizden çok yararlandığım söylenemez. Ama YSA'nın ne olduğunu sizin siteniz sayesine öğrendim. Sitenizde ilgimi çeken bu alanla ilgili okumadığım bölümünüz yok. Elleriniz dert görmesin. Ancak ben 38 yaşından sonra yeniden yazılıma döndüm. Teknik olarak okuduğumu eksikleri tamamlama yöntemiyle anladığım bir ingilizcem ve kod olarakda VB.Net. 
Yazdıklarından da anlacağınız üzere, Kendisi benim yaşlarda çekirdekten yetişme, şevkli bir yazılımcıydı.  Hoş sohbetti. Bizimde ysa konusundaki yardımımızla,  o yıllarda bir plaka okuma yazılımı geliştirmeyi başardı. Vefakardı işi bitince bizi unutmadı, sonrasında da irtibatımız devam etti. Gerek online gerekse ankaraya gelikçe yüz yüze görüşmelerle muhabbetimiz devam etti. Çok girişken bir kişiliği vardı. Ben yıllarca dökmeye devam ederken o maceradan maceraya atıldı. Çok değişik alanlarda değişik yazılımlarla uğraşdı. Mesela Damda topraksız tarım işine girişti. Kendi elleriyle imal etti



otomasyonu için devreler kurdu programlar yazdı.

Firmasını  Mersin teknoparka'a taşıdı orada çalışmaya devam ediyordu.
 Keten Yazılım
En son temmuz ayında yazışmamızda
"akciğerde bir kitle tespit ettilerne olduğuna karar veremediler yarın bir docent muayne edecek"
diyerek sağlık problemlerinden bahsetmişti.  Bir kaç kez telefonla ulaşmaya çalıştıysamda, sonrasında görüşmemiz malesef mümkün olmadı.  Şimdide Geçen hafta cuma günü vefat ettiği haberi geldi.
Ben bir dostumu, ülkmizde çilekeş bir yazılımcısını kaybetti çok üzgünüz. Kendisine Allahdan Rahmet. Başta kızı olmak üzere yakınlarına başsağlığı ve sabır diliyoruz...

Salı, Ekim 10, 2017

Keras ile Duygu Analizi

Bir başka Keras uygulaması ile yine burdayız. Bu uygulamamız, doğal dil işleme ( NLP ) alanında olacak. Metinden duygu analizi  (Sentiment Analysis) üzerine bir çalışma yaptık.

Doğal dil işleme üzerine bir uygulama geliştirmenin ana zorluğu metinin sayılara dönüştürülmesi. Genel olarak kullanılan metodlar.
  • Kelimeler için vektör karşılığı ( WordVect)  hesaplamak ve bu vektörleri bir dizi şekilde vermek.
  • Kelimeleri bir dizi de tutup orda belli büyüklükte vektörlere eğitim esnasında çeviren Embeding katmanını kullanmak 
  • Metinin harf dizisi olarak düşünüp.  Her harfi harf sayısı kadar uzunlukta bir vectörle ifade etmek.
 Metinden duygu analizi çalışmalarında  genellikle verilen metnin olumlu yada olumsuz olduğunun tespiti üzerine çalışılır. Bizim kullandığımız veri seti de Twitlerin olumlu yada olumsuz olması hakkında.

Veri setimiz hakkındaki bilgilere ve verisetinin kendisine burdan ulaşabilirsiniz

thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/

Veri setimizde toplamda 1578624 adet kayıt var.
Olumlu   :    790184
Olumsuz :    788440
olumlu ve olumsuz nitelikli metinlerin sayılarıda aşğı yukarı eşit.

Biz metinin sayıya çevrilmesi için harf bazlı bir sistem uyguladık. Veri üzerinde herhangi bir filitreleme yapılmadı. Sadece küçük harfe çevrildi. Metinlerde geçen harler çıkarılıp birer sıra no karşılığla bir sözlükte -dict - tutuldu.
{'\t': 0,
 '\n': 1,
 ' ': 2,
 '!': 3,
 '"': 4,
 '#': 5,
 '$': 6,
 '%': 7,
 '&': 8,
 "'": 9,
 '(': 10,
 ')': 11,
 '*': 12,
 '+': 13,
 ',': 14,
 '-': 15,
 '.': 16,
 '/': 17,
 '0': 18,

...
Veri sadece Ağ yapısı olarak LSTM bazlı basit bir sistem kuruldu. LSTM de dizinin tersine sıralamasınıda hesaba katan Bidirectional katmanı ile birlikte kullanıyoruz.

 Layer (type)                 Output Shape              Param # 
===================================
bidirectional_1 (Bidirection (None, 150, 278)          310248  
_________________________________________________
bidirectional_2 (Bidirection (None, 278)               464816  
________________________________________________
dense_1 (Dense)              (None, 2)                 558     
________________________________________________
activation_1 (Activation)    (None, 2)                 0       
====================================

Total params: 775,622
Trainable params: 775,622
Non-trainable params: 0

Veri epey büyük olduğunda eğitim epey uzun sürüyor biz bir kontrol başarısı %85 civarında kesdik.
Çalışmamıza burdan erişebilirsiniz
github.com/birolkuyumcu/ddm_blog_examples/tree/master/sentiment
 Üzerinde çalışılması lazım elbette ama bence bu halide fena değil. Bir örnek verelim
"Got the Macbook Pro seller to send me the serial number of the machine before I paid.
Turns out its just a macbook so not buying it now"
 bu twit için  modelimiz.  0.623167 oranıyla olumsuz diye karar vermiş
aynı twitin başındaki kısmı alıp sorduğumuzda
"Got the Macbook Pro seller to send me the serial number of the machine "

haklı olarak  0.62573 oranıyla olumlu cevap vermiş.

Giriş niteliğinde, harf bazlı, LSTM içerikli bir çözüm. Bir başlangıç noktası olmasını umuyor, görüş ve önerilerinizi bekliyoruz...


Pazar, Ekim 01, 2017

Pooling Terimi hakkında...

Terimlerin dili bizim gibi üreten değilde takip eden topluluklar için  bir mesle olmuştur.  Bilimi , teknolojiyi geliştirenler , terimleride belirlemektedirler. Bizde ise genelliklede terimler olduğu gibi yada küçük değişikliklerle kullanıma giriyor.

Asla böyle bir şey olmamalı anlayışında değilim. Nitekim  teknoloji gibi yabancı tabir yaygın olarak kullanılmaktadır. Sonuçta kelimeler iletişim için kullanılır. Terimin ifade ettiği şeyi bilen insanlar için  kelimenin kendisinin pek bir önemi kalmamaktadır.  Eğer bir terim yeterince yaygınlaşmışsa onun kullanılması gerektiğini düşünüyorum. İlla Türkçeleştireceğim anlayışının çoğu zaman dilde fakirleşmeye sebep olacağını. Hatta asıl fonkisyonu olan iletişimi sekteye uğratacağını düşünüyorum. Mesela ; Teknik kitapların, yaygınlaşmış terimleri bilmeyen birisi tarafından tercüme edilmesiyle anlaşılmaz bir metne dönüştüğünü muhtemelen görmüşsünüzdür.
 
Yaygınlaşmamış bir terimin,  zamanında ve doğru bir şekilde türkçe karşılığının bulunmasının çok önemli olduğunu düşünüyorum.  Terimi ilk defa duyan bir insan o yabancı tabirin ifade ettiği şeyi öğrenir. Kelime sadece o kavramın bir etiketidir.  Türkçe karşılığın önemi burdan geliyor. Düzgün bir karşılık , türkçede ifade ettikkleri sebebiyle konuyu bilmeyen birisinede kavram hakkında bir şeyler anlatır. Bir önek vereyim "bisiklet" kelimesi bisikleti bilmeyen birisi için bir şey ifade etmez. Yabancı dildeki karşılığı bicycle - iki çember -   ile kaffasında hiç bilmeyene bile bir şeyler çağrıştırır.

Yaygınlaşmamış terimlerin türkçeleştirilmesinde yapılan bir hatada da kelime bazlı tercümeye kapılmaktan geliyor. Hatta bu yanlış, bilen insanları anlamsız karşılık yada orjinali arasında bırakıyor. Belkide pekçoğu orjinalini tercih etmek zorunda kalıyor.

Yapılması gereken ne peki derseniz. Benim görüşüm şu şekildedir. Tercüme yapanlar bilir bir kelimenin birden fazla anlamı vardır. Her anlamı bir birini karşılamaz. Doğru tercüme kavramı Türkçeye çevirmekden geçer.

Yapılan hatayı Derin öğrenme litaratüründeki  "Pooling" tabirine bulunan "Havuzlama"  karşılığı ile açıklayayım.

Gerçekte Pooling terimi neyi ifade eder.




Tercüme mantığı ne peki 
pool =  havuz 
pooling  = havuzlama
Önce çıkarımın yanlışlığına bakalım. Pool ne demek

Oksford Sözlüğünden bakıyoruz. link

iki ana anlamı olduğundan bahsediliyor ilk anlamı

1 ) pool  :  A small area of still water, typically one formed naturally.

Biz fiil olarak kullanığımızdan , fiil hali neymiş diye bakalım .

1 ) pool  Verb :  (of liquid) form a pool on the ground or another surface.

yani havuz yapmak anlamına geliyor. Pooling teriminin derin öğrenmedeki anlamını düşünürseniz. Bu anlamın bu kavramla alakasının olmadığını anlayabilirsiniz.

İkinci anlamına gelelim
2)  pool :  A shared supply of vehicles or resources to be drawn on when needed.
fiil hali
2) pool verb - with object  :   of two or more people or organizations) put (money or other assets) into a common fund.
bu anlamı bizim kavrama daha uygun gibi.

oksford sözlüğü direk pooling için ayrı bir anlam vermemiş. Cambridge sözlüğünde şöyle bir karşılık var
pooling : the act of sharing or combining two or more things

bu anlam aslında kavramın ifade ettiği şeyi hissettiriyor. Birden fazla şeylerin bir araya getirilip paylaşılması.

Gelelim  Türkçe tarafına ;

TDK sözlüğünden havuzun manasına bakalım peki
havuz
isim Arapça ḥavż
1. isim Su biriktirme, yüzme, çevreyi güzelleştirme vb. amaçlarla altı ve yanları mermer, beton benzeri şeylerden yapılarak içine su doldurulan, genellikle üstü açık yer
"Ben havuzu seyrederken o giysileriyle içine dalardı." - R. Mağden
2. Kum, asit vb. konulan çukur yer
"Kum havuzu."
3. denizcilik Büyük gemilerin onarılmak için çekildikleri yer
4. Bir amaç güdülerek farklı kaynaklardan gelen paranın ilgililere daha sonra paylaştırılmak üzere toplandığı belirli bir yer

Bu dört anlamdan olsa olsa sonuncusuyla bir nebze zoraki bir bağdaştırma yapabilirbiliriz. Ama bir başka problem daha var "Havuzlama" fiil olarak zaten TDK sözlüğünde mevcut.  Denizcilikte 3. anlamı için kullanılıyor. 
havuzlamak : Gemiyi onarmak için havuza çekmek
Zoraki bağdaştırma ancak kavramı bilen için bir anlam ifade eder. Doğrusu bulunan karşılığın Kavramı bilmeyen için kavram hakkında ip uçları verebilmesidir.

Sonuç olarak ;  havuzlamayı pooling karşılığı olarak kullanmayı doğru bulmuyorum. Ne saçma türkçe karşılıları savunmak nede olduğu gibi bırakmak doğru değil. Benim tercihim ya doğrudan pooling diyorum yada ebat küçültme yada  örneklem tabirini kullanıyorum.

Pazar, Ağustos 27, 2017

Derin Öğrenmede Kütüphane Savaşları 2


 TensorFlow

TensorFlow  kütüphanesi bir Google ürünü. Açık kaynak kodlu ticari kullanıma uygun lisanslı. Geç çıkmasına rağmen, Google'ın iteklemeleriyle - destek kelimesi az gelir diye böyle yazıyorum - epey bir öne çıktı. Derin öğrenmeyi ilk farkeden şirketlerden olması sebebiyle firmalarında bu işle uğraşan epey insan vardı. Bunların hemen hepsi - el mahkum -  tensorflow'a geçti. Theanonun üstünde çalışan popüler kütüphane Keras'ın geliştiricisini işe aldı. Keras theanodan sonra tensorflow üzerinede çalışmaya başladı. Hızını alamadı, Kerası bir alt küme halinede getirdi.
Tensorflow'u bulut da daha bir hızlı çalıştıracak donanım çıkardı tensor processing unit. Bu adımıyla hem NVIDA hemde Amazona tehdit oluşturdu.
İşin ticari yönündeki gelişmeleri öngördü. Yapılacak uygulamaların çoğunun web tabanlı servis olarak sunulacakdır. Bir strateji kurdu,  tensorflow yaygınlaştırılacak. Eğitilmiş modelleri sunan sistemler kurup ordan para kazanmak. Nitekim Algorithmia - open marketplace for algorithms -  google dan yatırım aldı
Sonuç olarak Google 'ın Vakti zamanında Microsoftun yaptığı tekelci hamlelerini andıran davranışlar sergilediğini düşünüyorum. Tensorflow hakkında teknik hiç bir söylemiyorum çünkü Yukarda bahsettiğim davranışları antipatik bulduğumdan hiç kullanmaya niyetlenmedim. Bence Tensorflow popülerliği zorakidir. Piyasadaki diğer kütüphanelerden olan üstünlüğüyle değil google'ın diretmesiyle bu haldedir. Tavsiye etmiyorum

CNTK 

Microsoftun  kütüphanesi ismi  "Microsoft Cognitive Toolkit"  olarak değiştirildi. Microsoft da derin öğrenmeye erken girişen firmalardan. CNTK 'yı denemek için niyetlenip incelediğimde tuhaf bir lisansla karşılaştım.
CNTK-1bit-SGD-License
ve vazgeçtim. Google ile aynı niyetle çalışmalarını sürdürüp ürününü popülerleştirmeye çalışıyor.
Reasons to Switch from TensorFlow to CNTK
 Programcıların gözdesi Kerasa da el  attılar tıpkı google gibi...


Using CNTK with Keras

Yine google gibi donanım işine el attılar TPU ya alternatif FPGA yi de öne sürüyorlar.
Rekabetten Kerasın güçlenmesini sevinsemde doğrudan CNTK yı tavsiye etmiyorum.

MxNet


Önceleri gariban şimdilerde Amazonun  desteklediği  bir kütüphane. 

MXNet - Deep Learning Framework of Choice at AWS

Apache da destekliyor

MxNet sponsored by the Apache Incubator
Eskiden beri windows desteği olan. Hatta  derlenmiş dağıtım sunan çok beğendiğim bir kütüphane. Derin öğrenmeye ilk başladığımda üzerinde denemeler yaptım. İlla python diye ısrarı yok   C++, R, Js,Julia hatta go ile yazabiliyorsunuz. Modaya uyup Kerasın altında çalışmaya adapte edildi.
Yanlız kerasın eski versiyonu üzerinde çalışıyor nedense. Yeni versiyon için desteğinde geleceği söyleniyor. 
MxNet ile devam etmemiş olmam yeterli dökümantasyon ve örneğin olmamasıydı. Yeni desteklerle bu eksikliklerini tamamlıyor gibiler.  Bir gözünüz MxNet te olsun derim ben...

Keras

Popüler üst düzey programcıların gözdesi  python kütüphanesi . Kullanımı çok kolay. Öğrenmesi kolay. Örnek ve destek çok.

Sonuç olarak Kerası kullanıyorum ve tavsiye ediyorum.
Elbettte eksiklilkeri var.
 Keras üst  düzey bir kütüphane, çalışabilmesi için altta başka bir kütüphanenin - backend- çalışıyor olması lazım.  Hali hazırda Theano , Tensorflow, CNTK  kütüphaneleri bu işlevi yerine getiriyor. MxNet 'in de eli kulağından  kerasın eski versiyonu için adapte edildi. yeni verisyonu için çalışmalar yapılıyormuş.  Allta çalışan kütüphanelerin sebep olduğu sıkıntılar

Eğittiğiniz modeller altta çalışan kütüphaneye göre değişiyor. Python dışında çalıştırmak için de genel resmi bir  çözüm yok malesef. (şunlar var ;  kerasify , keras2cpp )
Yeni katman tipleri yazmak gerektiğinde , genellikle kerasın imkanları yerli olmuyor. Altta çalışan kütüphaneyide biliyor ve iyi bir şekilde kullanabiliyor olmanız lazım.
Çok büyük veri setleri için modele hızlı veri besleme için dahili bir çözüm yok malesef.
Multi GPU desteği henüz yok sayılır. ( Mxnet le birlikte gelecek gibi görünüyor  bakınız )

Burda bahsedemediğimiz pek çok irili ufak kütüphanede vardır elbette. Biz hakkında az çok bilgi sahibi olduğumuz nispeten daha yaygın olanlardan bahsettik.

Şirketlerin Konumları

Kütüphanelerin savaşları dedik.  Durumu  savaşa ! çeviren şirketlerin taraf tutarak diğer seçeneklere karşı olmaları. Kütüphaneleri anlatıren bahsettik ama burda şirket şirket bir adaha yazayım. Beleşe tavsiyelerde bulanayım dedim

Google :  

Google bence yanlış yapıyor.  Tekelci bir anlayışla davranmanın kazandığın durumda şirket için iyi olması yapılan şeyin doğru olduğunu  göstermez. Tensorflow'u destekleyebilirsiniz ama diğerlerini ezmeye çalışmak doğru değildir. TPU  üretmek ve piyasaya sokmak isteyebilirsiniz ama diğer kütüphaneler ile kullanılabilecek alt yapıyı sağlamalısınız. Hiç olmadı Kerasa destek olmazız lazım.

Quaradaki "Is Google an evil company?" sorusuna şöyle bir cevap gelmiş
"The only significant difference between a kitten and a tiger is that the tiger is bigger"
Eğer kaplan büyüklüğündeyseniz hareketlerinize daha çok dikkat etmeniz gerekir. Aksi halde sorunun cevabı Yes olur.
  

Microsoft:

Google dan önce kaplan olmuş :) ve "Is Microsoft an evil company" sorusuna Büyük bir Yes cevabı almış ve bunun ceremesini yıllardır çeken bir firmadır. Google a göre daha temkinli davranmayı öğrenmiştir. Linux'a kapılarını açmış ordada iş yapmaya -Azure- başlamıştır.  Ortada bir sürü lisansı uygun kütüphane varken kendi yayınladığı ve yaygınlaşması için uğraştığı kütüphanenin bir kısmına Tuhaf bir bir lisanslama niye ayağına kurşun sıkar anlamış değilim...



NVDIA:

Derin öğrenmenin motor gücünü oluşturan GPU ların üreticisi olarak hemen her kütüphaneye destek veriyor. Verdiği desteklerin kütüphanelere zarar vermemesinide temin etmesi lazım diyorum. Digits altında kullanmak için değiştirdiği caffe sürümünü, ana geliştiricilerle ortaklaşa hazırlasaydı, şimdi caffe deki bu dağınıklık olmazdı muhtemelen.


Amazon:

İşlerinin bir kısmına gözünü dikmiş şirketler var ve Koştura koştura çalışıyorlar. Geç  farkına vardılar. MxNet i destekleme kararı aldılar ama bence yeterli destekde bulunmuyorlar halen.


Facebook:

Çok güzel bir ekip kurdular. Çok güzel çalışmalar da yapıyorlar.  Caffe2 ve Torch 'un arkasında durdular. İkisi içinde daha çok çalışmaları lazım. Torch lua sebebiyle popülerliğini kaybetti. Caffe2 ve PyTorch yeni çıktı sayılır. Yaygınlaşabilmeleri için epey bir emek lazım. 


Intel:

Ne yaptıkları belli değil. Beleş tiyolar verelim. 
Kütüphanelerin  cpu optimize halini çıkarmaları hikayedir. Paralel işlem yapabilen donanımlar geliştirip. Bunlara kütüphanelerin kolayca uğraşacağı ara kütüphanelerini yazmaları zorunludur.  Mesela NVDIA nın cuDNN kütüphanesi gibi .
cuDNN, hemen her derin öğrenme kütüphanesinde gpu için kullanılmaktadır. Intelde kendine bir yol seçmeli (OpenCL bazlı gpu larmı olur mi olur Yoksa FPGA mı olur )  
Sonra ona uygun ara kütüphane çıkarmalı
CL_DNN mi olur artık FPGA_DNN mi
Kütüphanelerin kendi donanımlarına adapte edilmesi için destek vermeli
piyasaya girmelidir. 
Hiç bir şey bilmiyorsa Theanoya ve libgpuarray'a destek verimesi lazım.


Son Söz 

Epey bir dağınık oldu kusura bakmayın.  Pek çoğuda şahsi görüş ağırlıklı oldu, o nazarla bakın. Her türlü eleştiri ve önerinizi bekleriz....

Cumartesi, Ağustos 26, 2017

Derin Öğrenmede Kütüphane Savaşları 1

    Artık derin öğrenme - deeplearning- çok moda bir kavram oldu. Her tarafta hakkında bir şeyler söyleniyor. Hiç aklınıza gelemeyecek konularda uygulamalar görüyorsunuz duyuyorsunuz.

Piyasadaki çoğu derin öğrenme kütüphanesi  -framework- açık kaynak kodlu ve ücretsiz kullanıma uygun lisanslı olarak bulunuyor.  Büyük şirketler, İlk etapta para kazanamasa bile, yaygınlık kazanacak , piyasada hakim konuma sahip framework'un sahibi yada hamisi olmak  istiyorlar.  Bunca popülerlik büyük şirketlerinde iştahını kabartıyor yani. Buda  savaşın daha da şiddetleneceğini gösteriyor.

Benim bakış açıma göre savaşın taraflarından ve kütüphanelerden bahsedeyim dedim.
Savaşın taraflarından olan başlıca şirketler ; Google, Facebook, Microsoft, Amazon, Intel...
kütüphanelerle ilgilir görüşlerimler şirketlerin konumlarından da bahsedeceğiz.

Caffe / Digits / Caffe2

Caffe piyasanın en eski kütüphnelerinden  C++ / Cuda temelli. Çoklu GPU deseteği var. Görüntü tabanlı problemler için oturmuş bir yapıda.  Bence ticari olarak doğrudan uygulamaya girebileceğiniz bir kararlılıkta. Benim için en büyük avantajlarından biride windows desteğinin olması. Intelin CPU optimize versiyonu da var. Caffenin OpenCL versiyonuda var.

Digits, NVDIA nın  daha çok Caffe tabanlı  belkide piyasada bulabileceğiniz yegane sağlam GUI . Kod yazma işleri ile fazla boğuşmaya gerek olmadan  yine görüntü tabanlı projeler için kullanabileceğiniz bir program.
  • Nesne Tanıma  - Object Recognition -
  • Nesne Bulma  - Object Detection -
  • Semantik Bölütleme  - Semantic Segmantation -
gibi problemler için doğrudan çalışmaya başlaya bilirsiniz.  Üstelik ülkemizde NVIDIA Deep Learning Institute (DLI) den sertifika alabileceğiniz eğitimi de var. bakınız 
openzeka.com/egitim/  

Caffenin eksikliklerinden bahsedelim.

1) Caffe malesef merkezi güçlü bir yönetime sahip olamadı. Pek çok değişik insan caffe bazlı pek çok değişik çalışma yaptı. Ama bu çalışmalar bölük pörçük sağda solda duruyor.  Ana kod deposuna vakti zamanında birleştirmeler yapılmadığından şimdi istensede bir araya gelemiyor.  Hatta NVDIA bile kendi caffe versiyonunu oluşturdu. Derin öğrenme çok hızlı gelişen bir alan olduğundan kütüphanenin güncel gelişmelere çok hızlı adapte edilmesini gerektiriyor.

2)  Görüntü dışı uygulamalar için gereken yapılar çok geç kütüphaneye dahil edilde ve halen çokda dökümante edilmedi. RNN yapıları gibi. Bu tür ihtiyaçları olan insanlarda başka kütüphanelere yöneldiler.

Caffe2, Başda Facebook olmak üzere değişik firmalar tarafından piyasaya sürüldü. Caffenin popülerliğinden de faydalanarak  daha çabuk yayılmayı hedefleyen bir proje. Vaadleri oldukça parlak;
mesela mobilde çalışma desteği. Henüz deneme şansını bulamadım ama caffe kullanıcısı olarak beni cezbeden bir yanı var.


Torch / PyTorch

Torch aslın da epey eski bir Yapay Öğrenme (ML) kütüphanesidir. Hatta torch'u temel alan bir bilgisayarlı görü kütüphanesi TorchVison hakkında bir yazı yazmıştık. Torch kütüphanesi zamanla değişti. Lua temelli scriptlerle çalışır hale geldi ve Derin öğrenmenin öncüleri tarafından da yaygınlıkla kullanıldı. C / Cuda temelli yapısı ile pek çok ortamda çalışabiliyor. Facebook 'un desteklediği bir proje. Artık windows desteğide varmış. Şahsi fikrim Lua bana sevimli gelmedi. Gerek Yapay Öğrenme gerekse Derin Öğrenmede ana tercih edilen dil python. Bu yüzden hiç kullanmayı düşünmedim.

PyTorch ; Lua dez avantajının onlarda farkına varmışlarki  PyTorch 'u çıkardılar. Çok övülen bir kütüphane ama yolun başında ve Yarışa epey geç katıldı. Halen Windows desteği yok...


Theano

Piyasanın eskilerinden ve malesef garibanlarından. Python temelli esnek bir yapısı olan bir kütüphane. Gariban çünkü doğrudan destek veren büyük bir firma yok. Windowsda kolaylıkla çalıştırabiliyorsunuz.  GPU desteği konusunda bir çalışması - libgpuarray  - var.  Cuda yada OpenCL de de çalışıyor. Türkçesi şu NVDIA gpunuz olmasada, diğer firmaların ürünleri ile derin öğrenmede  GPU kullanabiliyorsunuz. Doğrudan kullanmadım ama Keras 'ın altında theanoyu tercih ediyorum.

devam edecek...