Pazartesi, Ocak 22, 2018

Bir derin öğrenme deneyi ( dropout ve batch normalization )

Derin öğrenme artık hemen her alanda kullanılmaya başladı. Popüler oldular çünkü yapay öğrenme algoritmalarından en güçlüsü olduklarını kanıtladılar. Buraya şöyle bir not düşeyim güçlü olması her zaman en doğru çözüm olmasını gerektirmiyor. Neyse konumuza dönelim.  Gerçek bir uygulamaya başlayan insanların hemen farkına varacağı tuhaf bir durumu var. Ağ yapısının bir standardı yok. Çeşitli uygulamalar için başarılı olmuş modeller var elbette.  Lakin "benim şöyle bir problemim var buna en UYGUN ağ yapısı nedir ?"  sorusunun  bir cevabı yok.
Problem, ağın sadece yapısında değil. Standart bir ağ yapısıda kullansanız ;
  • bazı katmanların varlığı yada yokluğu,  ( batchnormalization, dropout, pooling,...)
  • bazı katmanların çeşitleri ( relu , elu,.... )
  • hiper parmetrelerin değerleri. ( filtre büyüklükleri, sayıları , ... )
  • Ağ parameterelerinin başlangıç değer atama metodları ( gaussian , xaiver,... )
  • vs ..
gibi pek çok konuda belirsizlikler var. Bu gibi belirsizlikler alanı  tecrübi yani deneysel hale getiriyor.
Lafı çok dolandırmadan devam edelim. Geçen hafta sonu bizde gpu nun boşkalmasından istifade bir deney yapalım istedik.

Deneyimizin konusu Droput ve BatchNormalization denen  katmanlar hakkında.
Kısaca bahsedelim;


Dropout Katmanı  ; Ağ içindeki bazı bağlantıların kaldırılmasıyla  eğitim performansı artacağı varsayılıyor.  Dropout katmanına  0 dan büyük 1 den küçük bir oran veriyorsunuz. Eğitim esnasında bu oran miktarındaki bağlantıyı rastgele kapatıyor.

Batch Normalization ;  Ara Normalizasyon diyeceğiz. Normalde ağın girişini ve çıkışını başlangıçda normalizasyon işlemine sokmanız zaten gerekiyor. Ama ağın içinde işlemler sonucunda da veri dağılımı değişebiliyor. Bu katmanda ağın katmanları arasındaki geçişde verileri normalize ediyor. Olumlu etkilediği söyleniyor.
Deneyimiz için cifar 100 veri setini seçiyoruz. 
bakınız 
www.cs.toronto.edu/~kriz/cifar.html

32x32 lik renkli görüntülarin 100 sınıf için sınıflandırılmasını gerektiren bir veri seti.
Ağ yapısı olarakda VGG benzeri bir ağ yapısı kullanacağız. Şöyle;


 Deneyimiz de  bu ağ yapısında dropout katmanına  sırasıyla  [0.1,0.2,0.3,0.4,0.5] değerlerini vereceğiz ve Bunu hem ara normalizasyon  - Batch Normalization - katmanı varken hemde yokken   deyeceğiz. Sonuçlara bakacağız. Yani Toplamda  5x2 = 10 defa cifar 100 verisi için ağı eğiteceğiz.
  • Ağı eğitmek için maksimum epoch değeri olarak 250 yi seçdik. 
  • Erken durma - Early Stopping - işleminide koyduk. 13 kez Test başarımında - validation acccuracy - bir iyileşme olmuyorsa eğitim sonlandırılıyor.
  • Öğrenme hızınıda Test Başarımına  bağladık. 3 epoch boyunca  Test başarımında bir düşme olmuyorsa öğrenme hızımızı yarıya düşürüyoruz.
  • optimzasyon algoritması için "adam" kullandık
  • batch size : 128
  •  loss='categorical_crossentropy' 
  •  metrics=["accuracy"]
Ara Normalizasyon  olmaksızın sonuçlar


Ara Normalizasyonlu sonuçlar


başlıkların anlamlarını verelim
  • 'Dropout' ; dropout oranı 
  • 'MaxAccuracy' ; Eğitim esnasında ulaşılan maksimum Başarı değeri 
  • 'MaxValAccuracy' ; Test verisiyle ulaşılan maksimum Başarı değeri 
  • 'MinLoss' ;   Eğitim esnasında ulaşılan minimum Hata değeri 
  • 'MinValLoss' ; Test verisiyle ulaşılan minimum Hata değeri
 Başarı değerinin büyük hata değerin küçük olması daha iyi. Problemimin sınıflandırma olduğundan başarı değeri daha önemlidir. Başarı değerininde Test için olan değeri daha anlamlıdır. Ağ yapıları çok güçlü olduklarından veri setiniz büyük bile olsa ezbere kayabilmekdedirler. Tablolarda en iyi değerleri kırmızı olarak yazdırdık.

İlk tabloda gördüğümüz gibi dropout oranı arttıkça Eğitim başarısı  düşüyor. Fakat 0.2 ye kadar Test verisi başarısını artırıyor. 

İki tabloyu karşılaştırdığımızda bariz bir şekilde görüyoruz ki ara normalizasyon eğitimimizi olumlu etkilemiş

Ara normalizasyonlu tabloda  dropout oranı arttıkça Eğitim başarısı  düşüyor. Fakat 0.4'e kadar Test verisi başarısını artırıyor. 

 Ezberleyince eğitim grafiğimiz nasıl oluyor bakalım
Başarı grafiği


Hata değeri grafiği

Eğitim başarı değerimiz 0.99 sevyesine çıkmasına rağmen test  başarı değerimiz 0.45 civarında kalıyor.

deneyimizdeki en başarılı test değerine 0.4 dropout ile ulaşılmış 0.589 Ama 0.3 de ona çok yakın bir değer vermiş 0.585 aslında ralarındak fark çokda büyük değil. Eğitim başarısına bakarsak.
0.3 için 0.962
0.4 için 0.911
Bence 0.35 dropout değeri ile yeniden bir eğitim yapmak lazım.  İlla birini seçeceksen 0.3 dropout değerini seçeriz.  En başarılı sonucumuzun grafiklerinede bakalım
Başarı Grafiği





Özetlersek ;
  • Ara Normalizasyon iyi etkiliyor
  • Dropout u kullanmak lazım ama fazlası zarar 
  • En başarılı modelimiz bile 0.60 başarı sevyesine ancak geliyor başka bir ağ yapısını denemek lazım
Bizden bu kadar.  Akadamik camiadan  daha geniş deneysel çalışmalarıda bekliyoruz...

Perşembe, Ocak 18, 2018

OpenZeka MARC Mini Otonom Araç Yarışması





Duyanlarınız vardır muhakkak ,MIT de önderliğinde ABD de  Mini otonom araç yarışması düzenlenenmektedir. 
Bu yarışmanın Türkiye versiyonu ilk defa düzenleniyor.  Türkiyede bu  sorumluluğun altına OpenZeka firması girdi. OpenZeka, Türkiyede derin öğrenme farkındalığının öncülerinden olan Ferhat Kurt beyin bir girişimidir.

OpenZeka Marc
En son teknoloji ürünü sensör ve yapay zeka algoritmalarını kullanmak ve uygulama geliştirmek,
Takım çalışması ve takımlara arası etkileşim kültürünü artırmak,
Kendine güvenen ve robotik alanında ülkemizi temsil edecek genç girişimcileri yetiştirmektir.

Bu yarışmaya katılan takımlara yarışmada kullanılacak mini otonom aracın tasarımı ve yapay zeka algoritmalarının kullanımı konusunda ücretsiz eğitim verilecektir.

Open Zeka, bu yarışmayla yakın gelecekte hayatın her alanında yer bulacak otonom sistemleri tasarlama ve algoritma geliştirme seviyesini lise düzeyine indirerek ülkemizde teknoloji firmalarının ihtiyaç duyacağı otonom sistemleri geliştirebilen insan kaynağını oluşmasına katkı sağlamayı hedeflemektedir.
diye  anlatılmış etkinliğin web sayfasında. Bizcede Bu yarışma,Yapay Zeka ve uygulamaları konusunda bir sosyal sorumluluk projesidir.


Etkinlik kapsamında verilecek eğitimler için elimizden geldiğince yardımcı olmaya çalıştık.

Etkinlik kapsamında
  • ROS, 
  • kontrol teorisi
  • lidardan veri okuma
  • lidar verisiyle duvarı takip
  • Kameradan veri okuma 
  • Renk Filtreleme 
  • Duba takibi ( Renk  Filtreleme )
  • Parkur ve joyistik kaydı
  • Kayıtı kulanarak Derin Öğreneme Modeli Eğitimi
  • Eğitilmiş Model ile aracın otonom olarak parkurda hareket etmesi
Anlatıldı. Bizde  OpenCv anlattık ve Derin Öğrenme modeli için veri seti toplama, eğitme ve eğitilmiş modelin kullanımı konusunda yardımcı olduk. Pek çok ilgili bilgili insanlarla tanışıp, konuşmakda ayrıca mutlu etti bizi.

Yarışmalar önümüzdeki ay başlayacağını burdan duyurmuş olalım.

Yarışmanın ülkemiz açısından önemi büyük,  pek çok kesimde bilgi birikimi ve tecrübe kazanma vesilesi olacak bir etkinlik.   Bu yüzden uzun ömrülü bir etkinlik olmasını arzu ediyoruz.  Yapay Zeka konusunda  ilgili herkesinde destek olmasını canı gönülden istiyoruz.

Salı, Ocak 16, 2018

2017 de neler yaptık

2018 in ilk yazısı olarak geçen sene neler yaptığımıza dair bir yazıyla başlamak istiyorum.  Öncelikle blogdan başlayalım.

Blog da yine uygulamalı ve pratik örnekler vermeye çalıştım. Yazılarımızın pek çoğu Derin öğrenme ile ilgiliydi.  Derin Öğrenme ile ilgili pek çok kütüphane ortaya çıkdı. Avantajlar , dezavatajları neler, Hangisini tercih etmek lazım ? gibi sorulara cevap niteliğinde  yazılar yazdık


Özetle Elbette Caffede kullanıyoruz ama tercihimizi Keras dan yana yaptık.  Bu yüzden  Caffenin yanı sıra bu yıl Kerası da kullanmaya ve öğrendiklerimi anlatmaya başladım
 ilki temel açıklamalar hakkında bir giriş yazısı ikincide LSTM anlatılıyor ve zaman serisi ile bir uygulama yazıyoruz.

 
Semantik bölütleme bilgisayarlı görü ile ilgili autoencoder denen bir Ağ tipiyle Uydu görüntüsünden bina bulma işlemi yapdık. 



Duygu analizi diye geçen yazıdan Doğal dil işlemenin bir uygulamasını yapıyoruz.

Caffe ilede ilgili iki yazımız var
 İlkinde FCN ağ yapısında hazır bir caffe modelinin kullanımıyla semantik bölütleme yapılıyor.
Ağ yapısından bahsediliyor.

İkicisi aslında Caffe modellerini görselleştirip hangi katmanda neler oluyor görebilmemizi sağlayan bir uygulama.





 Açık kaynak kodlu bir proje olarak paylaşıyoruz.


 Elbette OpenCv hakkında da yazılar yazdık
 Yazılar  OpenCv nin pythondan kullanımı ve Derin Öğrenme modellerinin opencv içinden çağrılmasıyla ilgili.


Bu rda bahsettiklerimiz dışında da yazılarımız var. Bu senede klasik olan şey malesef  yine ilgi çok tepki yok  durumunun devam ediyor olması. Ben yinede hatırlatmış olayım her türlü görüş önerilerinizi bekleriz.

Cumartesi, Aralık 09, 2017

Eski Kodlar...

Blogdaki eski yazılarımız halen okunuyor ve paylaştığımız kod ve dökümanlara ulaşılmaya çalışılıyor.  Zaman zaman ulaşılamadığına dair yorumlar ve iletilerde geliyor.

Neler varmış mesela











FAQ kısmımızda bahsettik burda yine tekrarlıyalım. Eski kodlarımızı genelikle "Google-Code"  projesi olarak yayınlıyorduk. Google bu hizmetini kaldırdı hali hazırda sadece eski projeleri indirmek için kullanabiliyorsunuz. 
code.google.com/archive/p/derin-deli-mavi/
Ama buda bir süre sonra tümden kaldırılacak.
Bizde halen kullanılabilecek fadalana bileceğinizi düşündüğümüz kodları githubda bir proje açıp içine aktardık
github.com/birolkuyumcu/ddm_projects_old
Bu github kod deposudan ulaşabilirsiniz...

Çarşamba, Aralık 06, 2017

OpenCv ve Derin Öğrenme

OpenCv nin yeni versiyonundan bahsetmiştik.
Windowsda Python için OpenCv kurulumu
En büyük yenilik  Derin öğrenme modellerini  opencv içinden çalıştırmanıza imkan  sağlayan DNN  modülünün, ana dağıtıma eklenmesi olmuştur.  Halen yoğun bir şekilde geliştirilen bir modül. Derin öğrenmenin üst düzey popülerliğinde  opencv camiasıda buna kayıtsız kalamazdı. Bizde bu yazımızda bu modülü kullanan bir örneği anlatıp paylaşacağız.

Öncelikle DNN den bahsedelim. OpenCv nin DNN modülü genel bir ihtiyaç aslında. DNN ağlarını eğitmek için pek çok kütüphane meydan çıkdı. Her birsinin değişik iyi ve kötü yanları var. Bizde iki yazıyla bu konudan bahsettik
Derin Öğrenmede Kütüphane Savaşları 1 , 2
Bir başka ve daha yaygın ihtiyaç daha var. Eğitilmiş modellerin kullanılması. Elbette kendi kütüphaneleri içinden kullanmanız mümkün. Ama hem caffe, hem torch , hem tensorflow  kütüphanesini kullanmak istersek ne olacak ? her birisiyle ayrı ayrı uğraşmak yerine bir kütüphane olsa eğitilmiş modelleri sadece çalıştırmak için kullanabilsek.  İşte OpenCv de DNN tamda bu iş için geliştiriliyor. Şimdilik en büyük eksikliği sadece cpu üzerinden çalıştırılıyor olması. Halen vadettiklerini hepsini gerçekleştiremiyor ama yoğun olarak geliştiriliyor.

Gelelim DNN örneğimize. Biz bu yazımızda bir nesne tespit ağı olan SSD nin hafif versiyonu Mobil SSD ağını çalıştıracağız.
SSD bahsedelim ,  Single Shot MultiBox Detector   kelimelerinden oluşturulmuş bir kıslatma.
2015 yılında,  Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg  kişiler tarafından yayınlanan
SSD: Single Shot MultiBox Detector
makalesiyle ortaya çıktı. Ağ yapısı

başlangıcı VGG sonunda ise nesne sınıfı ve konumunu gösteren çerçeve veriyor.



Ana SSD github sayfası
github.com/weiliu89/caffe/tree/ssd
Bizim bu gün kullanacağımız Mobile SSD github sayfası
 github.com/chuanqi305/MobileNet-SSD
 Gelelim koda ;

Kodu kullanabilmeniz için OpenCV  3.3 ve üstü lazım.

OpenCV de caffe modeli kullanabilmek için  2 dosya lazım
  • Ağ yapısını tutan prototxt dosyası
  • Eğitilmiş Ağ ağırlıklarını içeren caffemodel uzantılı dosya

cv2.dnn.readNetFromCaffe fonksiyonuyla bu ikisini kullanarak ağı  oluşturyoruz.



Ağı çalıştırmak için kullacağımız görüntüyü öncelikle ağın giriş ebatına (300x300) çeviriyoruz. Sonrasında görüntüyü cv2.dnn.blobFromImage fonksiyonuyla blob a çeviriyoruz.  Oluşturduğumuz ağ nesnesine bu blobu verip ağı çalıştırıyoruz.


Çalışan ağ bize tespit ettiği nesneleri ve konumlarını ve tespitin eminlik değerini verir. Bundan sonrasında resim üzerinde çerçeve ver sınıf bilgilerini yazdırıyoruz.



Koda OpenCv kitabının kodlarının python versiyonlarını yazdığımız 
github.com/birolkuyumcu/opencvbook_python
ders 13 olarak ulaşabilirsiniz
her türlü görüş ve önerilerinizi bekleriz





Perşembe, Ekim 26, 2017

Levent Ali Keten 'nin hatırasına....

Levent ile tanışıklığımız 2009 yılına dayanıyor. Her şey aşağıdaki ilk e-posta ile başladı



Merhabalar, 

...

Sizin de bir yazınızda belirttiğiniz gibi yazılım, içimde hep ukte kalan birşeydi. 1990 yılında üniversiteyi kazanınca yazılımı bıraktım. Üç yıl öncesine kadar da yeniden elime almadım. Yazılıma Commodore 64 le, basicle başladım. Sonraları cobol, ne yazdığımı hatırlayamayacak kadar C. Orta okul dönemim elektronik sevdasıyla geçti. Evde bozmadığım birşey kaldı mı hatırlamıyorum. Ama bir sürü de şey yapmıştım. Sanat okulunu 2.likle kazandığım halde 1. ye bölüm değiştirme hakkı tanıdılar bense tercih sebebiyle Tesviye bölümünde okudum. Sonra onu çok sevdim. Makinalar, çalışmaları hep merakımdı çünkü. Çok iyi bir tesviye eğitimi aldım. Ancak üniversitede matematik eksikliğim yüzünden Turizm Eğitimi bölümünü kazandım. Kısacası devletin bana eğitimim için yaptığı tüm yatırımlar boşa gitti. Elektronik okuyamadığım için tornacı, mühendis olamadığım için turizmci, turizmi sevmediğim için de bilgisayarcı olmuştum. Ama yazılım hep ukte kalmıştı içimde. 

Bu hayatta neyi istediysem Allah'tan hepsinin sahibi oldum. Söke söke aldım hayattan her istediğimi. Uzunca bir bilgisayar satıcılığından sonra, sektörün artık tekel büfeleriyle yarıştığı dönemde kapadım işyerimi. Ankara'ya gidip 6 ay boyunca yazılım kursu aldım. Dot.Net. İyi bir yazılımcıyım. İyi bir algoritma mantığım var. Eğitimden sonra birkaç yazılım yapıp sattım. Fizik tedavi merkezlerine. Ancak sağlık bakanlığı 1 yıl içinde öyle kararnameler çıkardı ki, yazdığım tüm yazılımı iki kez yazmak zorunda kaldım. Sonra kararnamelere yetişemeyince, sağlık alanını bıraktım. Çünkü ekip kurmaya ne maddi gücüm yetiyordu, ne de bu ülkede ortak iş mantığı gelişmişti. Sonra iki yıl Eskişehir'de kaldım. Birkaç firmaya birkaç yazılımdan sonra doğduğum yere, Mersin'e geri döndüm. Burada da aklımdaki projeleri hayata geçirebilmek için, hayatımı idame ettirebilecek bir ek gelir adına web tasarımları yaptım. En son 5 ay önce  Mersin Büyükşehir Otogar'ına otomasyon sistemi yazma işini almam, sizinle tanışmaya kadar getirdi işleri.

Muhasebe otomasyonunu yazdıktan sonra, benden kapı girişlerinde plaka tanıma sistemi olmasını istediler. Herkesin belirli alanlarda uzmanlaşmasını her zaman benimsemişimdir. Bu yüzden bu komponenti yazan bir firmadan alıp kullanmak istedim. İşte herşey ondan sonra başladı. Bu komponenti yazan firmalar, ya komple sistemi satıyorlardı, ya da 5 bin euro istiyorlardı. Ne yalan söyleyim, bu güne kadar 5.000 euroluk bir yazılım işim olmadı. Hele ki Anadolu'da bu fiyat!

En son görüştüğüm bir İstanbul Teknopark firmasına, yaptıklarının yanlış olduğunu, bu komponentin binlerce kullanım alanı olduğunu, bu fiyata sattıkları sürece bu alanlarda bunların kullanılamayacağını, bunun aynı zamanda binlerce istihdamı önlediğine varana kadar konuşmalarım boşunaydı ve en son dalga geçer gibi, bu komponenti 4 yılda bilmem kaç mühendisle, profla yazdıklarını, bunun öyle benim yazdığım yazılıma benzemeyeceğini küçümser bir tavırla söylediklerinde, bende "e bizde oturur kendimiz yazarız" dedim ve hiç alanım olmayan görüntü işlemeye dalmış oldum böylece.

3 aydır kısıtlı kaynaklarla geldiğim aşama plaka karakterlerini temizlenmiş olarak çıkartmak oldu. Bu aşama içerisinde oldukça başarılı sonuçlar elde edebildim. Ancak bu aşamadan sonra OCR işleminde YSA kullanıldığını öğrendim. Elimdeki kaynak miktarı sanırsam bir 200 Mb civarında. Onlarca tez, döküman, internet sayfası vs. Ama  üzülerek söyleyim ki bir çoğu kopyala yapıştır arasına birşeyler sıkıştır yazılmış. 

YSA'yı anlayamadığım için onunla ilgili her hangi bir algoritma ve  kodda türetemiyordum. Taaki sizin sitenizle karşılaşana kadar. Aslında algoritma olarak sizin sitenizden çok yararlandığım söylenemez. Ama YSA'nın ne olduğunu sizin siteniz sayesine öğrendim. Sitenizde ilgimi çeken bu alanla ilgili okumadığım bölümünüz yok. Elleriniz dert görmesin. Ancak ben 38 yaşından sonra yeniden yazılıma döndüm. Teknik olarak okuduğumu eksikleri tamamlama yöntemiyle anladığım bir ingilizcem ve kod olarakda VB.Net. 
Yazdıklarından da anlacağınız üzere, Kendisi benim yaşlarda çekirdekten yetişme, şevkli bir yazılımcıydı.  Hoş sohbetti. Bizimde ysa konusundaki yardımımızla,  o yıllarda bir plaka okuma yazılımı geliştirmeyi başardı. Vefakardı işi bitince bizi unutmadı, sonrasında da irtibatımız devam etti. Gerek online gerekse ankaraya gelikçe yüz yüze görüşmelerle muhabbetimiz devam etti. Çok girişken bir kişiliği vardı. Ben yıllarca dökmeye devam ederken o maceradan maceraya atıldı. Çok değişik alanlarda değişik yazılımlarla uğraşdı. Mesela Damda topraksız tarım işine girişti. Kendi elleriyle imal etti



otomasyonu için devreler kurdu programlar yazdı.

Firmasını  Mersin teknoparka'a taşıdı orada çalışmaya devam ediyordu.
 Keten Yazılım
En son temmuz ayında yazışmamızda
"akciğerde bir kitle tespit ettilerne olduğuna karar veremediler yarın bir docent muayne edecek"
diyerek sağlık problemlerinden bahsetmişti.  Bir kaç kez telefonla ulaşmaya çalıştıysamda, sonrasında görüşmemiz malesef mümkün olmadı.  Şimdide Geçen hafta cuma günü vefat ettiği haberi geldi.
Ben bir dostumu, ülkmizde çilekeş bir yazılımcısını kaybetti çok üzgünüz. Kendisine Allahdan Rahmet. Başta kızı olmak üzere yakınlarına başsağlığı ve sabır diliyoruz...

Salı, Ekim 10, 2017

Keras ile Duygu Analizi

Bir başka Keras uygulaması ile yine burdayız. Bu uygulamamız, doğal dil işleme ( NLP ) alanında olacak. Metinden duygu analizi  (Sentiment Analysis) üzerine bir çalışma yaptık.

Doğal dil işleme üzerine bir uygulama geliştirmenin ana zorluğu metinin sayılara dönüştürülmesi. Genel olarak kullanılan metodlar.
  • Kelimeler için vektör karşılığı ( WordVect)  hesaplamak ve bu vektörleri bir dizi şekilde vermek.
  • Kelimeleri bir dizi de tutup orda belli büyüklükte vektörlere eğitim esnasında çeviren Embeding katmanını kullanmak 
  • Metinin harf dizisi olarak düşünüp.  Her harfi harf sayısı kadar uzunlukta bir vectörle ifade etmek.
 Metinden duygu analizi çalışmalarında  genellikle verilen metnin olumlu yada olumsuz olduğunun tespiti üzerine çalışılır. Bizim kullandığımız veri seti de Twitlerin olumlu yada olumsuz olması hakkında.

Veri setimiz hakkındaki bilgilere ve verisetinin kendisine burdan ulaşabilirsiniz

thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/

Veri setimizde toplamda 1578624 adet kayıt var.
Olumlu   :    790184
Olumsuz :    788440
olumlu ve olumsuz nitelikli metinlerin sayılarıda aşğı yukarı eşit.

Biz metinin sayıya çevrilmesi için harf bazlı bir sistem uyguladık. Veri üzerinde herhangi bir filitreleme yapılmadı. Sadece küçük harfe çevrildi. Metinlerde geçen harler çıkarılıp birer sıra no karşılığla bir sözlükte -dict - tutuldu.
{'\t': 0,
 '\n': 1,
 ' ': 2,
 '!': 3,
 '"': 4,
 '#': 5,
 '$': 6,
 '%': 7,
 '&': 8,
 "'": 9,
 '(': 10,
 ')': 11,
 '*': 12,
 '+': 13,
 ',': 14,
 '-': 15,
 '.': 16,
 '/': 17,
 '0': 18,

...
Veri sadece Ağ yapısı olarak LSTM bazlı basit bir sistem kuruldu. LSTM de dizinin tersine sıralamasınıda hesaba katan Bidirectional katmanı ile birlikte kullanıyoruz.

 Layer (type)                 Output Shape              Param # 
===================================
bidirectional_1 (Bidirection (None, 150, 278)          310248  
_________________________________________________
bidirectional_2 (Bidirection (None, 278)               464816  
________________________________________________
dense_1 (Dense)              (None, 2)                 558     
________________________________________________
activation_1 (Activation)    (None, 2)                 0       
====================================

Total params: 775,622
Trainable params: 775,622
Non-trainable params: 0

Veri epey büyük olduğunda eğitim epey uzun sürüyor biz bir kontrol başarısı %85 civarında kesdik.
Çalışmamıza burdan erişebilirsiniz
github.com/birolkuyumcu/ddm_blog_examples/tree/master/sentiment
 Üzerinde çalışılması lazım elbette ama bence bu halide fena değil. Bir örnek verelim
"Got the Macbook Pro seller to send me the serial number of the machine before I paid.
Turns out its just a macbook so not buying it now"
 bu twit için  modelimiz.  0.623167 oranıyla olumsuz diye karar vermiş
aynı twitin başındaki kısmı alıp sorduğumuzda
"Got the Macbook Pro seller to send me the serial number of the machine "

haklı olarak  0.62573 oranıyla olumlu cevap vermiş.

Giriş niteliğinde, harf bazlı, LSTM içerikli bir çözüm. Bir başlangıç noktası olmasını umuyor, görüş ve önerilerinizi bekliyoruz...