Sesim nasıl görünüyor ?

Fırsat buldukça Kaggle daki yarışmalara bakıyoruz. Pek çok alanda verilerle uğraşabilme imkanı veriyor. Geçenlerde Kaggle da Ses tanıma üzerine bir yarışma açıldı.

TensorFlow Speech Recognition Challenge

Binlerce farklı kişi tarafından seslendirilmiş  30 kelimelik 1 saniye uzunluğunda bir veriseti.  65.000 kayıt var. Seçilmiş on kelime

yes, no, up, down, left, right, on, off, stop, go

ve bu kelimelerin dışındaki kelimelere - unknown - bilinmiyor. Veya sessizlik yada konuşma dışı seslere - silence - sessizlik  ilavesi ile  12 sınıflı bir sınıflandırma problemi olarak verilmişti.

Klasik spektrogram dönüşümleri ve arkasına evrişimli sinir ağları ile sınıflandırma işlemleri yapılıyordu bizde öyle yaptık ilk etapta. Yarışma sonunda 0.82579 lik  bir  başarıya ancak ulaşa bildik yarışmanın birincisinin başarısı 0.91060. pekde parlak bir sonuç değil  1315 katılımcının içinde 441. olabilmişiz. Neyse asıl konumuz bu değil.

Hazır elimizde veri varken ses verisini poincare plot  metoduyla bir görüntüye dönüştürsek ve üzerinde (CNN ) Evrişimli Sinir Ağı denesek diye bir çalışma yaptık.  Hatırlarsanız bu konuda benim büyük bir umudum var. Bir çalışmaya başlamıştım ama devam edememişdim.

Poincare Plot Feature Extraction

Ses için öznitelik çıkarma yerine doğrudan ölçeklendirip renkli bir görüntüye çevirmeyi denedik.

Yukarda 'two'  ve 'stop' kelimeleri için üretilmiş resimlerden örnekler görüyorsunuz.
Sonuçlar hiçde iyi çıkmadı malesef. Üzerinde çalışmak gerekiyor elbette. Ama estetik ve fraktalvari grafiklerde çıkmıştı. Kaybolup gitmesindedik ve koda döküp yayınladık.

github.com/birolkuyumcu/sound2image

 sound2img.py ;  ses dosyasını okuyor ve rastgele belli büyüklükteki - kodda 4096 -  parçalarını seçip görüntüye dönüştürüyor ve png formatında kaydediyor. Mesela en üstte gördüğünüz resim  "sesim nasıl görünüyor" sesinin tamamının  resme dönüştürülmüş hali.

play_sound_with_imgs ;  ses dosyasını okuyor. Bir taraftan ses çalınırken diğer taraftan  çalınan kısmıda görüntüye dönüştürüp ekranda gösteriliyor.

mesala yukardakiler Çetin Akdenizin bağlamayla çaldığı Şeyh Şamil ezgisinden.


Birilerinin işine yaraması umuduyla. Her türlü görüş ve önerilerinizi bekleriz.

Bir Yapay Zeka etkinliği

Dün Yapay Zeka ve Makine Öğrenmesi Meetup gurubunun etkinliğine katıldık. Öncelikle emeği geçenleri tebrik etmek lazım.  Böyle önemli konularda insanları bir araya getirmek çok önemli. Hele birde bu vesileyle birlikte bir şeyler yapmaya başlarsa...

Etkinlik TOBB üniversitesindeydi. Yerin bizim nezdimizde ayrı bir yeri var. Yıllar önce 2010 yılında ben ve Ahmet Kakıcı TOBB üniversitesinde bir sınıfda Yapay Sinir Ağları konusunda sunum yapmıştık.

Yazılım Atölyesi 2 ( Handwritten Digit Recognation ) 

TTGV den gelenlerin ufak bir konuşması oldu. Ideaport tan bahsettiler. Yapay Zeka işleri için çok önemli olan ekosistemin oluşması konusunda uğraş vereceklerinden bahsettiler. Belkide konuşmanın kısalığından, neler yapabileceklerinden çokda anlatmadılar.
İletişime geçilmesi istendi

etkilesim.ideaport.org.tr/

Bence duyrularının yayılabilmesi için uğraşmaları lazım. Yaptıkları çok güzel çalışmalar etkinlikler oluyor ama bizzat ağlarında değilseniz haberiniz olmuyor.
mesela bu vesile olmasa

TTGV kıvılcımdaki bu etkinlikten haberim olmayacaktı...

Programdaki asıl konuşmayı Prof. H. Altay Güvenir hoca yaptı. "Tıp Alanında Makine Öğrenmesi Uygulamalarından Örnekler " başlıklı konuşmasında  çeşitli Tıbbi problemler için yaptıkları çalışmalardan bahsettiler. Başlıklar şöyleydi ;

• Kalp işaretlerinden ritim bozukluğu tanısı koymanın öğrenilmesi. 
• Dermotolojide Erythemato-Squamous hastalığının türünün belirlenmesi. 
• Mide kanserlerinin (gastric carcinoma) derecesinin belirlenmesi. 
• Sıralama öğrenme. Tüp bebek tedavisinde başarı şansının tahmin edilmesi ve uygun tedavinin önerilmesi. 
• Kalpte Artial Fibrilasyon riskini etkileyen faktörlerin belirlenmesi. 
• Hasta kayıtlarının güvenliğini koruyarak makine öğrenmesi uygulamaları.

Akılda kalan  şey  1997 de geliştirilmiş bir metod var.  Voting Fetures Interval

differential diagnosis of erythemato-squamous diseases using voting feature

hatta wekaya da eklenmiş metod olarak.  Ama devamı gelmemiş malesef. 

Yukarda bahsettiğimiz eko sistemin  önemi büyük, yapılan çalışmaların serpilip büyüye bilmesi için pek çok faktör var.  Bizzat yaşayarak da görmüşlüğümüz var.  Yapay Zeka Tıbbın hizmetinde diye bir dizi yazı yazmıştım  ( 1, 2,3,4,5 )  ilkini 2008 de yazmışım. Malesef öyle yada böyle filizlenen nadir çalışmalarda diğer faktörlerin - finans, otorite, pazarlama vs... -  yokluğundan  heba olup gidiyor.

Ideaportta ;

2018 yılı için tematik teknoloji alanı olarak yapay zekayı ve belirlenen bu teknolojik alanın kesişimlerinin inceleneceği uygulama sahası olarak da sağlık sanayini belirledik.

denmiş.  İnşallah bir şeylerin değişmesine vesile olur...