Sayfalar

Kaos Teorisi etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster
Kaos Teorisi etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster

Cumartesi, Nisan 16, 2016

Poincare Plot Feature Extraction 1

Nasettin hocaya sormuşlar hocam sizin bir icadınız varmı ?
hoca ;
 Karla ekmek yemeği icat ettim ama sonra bende beğenmedim bıraktım 
demiş.
Feyiz kaynağımız Nasrettin hocamızdan çok şeyler öğrenmdiğimizi blog'umuzu takip edenler bilir.
Bizimde naçizane bir icadımız oldu. Zaman serisi tipindeki veriler için bir öznitelik çıkarma metodu. Aslında EEG verileri için kullandıkda
Yapay Sinir Ağları ile Epilepsi İçin Otomatik EEG analizi

Yazıya okuduysanız işimizi görmüş bir öznitelik çıkarma olarak görünüyor. Fakat tabii ki genelleştirmek için kesinlikle yetersiz. Aradan epey bir vakit geçti, hep bir bakayım diyorum bir türlü vakit bulamıyorduk. Bu günlerde biraz vakit bulunca ucundan kıyısında anlatmaya ve kodu pythona çevirmeye başladık.

Öncelikle Zaman serisi tipindeki veriler çok yaygın ve çok çeşitli. Bu yüzden envai çeşit  öznitelik çıkarma metodlarıda mevcut elbette. Bir kısmından bahsetmiştik
Zihin Egzersizleri 2 


Konuya geçelim denemeler yapmak için önce seriler oluşturalım.



resimlerden çizilmiş bu serileri görünüşleri ile ayrıştırabiliyoruz. Bu haliyle kullanımı pek mümkün değildir. Elbette sabit bir genişlikteki veriyi seçip kullanabiliriz fakat verinin seçeceğimiz kısmına göre veri bir ileri veya geri gitmek bile veri vektörünü nerdeyse tamamen değiştirir.

Poicare Plot  adını fransız matematikçi H. Poincare den alan bir metoddur.  Basitçe anlatırsak

X1, X2,... Xn 
şeklindeki bir zaman serisinin  2 boyutlu bir koordinat sisteminde  sırayla
 (X1, X2 ) ,   (X2, X3 ) ,  (X3, X4) , .... ,   (Xn-1, Xn )

noktalarının  çizilmesidir.

 Yukardaki serilerin Poincare Plot metoduyla çizimlerini görelim

belki bir parça daha kolay ayrıştırılacak halde . Bu haliyle kullanımını görmekteyiz. Mesela tıp alanında  kalp atım hızı değişkenliği - Heart Rate Variability -  analizlerinde kullanılıyor

İnternette ufak bir aramayla pek çok makaleye ve çalışmaya rastlaya bilirsiniz
bir örnek verip geçiyoruz.

Poincare Plot Used As Confirmative Tool In Diagnosis Of Left Ventricular Diastolic Dysfunction For Diabetic Patients With And Without Myocardial Ischemia

Biz burdakilerden farklı metodla bu grafik üzerinden öznitelik çıkarmayı deneyeceğiz. İlk aşamada noktalar arasında vektöreler oluşturacağız. Vektör büyüklüğü ve yönü üzerinden histogramlar çıkaracağız. Sonrasında bir birini takip eden vektörler üzerinden iki boyutlu histogram çıkaracağız.

Yukardaki kadarıyla kodu

github.com/birolkuyumcu/Poincare-Plot

adresinden IPython notebook olarak inceleyebilirsiniz.

Şimdilik bu kadarını yazalımbırakalım. Devamını yazmaya kudretimiz ve dahi şevkimiz olursa devam edecek İnşallah

Pazar, Haziran 28, 2015

Yapay Sinir Ağları ile Deprem Tahmini

Depremler yaşadığımız dünyanın bir gerçeği. Yeryüzü sıvı bir mağma tabakasının üzerinde İnce bir tabaka. Dünyamız bu oynak yapısına ilaveten sabitte durmuyor. Dünya kendi etrafında açısal olarak saatte 15 derece,  çizgisel olarak - ekvatorda - saatte 1670 km hızla dönmektedir. Kendi etrafındaki hızının dışında Dünyamız güneşin etrafında da  ortalama saatte 107 000 km hızla hareket eder. Hızı güneşe yaklaştıkça artar uzaklaştıkça düşer. Böyle dinamik  bir yapı içinde bir yeryüzünde yaşıyoruz.  Yeryüzündeki tabaklarda kırılmalar çökmeler kaymalar yani depremler sürekli olmaktadır.  Bunların büyüklüğüne görede can ve mal kayıpları yaşanmaktadır.


Depremler dünyaının yapısı gereği dedik. İnsanoğlu bu konuda yıllardır araştırmalar yapıyor yeryüzü tabakalarını inceleyip. Deprem riski olan kısımları bilebiliyor.  Keza deperem riskini oluşturan oynak tabakalarıda  yani fay hatların belirliyor. Ülkemiz bu açıdan şanslı değil.


Keza yukarda belirttiğimiz koşullar içerisinde deterministik bir model kurup, depremlerin önceden tahminide pek mümkün görünmüyor. ( malum Kelebek etkisi )

Gelişmiş ülkelerde  " Deprem öldürmez bina öldürür"  tabirine paralel . Bulundukları risk bölgesine uygun sağlamlıkta binalar yapılarak. Deprem anında oluşacak bina hasarı dolayısıyla mal ve can kaybını en aza indirgemeyi başarmış bulunuyorlar.

Ülkemizdeki durum ise pek iç açıcı değil.
Gölcük depremi sonrası ilk heyecanla bir sonraki depreme olan hazırlık anlayışı kaybolup gitti. 
Ülkemizin en büyük en kalabalık şehri olan İstanbul ve civarında büyük bir deperem bekleniyor.
Haritalar çıkarılıyor. Neler olabileceği biliniyor.

Ama yapılaşma olabiliğince hoyratsızlığı ve akılsızlığı ile devam ediyor. Neyse konuyu vicdan sahibi idarecilerimize havale edip konumuza dönelim.

Deterministik bir tahmin pek mümkün görünmüyor demiştim. Aynı zamanda "kainatta tesadüfe tesadüf edilmez" kanaatindeyim. Yani bir şekilde deprem öncesi ortaya çıkan fiziksel olaylar etkiler üzerinden  deprem tahminin de mümkün olacağını düşünüyorum. 1


Nitekim Ülkemizde de gölcük depremi sonraı ilk heyecanla çalışmalar yapıldı. Mesela

Kayaç Gerginlik İzleme Yöntemi  ile Deprem Tahmini Projesi 


Proje ne durumda bilemiyorum ama, bu çalışmada ilk günkü heyacanıyla gitmiyor görünüyor.
ana sayfasındaki  kayaç gerginlik izleme istasyonlarından toplamda 16 tanesinden sadece

6 tanesi aktif olarak görünüyor.
Keza Deprem tahmin ligide açılmış. Hali hazırda aktif olarak görünmüyor.

Böyle bilimsel bir çalışma dışında, tahmin çalışmalarında bulunan  şahıs bazlı projeler de  var. Basit bir aratmayla onlara ulaşabilirsiniz.  Bu çalışmaları küçümsemek istemiyorum. Meşhur bir ata sözümüz vardır. "Bin bilsende Bir bilene danış " Evet bu şahısların bilimsel alt yapıları olmaya bilir. Bin şeyi bilmeye bilirler. Ama bildikleri bir şey gerçek de olabilir.  Böyle kişilerin mümkünse bilimsel altyapısı olan kişilerle birlikte işleri yürütüp. Çözümlerinin gerçekden çözüm olup olmadığını öylese  daha rasyonel ve kullanışlı hale nasıl getirileceğini çözmeleri lazım. Öteki türlü yaptıklarının bir anlamı kalmıyor.

Benim şahsen tanıştığım bir çalışmayla devam edeyim

İlk olarak - 2013 de - FannTool  vesilesiyle  tanıştığım birinden bahsetmek istiyorum.  Bu arkadaşımız Japonyada yaşayan bir İtalyan. Yapay Sinir Ağları ile Deprem tahmini üzerine çalıştığını söyledi.  Tahmin sistemi Gezegen sistemindeki yerçekimi etkileri ile  deprem tahmini. Fikir olarak çokda yeni değil. Yine bir itayan olan Raffaele Bendandi bu yönde çalışmaları olmuş. Keza bu yönde şöyle bir çalışma da yapılmış
The definitive analysis of the Bendandi's methodologyperformed with a specific software
 Yerçekimi etkisinin deprem tetikleme mümkünatı için de bir iki laf edeyim

1) Ayın çekim gücü ile oluşan Gel - Git etkisini hepimiz biliriz. Sular üzerinde gözle görünür olan  bu etki aslında her tarafta mevcuttur.

2) Bir yerdeki belli büyüklüğü geçen  deprem sayısı ile deprem büyüküğü arasında empirik bir formül vardır. Gutenberg–Richter_law diye adlandırlan bu formüle göre,  Büyük deprem beklentisi,  bir önceki büyük deprem üzerinden geçen süre ile ilişkili. Keza buna göre İstabulda büyük deprem beklentisi var. İşin içinde  kendine benzerlik ve fraktallarda var bakınız 




3) Yerçekimi etkisinin ayın ve diğer gezengenlerin  konumlarına göre değişmesi ve Deprem beklentisinin yüksek olduğu fay hatlarında  tetikleme ihtimali olabilir....

 Konuyu dağıtmayayım
Marconun çalışmaları hesaplama bazlı değilde Yapay Sinir Ağı temelli olarak yürüyor. Başlangıçda FannTool ile başladığı çalışmalara şidide kendi yazdığı kendi problemini baz alan kod üzerinde yürütüyor.

Çeşitli vesilelerle yazışmalarımız sürdü, ve sürüyor. Yukarda bahsettiğim gibi, Şahıs bazlı bir çalışma yürüttüğü için aynı şeyleri ona da anlattım. Çalışmanın bilimsel olabilmesi için ilk etapta test edilmesi gereğinden bahsettim. Sonuçda YSA ve benzeri Yapay Zeka metodları ile hemen her şey arasında ilişki kurulabilir. test etmeksizin kurulan ilişkinin bir anlamı olmayacağından bahsettim. 2  Sağolsun tavsiyemize uydu ve sistemini ve çalışmalarını yayınlamaya başladı.

Bu çalışmalara
 Marco Franzini works
burdan ulaşabilirsiniz.

Bu yaynınlar sonuncunda  kendisi ile iletişime geçenler olmuş.  Bir NPO -Non Profit Organization -  Kar amacı gütmeyen kuruluş oluşturmayı planlıyor.
Türkiye gibi deprem bölgesi ülkemizden de , konudan anlayan, ilgili ve dahi bilgililerden, bu yazdıklarımızı okuyacak birileri olur mu ?
Nihayetinde ilgilenilecek bir konu olduğuna karar verip, iletişime geçmek isteyen çıkar mı ?  bilemiyorum.
Ben burdan bu vesileyle duyurup üzerimden sorumluğuluğu atmak isterim...
"Bilmeyenler bilenlere anlatsın" ....

Not :
  1. Mesela ; Deprem öncesi çeşitli hayvanlarda görünün huzursuluk ve davranış değişiklikleri. Bilgisayarlı görü uygulamaları ile gözlemlenip, Uyarı sistemi kurulabilir.  Niçin olmasın...
  2. Her şey ezberlenebilir ama öğrenilebilir değildir. Bakınız YSA Büyü Değildir  yazısı

Dip Not : Kitap çalışması başka çalışmalar dereken epeydir yazmıyordum,  başka özleyen varmı bilmem ama ben özlemişim.

Pazar, Ekim 10, 2010

Zeki Tahmin Sistemleri ve Kaos teorisi.


 Zeki tahmin sistemiyle kast ettiğim şey geleceğe dönük ekonomik göstergelerin, ticari manada bir getiri kazandıracak başarıda hesaplanması.  peki nasıl olacak bu...

Kainatta biz bilelim bilmeyelim bir düzen vardır. Bilim dediğimiz şeyde bu düzenin keşfi üzerine kurulu. Her yerde bir düzen varsa ve her şey bir şablona uygun davranış gösteriyorsa, ekonomik sistemlerde de bir düzen vardır. hem ne demişler "Kainatta tesadüfe tesadüf edilmezmiş"

Zeki tahmin sistemlerine giriş yaptığımız "YSA ile Basit bir Zaman Serisi Analizi" yazımızda tahminlerin kaos teorisindeki "Kelebek etkisi" sebebiyle ileri doğru gittikçe belirsizleşeceğinden bahsetmiştik. Fakat yine kaos teorisine göre düzensizliklerinde bir düzeni var. Garip çekiciler bu düzenin belkide görebileceğiniz bir yüzünü gösteriyor.  Mesela ülke ekonomisi üzerine kurulmuş bir çekici var "Tamari attractor". hatta birde simulatör yapılmış "Economic simulator".  Benzeri çalışmalar içine girilebilebilir

...

Zeki Tahmin sistemi nin uygulana bilmesi için  İstatistiki ve  Yapay zeka metodlarının yanında Kaos teorisi ilede uğraşmak gerekecek. Pek tabii ki bütün bunlar Fikir aşamasındaki konular, tek başıma nereye kadar yürütebilirim bilmem.

Cumartesi, Nisan 24, 2010

YSA ile Basit bir Zaman Serisi Analizi

Öncelikle tanım ile başlıyalım. " Zaman değişkeniyle ilişlkili bir değişken hakkında, elde edilen gözlem değerlerini zamana göre sıralanmış olarak gösteren serilere, “zaman serisi” denir." detaylı istatistiki açıklamalar için şuraya müracaat edin.

Bizim YSA ile analizinden kast ettiğimiz için  Zaman serisi üzerinde Yapay Sinir Ağları ile ileri ye doğru tahmin yürütmektir. Bunun için Öncelikle Zaman serisini dönüşrümemiz gerekiyor.  Dönüşüm için kullanacağımız varsayımımız da şöyle

"Zaman serisinde bir değer kendinden önce gelen değerlerle ilişkili ve dolayısıyla onlarla tahmin edilebilir"

Mesela Yarınki hava sıcaklığı geçen günlerdeki hava sıcaklıklarıyla İlişkilidir. Bu durumda YSA dizaynı için çıkış değişken saymızı belli zaman serimizin bir sonraki değeri. Giriş değerlerimizde önceki veriler.  Örneğimizde dönersek yarınki Hava sıcaklığı bugünki ile ilişkilidir. Bugünkü de dünküyle, dünkü önceki gündeki ilişkili olduğuna göre onlarda Yarınki hava sıcaklığıyla nispeten etkileri azalarakda olsa ilişkilidir. Burada bir seçim yapmamız lazım Giriş değerleri olarak kullanacağımız verileri ne kadar geriye götüreceğiz.  Onu seçince artık giriş değişken sayımızda belirlenmiş olur.
Mesela bunu 4 seçersek şöyel bir ilişki kurmuş oluruz



Bundan sonrası elimizdeki verileri bu ilişkiye göre hazırlayıp, Bir YSA dizayn edip eğitmek kalıyor. FannTool'un DataProcessing kısmıyla her satıra bir değer gelecek şekilde hazırladığınız verileri. yukarda bahsettiğimiz şekle kolayca sokabilirsiniz.

Basit bir örnek yaparsak, Şöyle bir Zaman Serimiz olsun








Bu verileri,  Çıkışı 1 girişini 9 olan bir YSA ile Modelleyelim. Eğtim aşamasından sonra. Test edelim ve Gerçek sonuçlarla YSA tahminlerinin uyuşmasını kontrol edelim










Grafikdende  göreceğiniz gibi YSA gayet de uygun tahminler vermiş. Peki Aynı YSA'yı kullanarak ileriye doğru tahmin yürütmeye devam edersek ne olur. Yani yarınki değeri YSA ile tahmin edip. sonra bu tahmini giriş gibi kullanıp ertesi günkü değeri hesaplasak

( T1 , T2 , T3 , T4) -> T5
( T2 , T3 , T4, T5 ) -> T6
( T3 , T4 , T5, T6 ) -> T7
...

Hemen FannToolu'muzun  "Run as TS"*  kısmını açıp kaç kere ileriye doğru çalıştıracağını belirtip, sonuçları  alıyoruz. Ve Grafiğimize tekrar bakıyoruz








Hiçde iç açıcı bir bir grafik değil.  Aslında metodumuzun pek çok eksiliği var. Fakat müekemmel diyebileceğimiz bir sistem bile kursak, tahminlerimizdeki hata payı ileriye doğru yayılıyor. Daha detaylı bilgi için Kelebek etkisi ve Kaos Teorisi  konularına bakabilirsiniz. Yok kim okuyacak onu ben filmini seyredeyim diyorsanız, boşuna Kelebek etkisi filimlerine bakmayın. Esas hala izlememişseniz Pi Filmini ** izleyin


Not :
*  Boşuna elinizdeki programda aramayın yakın zaman da yayınlamayı umuduğum versiyonda olacak İnşallah
**  Filminden bir parça
Restate my assumptions.
-One: Mathematics is the language of nature.
-Two: Everything around us can be represented and understood through numbers.
-Three: If you graph the numbers of any system, patterns emerge. Therefore, there are patterns everywhere in nature.
-Evidence: The cycling of disease epidemics,  the wax and wane of caribou populations, sun spot cycles, the rise and fall of the Nile.
So, what about the stock market? The universe of numbers that represents the global economy. Millions of hands at work, billions of minds. A vast network, screaming with life. An organism. A natural organism.
-My hypothesis: Within the stock market,|there is a pattern as well... Right in front of me, hiding behind the numbers. Always has been.