Derin Öğrenme ve Genomik Kullanımlarına Bakış

Makine öğrenmesi (ML), insan zekâsını çeşitli açılardan örneklendirme teknikleri sağlayan yapay zekâ algoritmalarının geliştirilmesinde kullanılan bir alt kümedir¹. İlk olarak McCulloch ve Pitts tarafından beyin sinir ağlarının çalışma mekanizmasından esinlenerek ortaya çıkarılan model, matematiksel bir temel üzerine inşa edilmiş doğrusal denklemlerden oluşmaktadır². Bu çerçevede üretilen mantıksal modeller, doğrusal olmayan problemler karşısında yetersiz kalarak, zaman içerisinde verimsiz analiz kapasitesi sunması gerekçesiyle tercih edilmemeye ve bu sebeple geliştirilmek üzere Kernel (çekirdek) ve Bayesian grafik modellerini temel almaya başlamıştır^3-5. Bu bağlamda, yapı mimarisinin düşük hata oranları sunması ve kesin doğruluk payının yükselmesini sağlaması ile büyük etki yaratan derin öğrenme (DL) teknikleri, ML’nin donanımsal gelişmelerinde lider rolü üstlenmektedir^6,7. DL’de prensip olarak; her ardışık katman doğrusal olmayan bir dönüşüm uygulayarak elde edilen bir önceki aşamanın çıktılarını, girdi olarak tanımaktadır⁸. Böylece, türevi alınan (değişim oranı hesaplama) her iterasyon (aşamaların tekrarı) adımı iyileştirme sağlayarak, modeli optimum doğruluk seviyesine ulaştırmaktadır⁹. Bu işlem katmanlar arası aktarımlarda, veriye özgü özellikleri yansıtacak parametrelerin seçimine ve görüntü işlemede gerekli sınıflandırmaları topolojik niteliklerine göre ayırmaya yönelik imkanlar sunmuştur¹⁰. Bu güçlü tekniğin sunduğu imkanlardan yararlanan alanlardan biri ise genomik araştırmalardır^11,12.

Şekil 1. Temel derin öğrenme mekanizması¹³. a. İnsan nöron ağ yapısı, b. sinir hücresinin matematiksel modeli, c. biyolojik sinaps ve d. yapay sinir ağlarının sinapsları gösterilmektedir. 

Derin Öğrenme Mimarisi

ML modellerin inşası, denetimli veya denetimsiz öğrenme sistemler ile oluşturulmaktadır. Denetimli öğrenme yaklaşımı, algoritmaları eğiten öncül bilgilerin varlığında, kademeli olarak iyileştirme amacı ile çalışmaktadır¹⁴. Genellikle sınıflandırma ve regresyon metodolojilerini benimsemekte ve neden-sonuç tahminleri sunmaktadır. Denetimsiz öğrenme ise farklı bir açıdan yaklaşarak, verilerde içerisinde henüz bilinmeyen parametreleri tanımlamayı ve kümelemeyi sağlamaktadır¹⁵. DL modelleri ise her iki yöntemi de kullanabilen temel olarak üç aşamalı bir sistem üzerine kuruludur¹⁶. İlk aşamada veri anlama ve ön işleme adımı tamamlanmaktadır; burada verinin temel bilgileri tanımlanmakta ve anlaşılır biçimde görselleştirilmek üzere ayıklanmaktadır. Sonraki aşamada veri yapısına uygun olarak model oluşturma ve farklı destek vektörleri ile eğitilme süreci yer almaktadır. Son aşamada ise bu adımları ve adımlardan elde edilen çıktılara göre performans analizlerini, başarı ile geçen modeller doğrulama ve yorumlama teknikleri ile oluşumunu tamamlamaktadır^17-19. Bu bilgi işleme aşamaları hiyerarşiktir ve doğrusal olmayan çoklu katman çalışma prensibi ile farklı mimari kullanımına hizmet etmektedir. Her mimari farklı bir etki alanını kapsayan algoritmaları içermektedir²⁰. Temelde mimari yapısı üretken, hibrit ve ayırt edici olarak üç sınıfta incelenmektedir²¹. Üretken derin mimari birbiriyle ilintili ve sentezleme yapılması uygun olan verilerde yüksek dereceli korelasyon özelliklerini karakterize etmekte kullanılmaktadır²². Bayes istatistik dağılımları bu mimariyi ayırt edici sınıfına taşımakta önemli rol oynamaktadır²³. Ayırt edici mimaride ise örüntü sınıflandırılması ile bağlantılı olarak koşullu modeller ve makineler arası paralelleştirme ile stokastik ağ yapılarında sonuç elde etmeyi amaçlamaktadır²⁴. Bir diğeri ise hibrit mimaridir; üretici modellerin kullanımını optimum seviyeye taşımak için ayrımcı kriterlerini belirleyen parametreleri öğrenme üzerine oluşturulmuştur. Bu çeşitlilik, varyasyon yapılarında gizli sınıflandırmayı ve ayrıntıları irdeleme imkanı sunmaktadır^25-26. 

Derin Öğrenme Algoritmaları

Derin mimarisinin en temel modülü yapay sinir ağları(Artificial Neural Network; ANN) tarafından oluşturulmaktadır²⁷. İnsan beynindeki nöron ağların yapısının etkilediği bu sistem, biraz daha farklı olarak, girdiyi doğrudan bir nörona aktarmakta ve çıktıyı da aynı şekilde doğrudan nörondan almaktadır. Çekirdek tarafından toplanan sinyalleme belirlenen eşik değeri (sinyaller en az -55mV her nöron 5mV potansiyel sunduğu durumda) üzerinde ise akson aksiyon potansiyeli yüksek voltaj iletisi sunmaktadır^28,29. Genel olarak lojistik regresyon modeli temel alınmakta ve bu modelde girdi ve çıktı arasında en az bir tane gizli katman (hidden layer) olmalıdır. Burada hidden layer sayısı DL’nin ‘derin’ olarak nitelendirilen temasının karakterini belirleyen ana faktördür^30,31. Olası çıktıların 0 ila 1 arasındaki değerlerine göre matematiksel fonksiyon sunmaktadır; böylece hedefe doğru şekilde ulaşmayı sağlamaktadır. Konvülsiyonel sinir ağları(Convolutional Neural Network; CNN) görüntü tarama işlemlerinde ve görsel sınıflandırma için en sık tercih edilen modüldür³². Bu modülde öncelikli olarak verinin incelenebilmesi ve bir çıktı sunabilmesi için özellik haritalaması yapılmaktadır. Burada filtrelenen bölgeler matris üzerindeki değerlerine göre havuz katmanında boyut ve parametre doğruluğu açısından değerlendirilmekte ve elenmektedir. Elde edilen veri son aşamada, sinir ağlarının giriş verilerini tek boyutlu dizilerden alabildiğinden dolayı önceki adımlardan gelen katmanlı matrisleri tek boyutlu dizi formatına dönüştürmektedir^33,34. Bu şekilde alınan veriler sinir ağları ile öğrenme işlemini tamamlayarak çıktı oluşturabilmekte ve sınıflandırma süreci tamamlanmaktadır. Bu adımlar verinin ve süreç gerekliliklerinin durumuna göre sayıca artırılabilmekte veya değiştirilebilmektedir³⁵.

Bir diğer önemli modül ise tekrarlayan sinir ağları (Recurrent Neural Network; RNN) ile oluşmaktadır. Bu temporal hafıza imkanları ile yakın geçmişi kaydetme ve şimdi ile arasında ilişki kurarak gelecek adımlar için tahmin ve sınıflandırma modelleri sunabilmektedir^36,37. Girdileri kullanarak özellikleri hafızasına kaydetme ve bu bilgileri kullanarak öğrenme işlemini gerçekleştirmektedir³⁸. Buna rağmen, kesikli fonksiyon yapısındaki ardıl olaylar arası bağlamlardaki boşluk yapıları ise tahmin doğruluk oranlarını negatif yönde etkileyebilmektedir³⁹. Hochreiter ve Schmidhuber yaptıkları çalışma ile uzun-kısa süreli bellek (Long Short Term Memory; LSTM) yapılarının zaman dizileri üzerinde hafıza yöntemi kullanarak, önceki girdilerin özelliklerini saklayabilme imkanı sunmuştur. LSTM, tekrarlayan sinir ağlarının özelleşmiş bir yapısı olarak ortaya çıkmıştır⁴⁰. Bu yapı da yakın zaman hafızasına sahiptir; fakat RNN’nin genel mantığından farklı olarak daha büyük bir hafıza alanı sunabilmektedir. Bu çalışmalar aynı zamanda, hastalık durumunun sağlıklı vücut üzerindeki değişimlerini de geriye dönük analiz etmede büyük başarı yakalamıştır⁴¹. Geçitli tekrarlayan birimler (Gated Recurrent Unit; GRU) ise sadeleştirilmiş bir yaklaşım sunarak mevcut kısıtlamayı önlemektedir. Bu sadeleştirme işlem yoğunluğunun önüne geçebilmekte olan iki geçitten oluşmaktadır⁴². Biri hafızada silme yaparken diğeri geçitler arası geçişlerde gerekli bilgileri güncelleme özelliğini sağlamaktadır ve doğal dil işleme ile konuşma sinyali modellemede LSTM ile benzer başarı oranı göstermiştir^43-45.

Şekil 2. Derin öğrenme algoritmaları ve etkileşimleri⁴⁶. FFNN: İleri beslemeli sinir ağı, RNN: Tekrarlayan sinir ağı, CNN: Konvolüsyonel sinir ağ GCN: Grafik konvolüsyonel ağ, BRNN: Çift yönlü tekrarlayan sinir ağı, LSTM: Uzun kısa süreli bellek.

Derin Öğrenmenin Genomik Uygulamalarda Kullanımı

Genomik çalışmalarda kullanılan geleneksel tahmin ve tespit sistemleri yeni nesil dizileme işlemlerinin sunduğu çağdaş analiz çıktıları için yeterli olamayabilmektedir. DL algoritmaları, bu tür değişim ve gelişim gerektiren stokastik süreçler ve kaotik yapılar için iyileştirme imkanı sunmaktadır^47-49.  Protein dizileme analizlerinde yapı farklılıkları ve gen ifade düzensizliklerinin bir sebebi de kromatin konformasyonlarındaki farklılıklardır⁵⁰. Bu farklılıkların ayırt edilmesi zorluğu, alan çalışmalarında kritik sınırlamalara sebep olmaktadır. Dsouza ve arkadaşlarının çalışmasında, bu zorlukların giderilmesi için LSTM modeli kullanılarak nükleer bölmeler ve konformasyon ile ilgili transkripsiyon faktörler gibi genomik unsurlar tanımlanabilmiştir⁵¹. Benzer şekilde, bağlanma bölgelerinin tespitinde kullanılmak üzere inşa edilen ve dizilimin analizinde de yüksek performans gösteren DeepRiPe modeli, GRU (geçitli tekrarlayan birim) ve CNN algoritmaları temel alınarak oluşturulmuştur. RNA-bağlayıcı proteinlerin bağlanma bölgelerinin türünü girdi olarak kullanmaktadır ve çok katmanlı sinir ağı ile yüksek performanslı tahmin modeli sunma hedeflemektedir⁵². Bağlanma bölgelerindeki tahmin ve düzenleyici bölgeler arasındaki protein etkileşimlerini inceleme çalışmaları günümüz farmakogenomik alanını da pozitif yönde oldukça etkilemektedir^53-56. Gen bazında önceliklendirilen alanlarda da DL çalışmaları ile hızla önemli adımlar atılmaktadır. Gen etkileşim ağlarının topolojik fonksiyon bilgilerinin tespit edilmesi önemli bir bilgi kaynağı sunmasının yanı sıra genlerin ve proteinlerin heterojenik yapılarının keşfinde kullanılmak üzere yüksek performanslı modeller sunmaktadır. Böylece son dönemlerde geliştirilmekte olan analiz metodolojilerine, farklı nedensellik süreçlerini irdelemek üzere Pearson korelasyon ve Markov zincir kurallarının kombine inşa edildiği algoritmalar ile katkı sağlamaktadır^57,58. Özellikle, tek hücreli RNA dizileme (scRNA-seq) analizlerinde büyük matrislerin normalleştirilmiş ampirik değerlerinin hesaplanması mümkün olmuştur⁵⁹. Benzer yaklaşımlar, immünoloji alanında yapılan çalışmalarda yeni hastalık veya hücre tiplerinin kimliklerini tespit etmede kullanılabilecek ölçüm mekanizmaları sağlamıştır. Bu sayede artan bilgi birikimini yüksek kalite ve verimle inceleme imkanı sunmuştur^60,61. Bir başka yeni nesil dizileme çalışması ise tüm ekzom dizileme analizlerinde yüksek oranda insersiyonların ve delesyonların tespitinin yapılabildiği DeepVariant aracının mevcut algoritmalara göre daha yüksek performans gösterdiğini belirtmiştir⁶². Benzer şekilde genom dizileme deneyleri farklı arka plan sinyallerini değerlendirme, örüntü tanıma ve pik seviyelerini istatistiksel olarak takip etme fırsatı sunmaktadır^63,64.

Gen ifadelerinde ise kontrol mekanizmaları çok önemli bir rol oynamaktadır. Temel ve hastalık biyolojisinin en önemli hedeflerinden biri bu mekanizmaları tanımlamaktır. Yapılan bir çalışmada Decode DL modeli ile transkripsiyon sonrası RNA bağlayıcı faktörlerin tespit edilmesi sağlanmıştır⁶⁵. Gen regülasyon kontrollerinde en önemli faktörlerden biri olan histon modifikasyonları, Deepchrome modeli ile modifikasyon sinyalleri kullanılarak kombinatoryal değişimler hesaplanmıştır ve model tahmin yetenekleri sergilemiştir. Bu gelişme, optimizasyon tabanlı haritalama tekniği ile epigenetik mekanizmalara sezgisel bir yaklaşım sunmuştur⁶⁶. Benzer olarak DNA metilasyonu, histon modifikasyonları ve kodlamayan RNA gibi epigenomik mekanizmalar sınırlı şekilde çalışılabilirken, DL modellerinin kullanımı ile modifikasyon bölge tahmin yöntemleri geliştirilme imkanı bulmuştur^67-69. Gen ifadelerindeki bu sistemik yanıtsızlık ve geleneksel makine öğrenme modellerinin henüz iyileştirme sağlayamadığı durumlar; kanser ve alt birimlerindeki sınıflandırma temasını da olumsuz etkilemektedir. Yakın zamanlı genomik çalışmalarda DL uygulamaları, çeşitli kanser türlerinde klinik sonuçların sınıflandırılmasını mümkün kılmakta, progresyonsuz sağkalım modellerini iyileştirmekte ve sinerjik ilaç kombinasyon fırsatları sunmaktadır^70-72. Kanser çalışmalarında halen kritik bir zorunluluk olan somatik mutasyon tespitinin yüksek doğruluk oranları ile yapılmasında önemli rol oynayan NeuSomatik algoritması, CNN’den yararlanarak tümör dizileme verilerinde kullanılmış istatistiksel bir modeldir. Aynı zamanda bu çalışma, CNN algoritmalarının somatik mutasyon tespiti için kullanıldığı öncül çalışmalardan ilkidir⁷³. Benzer şekilde farklı varyasyon çağrılarının detaylı analizleri ve tahmin yöntemleri RNN, CNN ve LSTM algoritmaları kullanılarak çeşitlendirilmektedir^73-76.

Şekil 3. Derin öğrenme çalışma alanları gösterilmiştir⁷⁷. Biyolojik verinin işlenmesi derin öğrenmenin bünyesinde farklı eşleme ve sınıflandırma algoritmaları ile sağlanmaktadır. Genel uygulama başlıklarını; sekanslama teknolojileri, gen ifade modelleri, biyolojik görüntüleme teknikleri, nöro-görüntüleme araçları ve vücut/beyin-makine arayüzleri oluşturmaktadır.

Sinir bilimi çerçevesinde uyarılmış beyin aktiviteleri ve bilgi işlem arasındaki koordinasyon, DL modellerinin geleneksel yöntemleri optimize etmesiyle, uzlamsal karakteristiği tanımlama yaklaşımları olarak sunulmuştur^78-80. Yakın zamanda yapılan bir araştırmada, derin sinir ağları (DNN) aracılığıyla görsel korteksteki nöronların uzlamsal karakteristik özellikleri çoklu voksel aktivitelerine regrese sonrası önemli değişimler tahmin edilebilmiştir⁸¹. Bu bağlamda, nöropsikiyatrik bozuklukların genetik açıdan incelenmesi de potansiyel terapötik hedef çalışmalarına imkan tanımaktadır^82-84. DL modeli olarak sunulan DeepGWAS ile beynin farklı bölgeleri arasındaki işlevsel bağlantı derinlemesine incelenebilmektedir ve majör depresif bozukluklar üzerinde teşhis oranları üzerinde iyileşme sağlamıştır⁸⁵. Diğer yandan, hasta öyküsü ve ampirik testler gibi geleneksel tanı yöntemleri zaman zaman doğruluk çerçevesinde yeterli olamamaktadır. Lanjewar ve arkadaşları çalışmasında, CNN ile en yakın komşu (KNN) algoritmalarını kombine ederek, farklı demans aşamalarındaki 6400 manyetik rezonans (MR) görüntülerini kullanmış ve Alzheimer hastalığının teşhis aşamasında %99.58 doğruluk oranı sağlayan bir model sunmuştur⁸⁶. Bunların yanı sıra, DL tıbbi görüntüleme işlemlerinde de önemli rol oynamaktadır. Büyük boyutlar ve veri kümelerinin ayrıntılı sınıflandırma kısıtlarına çözüm olarak sunulan çeşitli medikal görüntüleme modelleri oluşturulmuştur. Böylece DL algoritmaları; kapsamlı irdeleme ve geniş bakış açısında yapılan analiz senaryolarının inşasında önemli katkılarda bulunmuştur^64,87-89.

DL sayesinde, işlenen veri kümesinin farklı özellikleri daha iyi tanımlanabilmekte ve veri özelindeki bilgiler detaylandırılabilmektedir. Geri yayılım algoritma temelinde geliştirilmesi sayesinde büyük verilerdeki karmaşık yapı mimarilerini keşfetmekte yüksek performans göstermiştir. Özellikle biyolojik çalışmalarda çeşitli sınıflandırılma ve regresyon kısıtlamalarını gidermede önemli başarılar elde etmesi, hastalıkların teşhis ve tedavilerinde doğru tahmin modelleri üreterek hedefe ulaşmadaki başarı oranlarını yükseltmiştir. Bu açıdan çağdaş nesil teknoloji deneyimleri, önemli ilerlemelere muazzam bir yol gösterici olacaktır.

Yazar: Elif Duymaz

Editör: Fatma Duran

Referanslar:

1.     Mohtasham Moein, M., Saradar, A., Rahmati, K., Ghasemzadeh Mousavinejad, S. H., Bristow, J., Aramali, V., & Karakouzian, M. (2023). Predictive models for concrete properties using machine learning and deep learning approaches: A review. Journal of Building Engineering, 63, 105444. https://doi.org/10.1016/J.JOBE.2022.105444

2.     McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics, 5(4), 115–133. https://doi.org/10.1007/BF02478259

3.     Meng, Z., Hu, Y., & Ancey, C. (2020). Using a data driven approach to predict waves generated by gravity driven mass flows. Water (Switzerland), 12(2). https://doi.org/10.3390/W12020600

4.     Reinoso-Peláez, E. L., Gianola, D., & González-Recio, O. (2022). Genome-Enabled Prediction Methods Based on Machine Learning. Methods in Molecular Biology, 2467, 189–218. https://doi.org/10.1007/978-1-0716-2205-6_7/COVER

5.     Fortuin, V. (2022). Priors in Bayesian Deep Learning: A Review. International Statistical Review, 90(3), 563–591. https://doi.org/10.1111/INSR.12502

6.     Ahmadi, N., Adiono, T., Purwarianti, A., Constandinou, T. G., & Bouganis, C. S. (2022). Improved Spike-Based Brain-Machine Interface Using Bayesian Adaptive Kernel Smoother and Deep Learning. IEEE Access, 10, 29341–29356. https://doi.org/10.1109/ACCESS.2022.3159225

7.     Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7), 1527–1554. https://doi.org/10.1162/NECO.2006.18.7.1527

8.     Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507. https://doi.org/10.1126/SCIENCE.1127647/SUPPL_FILE/HINTON.SOM.PDF

9.     Kozma, R., Ilin, R., & Siegelmann, H. T. (2018). Evolution of Abstraction Across Layers in Deep Learning Neural Networks. Procedia Computer Science, 144, 203–213. https://doi.org/10.1016/J.PROCS.2018.10.520

10. Aggarwal, H. K., Mani, M. P., & Jacob, M. (2019). MoDL: Model-Based Deep Learning Architecture for Inverse Problems. IEEE Transactions on Medical Imaging, 38(2), 394–405. https://doi.org/10.1109/TMI.2018.2865356

11. Nguyen, T. Q., Weitekamp, D., Anderson, D., Castello, R., Cerri, O., Pierini, M., Spiropulu, M., & Vlimant, J. R. (2019). Topology Classification with Deep Learning to Improve Real-Time Event Selection at the LHC. Computing and Software for Big Science, 3(1), 1–14. https://doi.org/10.1007/S41781-019-0028-1/TABLES/3

12. Talukder, A., Barham, C., Li, X., & Hu, H. (2021). Interpretation of deep learning in genomics and epigenomics. Briefings in Bioinformatics, 22(3), 1–16. https://doi.org/10.1093/BIB/BBAA177

13. Routhier, E., & Mozziconacci, J. (2022). Genomics enters the deep learning era. PeerJ, 10, e13613. https://doi.org/10.7717/PEERJ.13613/FIG-2

14. Burrello, J., Burrello, A., Vacchi, E., Bianco, G., Caporali, E., Amongero, M., Airale, L., Bolis, S., Vassalli, G., Cereda, C. W., Mulatero, P., Bussolati, B., Camici, G. G., Melli, G., Monticone, S., & Barile, L. (2022). Supervised and unsupervised learning to define the cardiovascular risk of patients according to an extracellular vesicle molecular signature. Translational Research, 244, 114–125. https://doi.org/10.1016/J.TRSL.2022.02.005

15. Alloghani, M., Al-Jumeily, D., Mustafina, J., Hussain, A., & Aljaaf, A. J. (2020). A Systematic Review on Supervised and Unsupervised Machine Learning Algorithms for Data Science. 3–21. https://doi.org/10.1007/978-3-030-22475-2_1

16. Li, Y., Li, W., Xiong, J., Xia, J., & Xie, Y. (2020). Comparison of Supervised and Unsupervised Deep Learning Methods for Medical Image Synthesis between Computed Tomography and Magnetic Resonance Images. BioMed Research International, 2020. https://doi.org/10.1155/2020/5193707

17. Rahbar, M., Mahdavinejad, M., Markazi, A. H. D., & Bemanian, M. (2022). Architectural layout design through deep learning and agent-based modeling: A hybrid approach. Journal of Building Engineering, 47, 103822. https://doi.org/10.1016/J.JOBE.2021.103822

18. Gilik, A., Ogrenci, A. S., & Ozmen, A. (2022). Air quality prediction using CNN+LSTM-based hybrid deep learning architecture. Environmental Science and Pollution Research, 29(8), 11920–11938. https://doi.org/10.1007/S11356-021-16227-W/METRICS

19. Stahlschmidt, S. R., Ulfenborg, B., & Synnergren, J. (2022). Multimodal deep learning for biomedical data fusion: a review. Briefings in Bioinformatics, 23(2). https://doi.org/10.1093/BIB/BBAB569

20. Shrestha, A., & Mahmood, A. (2019). Review of deep learning algorithms and architectures. IEEE Access, 7, 53040–53065. https://doi.org/10.1109/ACCESS.2019.2912200

21. Deng, L. (2014). A tutorial survey of architectures, algorithms, and applications for deep learning. APSIPA Transactions on Signal and Information Processing, 3, e2. https://doi.org/10.1017/ATSIP.2013.9

22. Newton, D. (2019). Generative Deep Learning in Architectural Design. Https://Doi.Org/10.1080/24751448.2019.1640536, 3(2), 176–189. https://doi.org/10.1080/24751448.2019.1640536

23. Zheng, H., & Yuan, P. F. (2021). A generative architectural and urban design method through artificial neural networks. Building and Environment, 205, 108178. https://doi.org/10.1016/J.BUILDENV.2021.108178

24. Zhao, B., Feng, J., Wu, X., & Yan, S. (2017). A survey on deep learning-based fine-grained object classification and semantic segmentation. International Journal of Automation and Computing, 14(2), 119–135. https://doi.org/10.1007/S11633-017-1053-3/METRICS

25. Cumbajin, M., Stoean, R., Aguado, J., & Joya, G. (2022). Hybrid Deep Learning Architecture Approach for Photovoltaic Power Plant Output Prediction. Lecture Notes in Networks and Systems, 379 LNNS, 26–37. https://doi.org/10.1007/978-3-030-94262-5_3/COVER

26. Abuhmed, T., El-Sappagh, S., & Alonso, J. M. (2021). Robust hybrid deep learning models for Alzheimer’s progression detection. Knowledge-Based Systems, 213, 106688. https://doi.org/10.1016/J.KNOSYS.2020.106688

27. Miotto, R., Wang, F., Wang, S., Jiang, X., & Dudley, J. T. (2018). Deep learning for healthcare: review, opportunities and challenges. Briefings in Bioinformatics, 19(6), 1236–1246. https://doi.org/10.1093/BIB/BBX044

28. Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural Networks, 61, 85–117. https://doi.org/10.1016/J.NEUNET.2014.09.003

29. Li, J., Zhang, T., Luo, W., Yang, J., Yuan, X. T., & Zhang, J. (2017). Sparseness Analysis in the Pretraining of Deep Neural Networks. IEEE Transactions on Neural Networks and Learning Systems, 28(6), 1425–1438. https://doi.org/10.1109/TNNLS.2016.2541681

30. Belciug, S. (2020). Logistic regression paradigm for training a single-hidden layer feedforward neural network. Application to gene expression datasets for cancer research. Journal of Biomedical Informatics, 102. https://doi.org/10.1016/J.JBI.2019.103373

31. Bailly, A., Blanc, C., Francis, É., Guillotin, T., Jamal, F., Wakim, B., & Roy, P. (2022). Effects of dataset size and interactions on the prediction performance of logistic regression and deep learning models. Computer Methods and Programs in Biomedicine, 213, 106504. https://doi.org/10.1016/J.CMPB.2021.106504

32. Singh, S. P., Wang, L., Gupta, S., Goli, H., Padmanabhan, P., & Gulyás, B. (2020). 3D Deep Learning on Medical Images: A Review. Sensors 2020, Vol. 20, Page 5097, 20(18), 5097. https://doi.org/10.3390/S20185097

33. Alzubaidi, L., Zhang, J., Humaidi, A. J., Al-Dujaili, A., Duan, Y., Al-Shamma, O., Santamaría, J., Fadhel, M. A., Al-Amidie, M., & Farhan, L. (2021). Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. Journal of Big Data 2021 8:1, 8(1), 1–74. https://doi.org/10.1186/S40537-021-00444-8

34. Aloysius, N., & Geetha, M. (2018). A review on deep convolutional neural networks. Proceedings of the 2017 IEEE International Conference on Communication and Signal Processing, ICCSP 2017, 2018-January, 588–592. https://doi.org/10.1109/ICCSP.2017.8286426

35. Garcia-Isla, G., Muscato, F. M., Sansonetti, A., Magni, S., Corino, V. D. A., & Mainardi, L. T. (2022). Ensemble classification combining ResNet and handcrafted features with three-steps training. Physiological Measurement, 43(9), 094003. https://doi.org/10.1088/1361-6579/AC8F12

36. Trieu, T., Martinez-Fundichely, A., & Khurana, E. (2020). DeepMILO: A deep learning approach to predict the impact of non-coding sequence variants on 3D chromatin structure. Genome Biology, 21(1), 1–11. https://doi.org/10.1186/S13059-020-01987-4/FIGURES/4

37. Gaafar, A. S., Dahr, J. M., & Hamoud, A. K. (2022). Comparative Analysis of Performance of Deep Learning Classification Approach based on LSTM-RNN for Textual and Image Datasets. Informatica, 46(5), 21–28. https://doi.org/10.31449/INF.V46I5.3872

38. Matsuo, Y., LeCun, Y., Sahani, M., Precup, D., Silver, D., Sugiyama, M., Uchibe, E., & Morimoto, J. (2022). Deep learning, reinforcement learning, and world models. Neural Networks, 152, 267–275. https://doi.org/10.1016/J.NEUNET.2022.03.037

39. Bai, Q., Zhou, J., & He, L. (2022). PG-RNN: using position-gated recurrent neural networks for aspect-based sentiment classification. Journal of Supercomputing, 78(3), 4073–4094. https://doi.org/10.1007/S11227-021-04019-5/METRICS

40. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/NECO.1997.9.8.1735

41. Hamayel, M. J., & Owda, A. Y. (2021). A Novel Cryptocurrency Price Prediction Model Using GRU, LSTM and bi-LSTM Machine Learning Algorithms. AI 2021, Vol. 2, Pages 477-496, 2(4), 477–496. https://doi.org/10.3390/AI2040030

42. Yu, Y., Si, X., Hu, C., & Zhang, J. (2019). A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures. Neural Computation, 31(7), 1235–1270. https://doi.org/10.1162/NECO_A_01199

43. Ravanelli, M., Brakel, P., Omologo, M., & Bengio, Y. (2018). Light Gated Recurrent Units for Speech Recognition. IEEE Transactions on Emerging Topics in Computational Intelligence, 2(2), 92–102. https://doi.org/10.1109/TETCI.2017.2762739

44. Su, Y., & Kuo, C. C. J. (2019). On extended long short-term memory and dependent bidirectional recurrent neural network. Neurocomputing, 356, 151–161. https://doi.org/10.1016/J.NEUCOM.2019.04.044

45. Wang, J., Wang, P., Tian, H., Tansey, K., Liu, J., & Quan, W. (2023). A deep learning framework combining CNN and GRU for improving wheat yield estimates using time series remotely sensed multi-variables. Computers and Electronics in Agriculture, 206, 107705. https://doi.org/10.1016/J.COMPAG.2023.107705

46. Suh, D., Lee, J. W., Choi, S., & Lee, Y. (2021). Recent Applications of Deep Learning Methods on Evolution- and Contact-Based Protein Structure Prediction. International Journal of Molecular Sciences 2021, Vol. 22, Page 6032, 22(11), 6032. https://doi.org/10.3390/IJMS22116032

47. Amanatidis, D., Vaitsi, K., & Dossis, M. (2022). Deep Neural Network Applications for Bioinformatics. 7th South-East Europe Design Automation, Computer Engineering, Computer Networks and Social Media Conference, SEEDA-CECNSM 2022. https://doi.org/10.1109/SEEDA-CECNSM57760.2022.9932895

48. Sabrina Azmi, N., Samah, A. A., Abdul Majid, H., Ali Shah, Z., Hashim, H., Syaza Azman, N., Bahru, J., & Ezzeddin Kamil Mohamed Hashim, M. (2022). Classifying Sarcoma Cancer Using Deep Neural Networks Based on Multi-Omics Data. International Journal of Innovative Computing, 12(1), 73–80. https://doi.org/10.11113/IJIC.V12N1.360

49. AlQuraishi, M., & Sorger, P. K. (2021). Differentiable biology: using deep learning for biophysics-based and data-driven modeling of molecular mechanisms. Nature Methods 2021 18:10, 18(10), 1169–1180. https://doi.org/10.1038/s41592-021-01283-4

50. Eraslan, G., Avsec, Ž., Gagneur, J., & Theis, F. J. (2019). Deep learning: new computational modelling techniques for genomics. Nature Reviews Genetics 2019 20:7, 20(7), 389–403. https://doi.org/10.1038/s41576-019-0122-6

51. Dsouza, K. B., Maslova, A., Al-Jibury, E., Merkenschlager, M., Bhargava, V. K., & Libbrecht, M. W. (2022). Learning representations of chromatin contacts using a recurrent neural network identifies genomic drivers of conformation. Nature Communications 2022 13:1, 13(1), 1–19. https://doi.org/10.1038/s41467-022-31337-w

52. Ghanbari, M., & Ohler, U. (2020). Deep neural networks for interpreting RNA-binding protein target preferences. Genome Research, 30(2), 214–226. https://doi.org/10.1101/GR.247494.118

53. Lin, E., Lin, C. H., & Lane, H. Y. (2021). Machine Learning and Deep Learning for the Pharmacogenomics of Antidepressant Treatments. Clinical Psychopharmacology and Neuroscience, 19(4), 557. https://doi.org/10.9758/CPN.2021.19.4.577

54. Vaz, J. M., & Balaji, S. (2021). Convolutional neural networks (CNNs): concepts and applications in pharmacogenomics. Molecular Diversity 2021 25:3, 25(3), 1569–1584. https://doi.org/10.1007/S11030-021-10225-3

55. Pan, X., Lin, X., Cao, D., Zeng, X., Yu, P. S., He, L., Nussinov, R., & Cheng, F. (2022). Deep learning for drug repurposing: Methods, databases, and applications. Wiley Interdisciplinary Reviews: Computational Molecular Science, 12(4), e1597. https://doi.org/10.1002/WCMS.1597

56. Akpokiro, V., Martin, T., & Oluwadare, O. (2022). EnsembleSplice: ensemble deep learning model for splice site prediction. BMC Bioinformatics, 23(1), 1–22. https://doi.org/10.1186/S12859-022-04971-W/FIGURES/5

57. Afshar, S., Braun, P. R., Han, S., & Lin, Y. (2023). A multimodal deep learning model to infer cell-type-specific functional gene networks. BMC Bioinformatics 2023 24:1, 24(1), 1–12. https://doi.org/10.1186/S12859-023-05146-X

58. Li, Z., Gao, E., Zhou, J., Han, W., Xu, X., & Gao, X. (2023). Applications of deep learning in understanding gene regulation. Cell Reports Methods, 3(1), 100384. https://doi.org/10.1016/J.CRMETH.2022.100384

59. Yuan, Y., & Bar-Joseph, Z. (2019). Deep learning for inferring gene relationships from single-cell expression data. Proceedings of the National Academy of Sciences of the United States of America, 116(52), 27151–27158. https://doi.org/10.1073/PNAS.1911536116/SUPPL_FILE/PNAS.1911536116.SD02.XLSX

60. Schultze, J. L., Büttner, M., & Becker, M. (2022). Swarm immunology: harnessing blockchain technology and artificial intelligence in human immunology. Nature Reviews Immunology 2022 22:7, 22(7), 401–403. https://doi.org/10.1038/s41577-022-00740-1

61. Medina, S., Ihrie, R. A., & Irish, J. M. (2022). Learning cell identity in immunology, neuroscience, and cancer. Seminars in Immunopathology 2022 45:1, 45(1), 3–16. https://doi.org/10.1007/S00281-022-00976-Y

62. Kumaran, M., Subramanian, U., & Devarajan, B. (2019). Performance assessment of variant calling pipelines using human whole exome sequencing and simulated data. BMC Bioinformatics, 20(1), 1–11. https://doi.org/10.1186/S12859-019-2928-9/FIGURES/8

63. Hentges, L. D., Sergeant, M. J., Cole, C. B., Downes, D. J., Hughes, J. R., & Taylor, S. (2022). LanceOtron: a deep learning peak caller for genome sequencing experiments. Bioinformatics, 38(18), 4255–4263. https://doi.org/10.1093/BIOINFORMATICS/BTAC525

64. Chen, X., Wang, X., Zhang, K., Fung, K. M., Thai, T. C., Moore, K., Mannel, R. S., Liu, H., Zheng, B., & Qiu, Y. (2022). Recent advances and clinical applications of deep learning in medical image analysis. Medical Image Analysis, 79, 102444. https://doi.org/10.1016/J.MEDIA.2022.102444

65. Tasaki, S., Gaiteri, C., Mostafavi, S., & Wang, Y. (2020). Deep learning decodes the principles of differential gene expression. Nature Machine Intelligence 2020 2:7, 2(7), 376–386. https://doi.org/10.1038/s42256-020-0201-6

66. Singh, R., Lanchantin, J., Robins, G., & Qi, Y. (2016). DeepChrome: deep-learning for predicting gene expression from histone modifications. Bioinformatics, 32(17), i639–i648. https://doi.org/10.1093/BIOINFORMATICS/BTW427

67. Yin, Q., Wu, M., Liu, Q., Lv, H., & Jiang, R. (2019). DeepHistone: A deep learning approach to predicting histone modifications. BMC Genomics, 20(2), 11–23. https://doi.org/10.1186/S12864-019-5489-4/FIGURES/6

68. Li, W., Wong, W. H., & Jiang, R. (2019). DeepTACT: predicting 3D chromatin contacts via bootstrapping deep learning. Nucleic Acids Research, 47(10), e60–e60. https://doi.org/10.1093/NAR/GKZ167

69. Boudellioua, I., Kulmanov, M., Schofield, P. N., Gkoutos, G. V., & Hoehndorf, R. (2019). DeepPVP: Phenotype-based prioritization of causative variants using deep learning. BMC Bioinformatics, 20(1), 1–8. https://doi.org/10.1186/S12859-019-2633-8/TABLES/1

70. Kuenzi, B. M., Park, J., Fong, S. H., Sanchez, K. S., Lee, J., Kreisberg, J. F., Ma, J., & Ideker, T. (2020). Predicting Drug Response and Synergy Using a Deep Learning Model of Human Cancer Cells. Cancer Cell, 38(5), 672-684.e6. https://doi.org/10.1016/J.CCELL.2020.09.014

71. Rani, P., Dutta, K., & Kumar, V. (2022). Artificial intelligence techniques for prediction of drug synergy in malignant diseases: Past, present, and future. Computers in Biology and Medicine, 144, 105334. https://doi.org/10.1016/J.COMPBIOMED.2022.105334

72. Liu, H., Zhao, Y., Zhang, L., & Chen, X. (2018). Anti-cancer Drug Response Prediction Using Neighbor-Based Collaborative Filtering with Global Effect Removal. Molecular Therapy – Nucleic Acids, 13, 303–311. https://doi.org/10.1016/J.OMTN.2018.09.011

73. Sahraeian, S. M. E., Liu, R., Lau, B., Podesta, K., Mohiyuddin, M., & Lam, H. Y. K. (2019). Deep convolutional neural networks for accurate somatic mutation detection. Nature Communications 2019 10:1, 10(1), 1–10. https://doi.org/10.1038/s41467-019-09027-x

74. Liang, Q., Bible, P. W., Liu, Y., Zou, B., & Wei, L. (2020). DeepMicrobes: taxonomic classification for metagenomics with deep learning. NAR Genomics and Bioinformatics, 2(1). https://doi.org/10.1093/NARGAB/LQAA009

75. Friedman, S., Gauthier, L., Farjoun, Y., & Banks, E. (2020). Lean and deep models for more accurate filtering of SNP and INDEL variant calls. Bioinformatics, 36(7), 2060–2067. https://doi.org/10.1093/BIOINFORMATICS/BTZ901

76. Luo, R., Wong, C. L., Wong, Y. S., Tang, C. I., Liu, C. M., Leung, C. M., & Lam, T. W. (2020). Exploring the limit of using a deep neural network on pileup data for germline variant calling. Nature Machine Intelligence, 2020 2:4, 2(4), 220–227. https://doi.org/10.1038/s42256-020-0167-4

77. Mahmud, M., Kaiser, M. S., McGinnity, T. M., & Hussain, A. (2021). Deep Learning in Mining Biological Data. Cognitive Computation, 13(1), 1–33. https://doi.org/10.1007/S12559-020-09773-X/FIGURES/6

78. Jagadeesh, A. V., & Gardner, J. L. (2022). Texture-like representation of objects in human visual cortex. Proceedings of the National Academy of Sciences of the United States of America, 119(17), e2115302119. https://doi.org/10.1073/PNAS.2115302119/SUPPL_FILE/PNAS.2115302119.SAPP.PDF

79. Rust, N. C., & Jannuzi, B. G. L. (2022). Identifying Objects and Remembering Images: Insights From Deep Neural Networks. Https://Doi.Org/10.1177/09637214221083663, 31(4), 316–323. https://doi.org/10.1177/09637214221083663

80. Moinian, S., Vegh, V., & Reutens, D. (2023). Towards automated in vivo parcellation of the human cerebral cortex using supervised classification of magnetic resonance fingerprinting residuals. Cerebral Cortex, 33(5), 1550–1565. https://doi.org/10.1093/CERCOR/BHAC155

81. Wang, H., Huang, L., Du, C., Li, D., Wang, B., & He, H. (2021). Neural Encoding for Human Visual Cortex with Deep Neural Networks Learning “What” and “Where.” IEEE Transactions on Cognitive and Developmental Systems, 13(4), 827–840. https://doi.org/10.1109/TCDS.2020.3007761

82. Domínguez-García, C. M., Serrano-Juárez, C. A., Rodríguez-Camacho, M., Moreno-Villagómez, J., Araujo Solís, M. A., & Prieto-Corona, B. (2022). Neuropsychological intervention in attention and visuospatial skills in two patients with Williams syndrome with different types of genetic deletion. Https://Doi.Org/10.1080/21622965.2022.2063723. https://doi.org/10.1080/21622965.2022.2063723

83. Chen, Y., Zhang, F., Zhang, C., Xue, T., Zekelman, L. R., He, J., Song, Y., Makris, N., Rathi, Y., Golby, A. J., Cai, W., & O’Donnell, L. J. (2022). White Matter Tracts are Point Clouds: Neuropsychological Score Prediction and Critical Region Localization via Geometric Deep Learning. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 13431 LNCS, 174–184. https://doi.org/10.1007/978-3-031-16431-6_17/COVER

84. Moetesum, M., Diaz, M., Masroor, U., Siddiqi, I., & Vessio, G. (2022). A survey of visual and procedural handwriting analysis for neuropsychological assessment. Neural Computing and Applications, 34(12), 9561–9578. https://doi.org/10.1007/S00521-022-07185-6/TABLES/4

85. Wen, J., Li, G., Chen, J., Sun, Q., Liu, W., Guan, W., Lai, B., Szatkiewicz, J. P., He, X., Sullivan, P. F., & Li, Y. (2022). DeepGWAS: Enhance GWAS Signals for Neuropsychiatric Disorders via Deep Neural Network. BioRxiv, 2022.12.20.521277. https://doi.org/10.1101/2022.12.20.521277

86. Lanjewar, M. G., Parab, J. S., & Shaikh, A. Y. (2022). Development of framework by combining CNN with KNN to detect Alzheimer’s disease using MRI images. Multimedia Tools and Applications, 82(8), 12699–12717. https://doi.org/10.1007/S11042-022-13935-4/METRICS

87. Ren, Y., Han, J., Chen, C., Xu, Y., & Bao, T. (2022). Computer Vision and Pattern Recognition Technology on Account of Deep Neural Network. 162–169. https://doi.org/10.1007/978-3-031-24367-7_16/COVER

88. Liu, S., Huang, S., Wang, S., Muhammad, K., Bellavista, P., & Ser, J. Del. (2023). Visual Tracking in Complex Scenes: A Location Fusion Mechanism Based on the Combination of Multiple Visual Cognition Flows. Information Fusion. https://doi.org/10.1016/J.INFFUS.2023.02.005

89. Sarker, I. H. (2021). Deep Learning: A Comprehensive Overview on Techniques, Taxonomy, Applications and Research Directions. SN Computer Science, 2(6), 1–20. https://doi.org/10.1007/S42979-021-00815-1/FIGURES/6

BIOINFORANGE