Güncellemeler

Author: Zaryob

_layouts/default.html

@@ -178,7 +178,9 @@ <h1 class="heading-text" style="font-family: IBM Plex Sans, sans-serif; text-sha
           }
       }
   </script>
-
+  <script type="text/javascript" id="MathJax-script" async
+  src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-chtml.js">
+</script>
 </body>
 </html>
 

_layouts/post.html

@@ -3,7 +3,6 @@
 ---
 
 <link rel="stylesheet" href="{{site.baseurl}}/assets/css/post.css">
-
 <div class="col-md-10 col-lg-8 mx-auto">
 
     <div class="post-content">

_posts/2025-02-08-paralel-programlama.md renamed to _posts/2025-02-10-paralel-programlama.md

@@ -13,16 +13,25 @@ Düşünün ki bir yapay zeka modelini eğitirken kullanılan veri setleri, yaz
 
 İşte bu gibi büyük matematiksel işlemleri, meşhur "böl-parça yönet" stratejisiyle, şu filmlerde gördüğümüz devasa veri merkezlerinde, yüzlerce işlemcinin eş zamanlı çalıştığı sistemlerde; hatta kendi bilgisayarımızda oyunların Ray Tracing özelliğinde bile, paralel hesaplama yöntemleriyle işlemciye maliyetli hesaplamaları dağıtarak gerçekleştiriyoruz.
 
-Paralel hesaplama, birçok hesaplama veya işlemin aynı anda gerçekleştirilebilmesine imkan sağlayan bir yöntemdir. Görevleri ardışık (sıralı) olarak yerine getirmek yerine, problemi daha küçük, bağımsız (veya yarı-bağımsız) alt görevlere bölerek bunların aynı anda, birden fazla işlem birimi üzerinde çözebilmemizi sağlar.
-
 Şimdi paralel hesaplamanın ne olduğu ve nasıl çalıştığına daha yakından bir bakış atalım, diğer blog yazılarından farklı olarak hemen gidip CUDA ve MPI kütüphanelerine giriş yapıyorum ayağıyla kaynak kodundaki örnek kodları bir tur da ben paylaşmadan önce; paralel hesaplamada kullanılan bazı donanımsal, matematiksel ve gerek alt seviyeli gerek üst seviyeli tekniklere değinelim.
 
 # Paralel Hesaplama Nedir?
 
+Paralel hesaplama, birçok hesaplama veya işlemin aynı anda gerçekleştirilebilmesine imkan sağlayan bir yöntemdir. Görevleri ardışık (sıralı) olarak yerine getirmek yerine, problemi daha küçük, bağımsız (veya yarı-bağımsız) alt görevlere bölerek bunların aynı anda, birden fazla işlem birimi üzerinde çözebilmemizi sağlar.
+
 Paralel hesaplamanın tanımı, bir dizi hesaplamayı aynı anda gerçekleştirmek için birden fazla işlemci veya çekirdek kullanmak gibi şeklinde yapılabilir. Bu zamana kadar bilgisayar mühendisliği derslerinde gördüğümüz algoritmalarda, görevler tek tek işlendiği sıralı hesaplamalarla yapılmaktadır. Örneğin, bir grafik üzerinde potansiyel ağırlıkları hesaplamak ya da Dijkstra gibi algoritmalarda dalların kontrolünü sağlamak, sıralı hesaplamada büyük maliyet getirebilir. Bir Djikstra'yı ele alalım, en kısa yol uygulamasında her bir dallanma için en yüksek puanlı dalı seçerek hareket ederiz ancak oldu da yüksek puanlı dallarımız bizim için sonuç elde etmezse geriye dönerek çıkış şansımız bulunan olası diğer yolları tek tek gezeriz. Böyle bir graf üzerinde işlem yaparken eğer her bir dalın potansiyel ağırlığını hesaplamak istersek bu durumda karmaşıklığımız her bir graf için eleman sayısının faktoriyeli ile ifade edilecek. Diyelim ki gerçekten de Djikstra gibi algoritmik yaklaşımlarla çözemeyeceğimiz bir görev var, bu görevde beklenen potansiyel olarak iki nokta arasındaki tüm yolların adımlarının çıkarılması ve yolun toplam ağırlıklarının hesaplaması olsun. Hatta bir ileri adıma taşıyayım bu ikili nokta seçimi de graftaki tüm 2'li nokta kombinasyonları için yapılacak olsun. Bu gibi işlemleri tek bir çekirdekli bir donanımda koşturmak, O(n ^ 2 * n!) karmaşıklığa sahip bir problemi çözmeye çalışmak, veya devasa bir matris üzerinde aynı işlemleri uygulamak sıralı yapıldığı zaman çok büyük bir hesaplama maaliyeti demek.
 
 İşte paralel hesaplamada temel amaç, aynı anda birçok işlemi gerçekleştirebilen donanımlardan yararlanarak, hesaplama görevlerini yatay eksende dağıtarak hızlanmayı sağlamaktır. Bu yaklaşım, özellikle sıralı olarak gerçekleştirildiğinde işlem süresi çok uzun olabilecek karmaşık veya büyük ölçekli problemlerin çözümünde hayati öneme sahiptir. İşlemlerin paralelleştirmesi yaklaşımı, özellikle bilimsel simülasyonlar, makine öğrenimi ve veri analitiği gibi uygulamalarda kullanılmaktadır.
 
+## Paralel Hesaplamanın Tarihçesi ve Gelişimi
+
+İlk bilgisayarlar 1940’lar ve 1950’lerde sıralı hesaplama prensipleriyle çalışıyordu. Fakat hesaplama hızının yetersizliği, 1950’lerden itibaren paralel hesaplama yaklaşımının geliştirilmesine yol açtı.  
+Geleneksel bilgisayarlar, 1940’lardan itibaren geliştirilen tek işlemcili sistemlerle, verilen komutları sırayla yürütür. Bu da, her bir komutun tamamlanmasını beklemek anlamına gelir. Seri hesaplama, basit ve lineer işlemler için yeterli olsa da, karmaşık ve büyük ölçekli problemler için yetersiz kalır.
+
+İşte 1950’lerde büyük ölçekli problemlerin çözülebilmesi için başlayan bu evrim, problemlerin alt parçalara ayrılarak aynı anda çözümlenmesi fikrini getirdi. 1980’lerde Caltech’in Concurrent Computation projesi ve 1990’larda ASCI Red süper bilgisayarı gibi örnekler, paralel hesaplamanın gücünü ortaya koydu. ASCI Red gibi sistemler, gerçek zamanlı veri işleme ve simülasyonlarda kullanılarak, örneğin uzay mekiği kontrolü gibi kritik görevlerde başarı sağlamıştır.
+
+Bugün, çok çekirdekli işlemciler, GPU’lar ve bulut tabanlı dağıtık sistemler sayesinde paralel hesaplama, kişisel cihazlardan süper bilgisayarlara kadar her yerde uygulanmaktadır.
+
 # Paralel Hesaplama Nasıl Çalışır?
 
 Paralel hesaplama daha önce belirttiğim gibi "böl-parçala-yönet" mantığına benzer olarak 5 aşamalı bir metodoloji getirir.
@@ -80,35 +89,37 @@ Paralel azaltma, bir değerler kümesini tek bir özet değere indirgeme işleml
 
 ### Örnek: Toplama Azaltma
 
-Bir dizi \( \{x_0, x_1, \dots, x_{n-1}\} \) verildiğinde, toplam:
+Bir dizi $$( {x_0, x_1, \dots, x_{n-1}} )$$ verildiğinde, toplam:
+
+
+$$ S = x_0 + x_1 + \cdots + x_{n-1} $$
 
-\[
-S = x_0 + x_1 + \cdots + x_{n-1}.
-\]
 
 Paralel azaltmada, dizi çiftlere bölünür ve her çift aynı anda toplanır:
 
-- **İlk Adım:** \( s_j^{(1)} = x_{2j} + x_{2j+1} \) şeklinde hesaplanır \( j = 0, \ldots, \frac{n}{2}-1 \).
-- **İkinci Adım:** Sonuçlar toplanır: \( s_k^{(2)} = s_{2k}^{(1)} + s_{2k+1}^{(1)} \).
+- **İlk Adım:** $$( j = 0, \ldots, \frac{n}{2}-1 )$$ olmak üzere $$( s_j^{(1)} = x_{2j} + x_{2j+1} )$$ şeklinde hesaplanır.
+- **İkinci Adım:** Sonuçlar toplanır: $$( s_k^{(2)} = s_{2k}^{(1)} + s_{2k+1}^{(1)} )$$.
 
-Bu işlem, bir ağaç yapısı boyunca devam eder ve tek bir toplam elde edilene kadar sürer. Matematiksel olarak, toplama işlemi birleşim özelliğine sahipse, toplama sırası sonucu etkilemez ve işlem \( O(\log n) \) adımda tamamlanabilir.
+Bu işlem, bir ağaç yapısı boyunca devam eder ve tek bir toplam elde edilene kadar sürer. Matematiksel olarak, toplama işlemi birleşim özelliğine sahipse, toplama sırası sonucu etkilemez ve işlem $$( O(\log n) )$$ adımda tamamlanabilir.
 
 ---
 
 ## 2. Paralel Öncelik (Prefix) İşlemleri
 
-Paralel öncelik veya tarama (scan), bir dizinin tüm kısmi azaltmalarını hesaplayan bir işlemdir. Birleşim özelliğine sahip bir ikili işlem \( \oplus \) için, bir dizinin içeren öncelik toplamı şu şekilde tanımlanır:
+Paralel öncelik veya tarama (scan), bir dizinin tüm kısmi azaltmalarını hesaplayan bir işlemdir. Birleşim özelliğine sahip bir ikili işlem $$( \oplus )$$ için, bir dizinin içeren öncelik toplamı şu şekilde tanımlanır:
 
-\[
+$$
+[
 y_i = x_0 \oplus x_1 \oplus \cdots \oplus x_i, \quad i = 0, \ldots, n-1.
-\]
+]
+$$
 
 Bu işlem, birçok algoritmada—özellikle yinelemeli ilişkileri çözme, histogram oluşturma veya veri sıkıştırmada—kritik öneme sahiptir. Paralel öncelik algoritması tipik olarak iki aşamada çalışır:
 
 - **Yukarı Tarama (Reduction) Aşaması:** Toplamı hesaplamak için bir azaltma ağacı oluşturulur.
 - **Aşağı Tarama Aşaması:** Her öncelik değeri, kısmi toplamların ağacın aşağısına yayılmasıyla hesaplanır.
 
-Birleşim özelliği sayesinde, ağaç yapısı ne olursa olsun aynı sonuç elde edilir ve bu işlem \( O(\log n) \) zamanında verimli şekilde uygulanabilir.
+Birleşim özelliği sayesinde, ağaç yapısı ne olursa olsun aynı sonuç elde edilir ve bu işlem $$( O(\log n) )$$ zamanında verimli şekilde uygulanabilir.
 
 ---
 
@@ -118,17 +129,21 @@ Birleşim özelliği sayesinde, ağaç yapısı ne olursa olsun aynı sonuç eld
 
 ### Örnek: Sonlu Elemanlar Yöntemi (FEM)
 
-Bir PDE, uzaysal bir alan \( \Omega \) üzerinde tanımlı olsun. Alan bölme yöntemleri, \( \Omega \) alanını \( \Omega_1, \Omega_2, \ldots, \Omega_p \) alt alanlarına ayırır. Her alt alanın PDE’si eşzamanlı olarak çözülür ve ardından alt alan çözümleri ara yüz koşulları ile birleştirilir. Matematiksel olarak, PDE şu şekilde verilir:
+Bir PDE, uzaysal bir alan $$( \Omega )$$ üzerinde tanımlı olsun. Alan bölme yöntemleri, $$( \Omega )$$ alanını $$( \Omega_1, \Omega_2, \ldots, \Omega_p )$$ alt alanlarına ayırır. Her alt alanın PDE’si eşzamanlı olarak çözülür ve ardından alt alan çözümleri ara yüz koşulları ile birleştirilir. Matematiksel olarak, PDE şu şekilde verilir:
 
-\[
+$$
+[
 \mathcal{L}(u) = f \quad \text{in } \Omega,
-\]
+]
+$$
 
 Her alt problem ise
 
-\[
+$$
+[
 \mathcal{L}(u_i) = f \quad \text{in } \Omega_i,
-\]
+]
+$$
 
 şeklinde, uygun sınır ve ara yüz koşullarıyla tanımlanır. Yinelemeli yöntemler (örneğin Schwarz yöntemleri), çözümlerin küresel çözüme yakınsamasını sağlar.
 
@@ -140,11 +155,13 @@ Birçok yüksek performanslı sayısal algoritma, LU, QR ve Cholesky ayrışıml
 
 ### Örnek: LU Ayrışımı
 
-Bir \( A \) matrisi, alt üçgen matris \( L \) ve üst üçgen matris \( U \) olarak ayrışır:
+Bir $$( A )$$ matrisi, alt üçgen matris $$( L )$$ ve üst üçgen matris $$( U )$$ olarak ayrışır:
 
-\[
+$$
+[
 A = LU.
-\]
+]
+$$
 
 Paralel ortamda matris, bloklara ayrılabilir. Her blok üzerinde yapılan işlemler (örneğin, Schur tamamlayıcısının hesaplanması) farklı işlemcilerde eşzamanlı gerçekleştirilebilir. Matris çarpımı ve ters çevirme gibi işlemlerin matematiksel özelliklerinden yararlanarak bu işlemler paralel olarak hızlandırılır.
 
@@ -156,19 +173,19 @@ Paralel ortamda matris, bloklara ayrılabilir. Her blok üzerinde yapılan işle
 
 ## 1. Veri Paralelliği (Data Parallelism)
 
-Veri paralelliği, paralelliğin en basit formudur. Bu modelde, aynı işlem farklı veri parçalarına eşzamanlı olarak uygulanır. Matematiksel olarak, bir dizi veya vektör \( \mathbf{x} = (x_0, x_1, \ldots, x_{n-1}) \) verildiğinde ve her eleman için eleman bazlı bir dönüşüm \( f(x) \) hesaplanmak istendiğinde, paralel formülasyon şu şekilde olur:
+Veri paralelliği, paralelliğin en basit formudur. Bu modelde, aynı işlem farklı veri parçalarına eşzamanlı olarak uygulanır. Matematiksel olarak, bir dizi veya vektör $$ \mathbf{x} = (x_0, x_1, \ldots, x_{n-1}) $$ verildiğinde ve her eleman için eleman bazlı bir dönüşüm $$ f(x) $$ hesaplanmak istendiğinde, paralel formülasyon şu şekilde olur:
 
-\[
+$$
 y_i = f(x_i) \quad \text{( } i = 0, 1, \dots, n-1 \text{ )}
-\]
+$$
 
-Örneğin, iki vektör \( \mathbf{a} \) ve \( \mathbf{b} \) verildiğinde, toplamları:
+Örneğin, iki vektör $$ \mathbf{a} $$ ve $$ \mathbf{b} $$ verildiğinde, toplamları:
 
-\[
+$$
 \mathbf{c} = \mathbf{a} + \mathbf{b} \quad \text{ve} \quad c_i = a_i + b_i,
-\]
+$$
 
-tüm \( i \) değerleri için aynı anda hesaplanabilir. SIMD (Tek Komut, Çoklu Veri) mimarileri veya modern GPU'lar, bu tür aritmetik işlemleri binlerce çekirdekle paralel olarak yapabilir ve genel hesaplama süresini önemli ölçüde azaltır.
+tüm $$ i $$ değerleri için aynı anda hesaplanabilir. SIMD (Tek Komut, Çoklu Veri) mimarileri veya modern GPU'lar, bu tür aritmetik işlemleri binlerce çekirdekle paralel olarak yapabilir ve genel hesaplama süresini önemli ölçüde azaltır.
 
 ---
 
@@ -180,17 +197,17 @@ Görev paralelliği, karmaşık bir problemi farklı görevler halinde ayrışt
 
 Hızlı Fourier Dönüşümü (FFT), matematiğin paralelleştirmeye yön verdiği klasik bir örnektir. Bir dizinin ayrık Fourier dönüşümü (DFT) şu şekilde tanımlanır:
 
-\[
+$$
 X_k = \sum_{n=0}^{N-1} x_n e^{-2\pi i kn/N}, \quad k = 0, \ldots, N-1.
-\]
+$$
 
-FFT algoritması, Danielson-Lanczos leması temelinde bir DFT’yi \( N/2 \) boyutlu iki alt DFT’ye ayıran bir böl ve fethet yaklaşımını kullanır:
+FFT algoritması, Danielson-Lanczos leması temelinde bir DFT’yi $$ N/2 $$ boyutlu iki alt DFT’ye ayıran bir böl ve fethet yaklaşımını kullanır:
 
-\[
+$$
 X_k = \sum_{n=0}^{N/2-1} x_{2n} e^{-2\pi i k (2n)/N} + e^{-2\pi i k/N} \sum_{n=0}^{N/2-1} x_{2n+1} e^{-2\pi i k (2n+1)/N}.
-\]
+$$
 
-Bu daha küçük dönüşümler paralel olarak hesaplanır ve sonuçlar, uygun "twiddle faktörleri" \( e^{-2\pi i k/N} \) ile birleştirilir. Bu matematiksel yapı, doğal olarak paralel uygulamalara uygundur.
+Bu daha küçük dönüşümler paralel olarak hesaplanır ve sonuçlar, uygun "twiddle faktörleri" $$ e^{-2\pi i k/N} $$ ile birleştirilir. Bu matematiksel yapı, doğal olarak paralel uygulamalara uygundur.
 
 
 ## Sonuç