トップ «前の日記(2021-07-29) 最新 次の日記(2021-08-01)» 編集

はじめてのにき

ここの位置付け

2004|11|
2005|03|04|05|06|07|08|09|10|11|12|
2006|01|02|03|04|05|06|07|08|09|10|11|12|
2007|01|02|03|04|05|06|07|08|09|10|11|12|
2008|01|02|03|04|05|06|07|08|09|10|11|12|
2009|01|02|03|04|05|06|07|08|09|10|11|12|
2010|01|02|03|04|05|06|07|08|09|10|11|12|
2011|01|02|03|04|05|06|07|08|09|10|11|12|
2012|01|02|03|04|05|06|07|08|09|10|11|12|
2013|01|02|03|04|05|06|07|08|09|10|11|12|
2014|01|02|03|04|05|06|07|08|09|10|11|12|
2015|01|02|03|04|05|06|07|08|09|10|11|12|
2016|01|02|03|04|05|06|07|08|09|10|11|12|
2017|01|02|03|04|05|06|07|08|09|10|11|12|
2018|01|02|03|04|05|06|07|08|09|10|11|12|
2019|01|02|03|04|05|06|07|08|09|10|11|12|
2020|01|02|03|04|05|06|07|08|09|10|11|12|
2021|01|02|03|04|05|06|07|08|09|10|

ToDo:


2021-07-30

_ triton

https://gigazine.net/news/20210730-triton/

25行以下はすごいなと

https://triton-lang.org/getting-started/tutorials/03-matrix-multiplication.html#sphx-glr-getting-started-tutorials-03-matrix-multiplication-py

を見ると…。うーん?

   # matrix multiplication
   pid = tl.program_id(0)
   grid_m = (M + BLOCK_M - 1) // BLOCK_M
   grid_n = (N + BLOCK_N - 1) // BLOCK_N
   # re-order program ID for better L2 performance
   width = GROUP_M * grid_n
   group_id = pid // width
   group_size = min(grid_m - group_id * GROUP_M, GROUP_M)
   pid_m = group_id * GROUP_M + (pid % group_size)
   pid_n = (pid % width) // (group_size)
   # do matrix multiplication
   rm = pid_m * BLOCK_M + tl.arange(0, BLOCK_M)
   rn = pid_n * BLOCK_N + tl.arange(0, BLOCK_N)
   rk = tl.arange(0, BLOCK_K)
   A = A + (rm[:, None] * stride_am + rk[None, :] * stride_ak)
   B = B + (rk[:, None] * stride_bk + rn[None, :] * stride_bn)
   acc = tl.zeros((BLOCK_M, BLOCK_N), dtype=tl.float32)
   for k in range(K, 0, -BLOCK_K):
       a = tl.load(A)
       b = tl.load(B)
       acc += tl.dot(a, b)
       A += BLOCK_K * stride_ak
       B += BLOCK_K * stride_bk

をさしている感じかな?

(20:12)

お名前:
E-mail:
コメント:
人生、宇宙、すべての答え

2021年
7月
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

search / home / index

全てリンクフリーです。 コード片は自由に使用していただいて構いません。 その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。 なにかあれば下記メールアドレスへ。

shinichiro.hamaji _at_ gmail.com / shinichiro.h