よく難しいと言われます。がまあ人によって指しているものが違う気がする
1. バカパラ2. atomic op を利用したり、 mutex そのものを実装する3. ヘテロなマルチスレッド
1 は正直、簡単で最速→正義。 NN で言うとデータパラレル最高、モデルパラレル死すべし、となります