techhub.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A hub primarily for passionate technologists, but everyone is welcome

Administered by:

Server stats:

4.6K
active users

#gpu

28 posts28 participants2 posts today

The Nvidia RTX A2000 6GB is not the best by far, it lacks VRAM. But computing wise and in term of fair use, with patience, @70W it is a really good deal. It is silent, small, and it works on older computers (no need to change the PSU). I think great for machine learning rather than generative AI, it supports #CUDA (it is for working e.g not gaming).

NB: non sponsored review

🌘 鏽程式碼運行於所有GPU之上
➤ 鏽程式碼跨足所有GPU平臺
rust-gpu.github.io/blog/2025/0
這篇文章介紹了Rust GPU專案的進展,展示了單一Rust程式碼庫能夠在所有主要GPU平臺上執行,包含NVIDIA的CUDA、AMD、Intel、Android的SPIR-V、Apple的Metal以及Windows的DirectX 12和WebGPU。此成就歸功於Rust GPU、Rust CUDA和Naga專案之間的協同合作,以及透過Rust特性的配置和編譯目標的選擇來達成。這個里程碑代表著Rust在跨平臺GPU計算領域的可能性。
+ 哇!這真是個令人興奮的消息!這代表著用Rust開發GPU應用程式將會變得更加容易和高效。
+ 雖然還有許多需要改進的地方,但這個專案的潛力非常巨大,期待看到它未來的發展!
#程式語言 #GPU #Rust

rust-gpu.github.io · Rust running on every GPU | Rust GPUI've built a demo of a single

In a sharp critique, former White House AI adviser Ben Buchanan argues the Trump administration’s decision to allow NVIDIA to sell advanced AI chips to China jeopardizes U.S. national security and technological dominance. The move reverses earlier bipartisan restrictions that had hobbled China’s AI progress by cutting off access to high-performance chips like NVIDIA’s H20, hardware China’s top firms openly admit they need.

archive.is/4875C

#tech#gpu#ai

🤖 Making genAI environmental assessment better

👉 We are going to publish world-first open LCA data on major recent AI GPU !

To address the data gap David Ekchajzer (Hubblo), Sophia Falk (Bonn University), Etienne Lees-Perasso (Tide); Augustin Wattiez & Thibault Pirson (UCLouvain) and Terra Nova Développement are doing the life cycle assessment of those GPUs:

- A100 SMX 40GB
- A100 PCIe
- H100 (!)
- Nvidia P100
- Nvidia RTXA4500
- Nvidia Titan RTX

#ai#nvidia#genai

國產 GPU 礪算 G100 效能曝光 OpenCL 跑分超越 NVIDIA RTX 4060
礪算科技自主研發的高階遊戲 GPU「礪算 G100」最新效能測試結果在 Geekbench 資料庫曝光,OpenCL 跑分達 111,290 分,較 NVIDIA GeForce RTX 4060 高出 10.16%,僅比最新 RTX 5060 低 7.96%。
#科技新聞 #GPU #NVIDIA RTX 4060 #礪算 G100
unwire.hk/2025/07/25/lisuan-g1

🌗 GPU 計算器:大語言模型記憶體需求估算
➤ 輕鬆掌握LLM硬體需求
calculator.inference.ai/
本文介紹了一款GPU計算器,旨在協助使用者估算執行大型語言模型 (LLM) 所需的GPU記憶體。該計算器涵蓋了模型參數配置、推論和訓練兩種場景,並針對不同精度(FP32, BF16, FP16, INT8)進行計算。計算結果包括模型大小、KV Cache大小、總推論空間以及訓練所需的記憶體。同時,計算器列出了兼容的GPU清單,並根據記憶體效率進行排序,方便使用者選擇合適的硬體。
+ 這工具太實用了!我一直在為選擇合適的GPU來跑LLM而苦惱,現在有了這個計算器,終於可以更明確地知道需要多少記憶體了。
+ 對於非專業人士來說,理解這些參數設定有點困難,如果能提供更簡單的操作介面和說明就更好了。
#人工智慧 #GPU #大語言模型 #記憶體 #計算

calculator.inference.aiGPU calculator