Files
ctranslate2-cuda-arm64/README.md
T
eric a7767b26a1
build / build (push) Failing after 1m6s
ci: installer node dans l'image CUDA, préalable des actions JavaScript
Premier run : actions/checkout@v4 échouait sur « exec: node: executable
file not found » — le runner exécute les actions avec le node du conteneur,
et l'image nvidia/cuda n'en a pas.
2026-09-24 18:28:20 +02:00

93 lines
4.0 KiB
Markdown

# CTranslate2 avec CUDA pour Linux arm64
Roue Python et paquets Debian de [CTranslate2](https://github.com/OpenNMT/CTranslate2)
compilés **avec le backend CUDA** pour Linux aarch64 : NVIDIA DGX Spark (GB10,
sm_121), Grace Hopper (sm_90) et Jetson Orin (sm_87).
## Pourquoi
Le projet amont publie sur PyPI des roues `ctranslate2` pour aarch64 **sans CUDA**
(sa chaîne de construction n'installe le toolkit que pour x86_64). Sur un DGX Spark,
`faster-whisper` et `WhisperX` tournent donc en CPU alors que CUDA 13 est bien là.
Ce dépôt reproduit la construction amont en y ajoutant CUDA, et publie le résultat.
## Installation
Roue Python (index de paquets Gitea, à côté de PyPI) :
```bash
pip install ctranslate2 --extra-index-url https://git.lemesre.org/api/packages/<owner>/pypi/simple
pip install faster-whisper # tire la roue ci-dessus
```
Paquets Debian (bibliothèque C++ et en-têtes, pour un programme C++ ou une liaison
FFI comme la crate Rust `ct2rs`) :
```bash
sudo curl -fsSL https://git.lemesre.org/api/packages/<owner>/debian/repository.key -o /etc/apt/keyrings/gitea-<owner>.asc
echo "deb [signed-by=/etc/apt/keyrings/gitea-<owner>.asc] https://git.lemesre.org/api/packages/<owner>/debian noble main" | sudo tee /etc/apt/sources.list.d/gitea-<owner>.list
sudo apt update && sudo apt install libctranslate2-4 libctranslate2-dev
```
Les bibliothèques CUDA **ne sont pas embarquées** : CTranslate2 les charge à
l'exécution (`CUDA_DYNAMIC_LOADING`). Il faut cuBLAS 13 et cuDNN 9 trouvables,
soit par le toolkit CUDA de la machine (`/usr/local/cuda`), soit par les paquets
pip `nvidia-cublas` et `nvidia-cudnn-cu13` (ceux que `torch` cu130 installe déjà).
Pilote NVIDIA 580 ou plus récent. Sans GPU, la même roue tourne en CPU.
Contrat des artefacts :
| Artefact | Étiquette | Cible |
| --- | --- | --- |
| `ctranslate2-4.6.3-cp3*-manylinux_2_35_aarch64.whl` | glibc ≥ 2.35 | Ubuntu 22.04, DGX OS / Ubuntu 24.04, JetPack 6 |
| `libctranslate2-4_4.6.3-1~cuda13_arm64.deb`, `libctranslate2-dev_…deb` | jammy, noble | idem |
## Construction
Tout passe par `build.sh`, dans l'image CUDA (aucun GPU nécessaire) :
```bash
docker build -t ct2-cuda-arm64 .
docker run --rm -v "$PWD:/src" -e JOBS=20 ct2-cuda-arm64 all # ≈ 20 min sur 20 cœurs
ls dist/
```
Étapes séparées : `deps`, `source` (clone amont avec sous-modules), `deb`
(`dpkg-buildpackage -b`, compile la bibliothèque), `wheel` (roue liée à la
bibliothèque du paquet, réparée par `auditwheel`), `check` (symboles CUDA
présents, `lintian`). Les versions sont épinglées dans `versions.env`.
Validation sur une machine avec GPU, après installation de la roue :
```bash
python3 tools/smoke-gpu.py # compte les GPU vus par CTranslate2
python3 tools/smoke-gpu.py reunion.wav # faster-whisper large-v3, langue forcée fr
```
## Intégration continue
`.gitea/workflows/build.yml` tourne sur un runner Gitea Actions arm64
(étiquette `ubuntu-22.04-arm64`) dans l'image CUDA, sans GPU. Chaque poussée
construit et dépose les artefacts ; un tag `v*` les publie en plus dans les
registres PyPI et Debian du propriétaire du dépôt.
L'image CUDA n'a pas de `node` : le workflow l'installe avant le checkout, sinon les actions JavaScript échouent (« exec: "node": executable file not found »).
Secrets attendus dans le dépôt : `PACKAGES_USER` et `PACKAGES_TOKEN` (jeton
personnel Gitea à portée `write:package`). Le jeton automatique du job n'a pas
cette portée.
Le runner borne un job à 6 CPU et 24 Go, deux heures au plus. `nproc` y
annonce pourtant tous les cœurs de l'hôte : `JOBS=6` est fixé dans le workflow.
## Versions et maintenance
Une reconstruction par version amont de CTranslate2 et par version majeure de
CUDA : modifier `versions.env` et `debian/changelog`, tagger `v<amont>-<révision>`.
La liste `CUDA_ARCH_LIST` est explicite parce que la valeur amont `Common`
ignore sm_121.
Ce dépôt ne fait que compiler et empaqueter : aucune modification du code
amont. Licence MIT, comme CTranslate2 ; Ruy et cpu_features (sous-modules) sont
sous Apache-2.0.