AMD EPYC 服务器问题

多进程大规模并行推理(nvi-notify)

为了避免多进程多开推理刷屏飞书

请设置环境变量NVI_NOTIFY_IGNORE_TASK为1，这样显卡监控脚本将忽略这个任务。

export NVI_NOTIFY_IGNORE_TASK=1

Intel MKL在AMD平台上会有性能问题，需要使用libfakeintel来伪装Intel CPU。

主要影响numpy

需要预载欺骗库

export LD_PRELOAD=/opt/lib/fakeintel/libfakeintel.so

注意：必须在python启动之前设置环境变量，否则无效。

conda默认安装MKL版本，pip安装的是OpenBLAS版本。

conda install numpy -y

pip版本锁死最多使用双线程！

如果使用MKL需要添加环境变量，修改线程同步方式

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU

or

import os

os.environ['MKL_SERVICE_FORCE_INTEL'] = '1'
os.environ['MKL_THREADING_LAYER'] = 'GNU'

不可以开启cache内存盘！