Alink教程(Python版)
该文档涉及的组件

第25.1.3节 深度学习相关插件的下载

使用深度学习组件,需要用到TensorFlow环境,这个环境不是默认安装的。需要借助Alink插件下载器(PluginDownloader),使用介绍参见 https://www.yuque.com/pinshu/alink_guide/plugin_downloader


下面做几个实验,深入了解一下。先运行如下代码,获取默认的下载文件夹:

print(AlinkGlobalConfiguration.getPluginDir())

运行结果如下,

/Users/yangxu/opt/anaconda3/lib/python3.8/site-packages/pyalink/lib/plugins

即,默认的下载文件夹是在"pyalink/lib"下的子文件夹“plugins”。用户可以使用AlinkGlobalConfiguration.setPluginDir方法,设置新的下载文件夹。


再运行如下代码,获取是否自动进行插件下载的属性。

print("Auto Plugin Download : ")

print(AlinkGlobalConfiguration.getAutoPluginDownload())

运行结果如下,

Auto Plugin Download : 
True

即,自动下载属性的默认值为“true”。用户可以使用AlinkGlobalConfiguration.setAutoPluginDownload方法更改设置。



了解Alink关于插件下载器的基本设置,在使用过程中可以使用两种方式:

  • 自动方式。如果你的运行环境,网络通畅,各组件会根据需要,自动进行下载。在第一次运行时,下载过程会增加运行时间,但用户不用了解当前组件所需的插件名称。
  • 手动方式。可以在运行前进行下载,运行过程中不依赖访问外网的。



我们看一下当前插件列表里有哪些内容,哪些和深度学习相关,代码如下。

downloader = AlinkGlobalConfiguration.getPluginDownloader()

print(downloader.listAvailablePlugins())

运行结果如下,

['derby', 'hadoop', 'hive', 'kafka', 'mysql', 'odps', 'onnx_predictor', 'oss', 'parquet', 'redis', 's3-hadoop', 's3-presto', 'sqlite', 'tf_predictor_linux', 'tf_predictor_macosx', 'tf_predictor_windows', 'torch_predictor', 'xgboost', 'base_cased_ckpt', 'base_cased_saved_model', 'base_cased_vocab', 'base_chinese_ckpt', 'base_chinese_saved_model', 'base_chinese_vocab', 'base_multilingual_cased_ckpt', 'base_multilingual_cased_saved_model', 'base_multilingual_cased_vocab', 'base_uncased_ckpt', 'base_uncased_saved_model', 'base_uncased_vocab', 'libtorch_linux', 'libtorch_macosx', 'libtorch_windows', 'tf115_python_env_linux', 'tf115_python_env_macosx', 'tf115_python_env_windows', 'tf231_python_env_linux', 'tf231_python_env_macosx', 'tf231_python_env_windows']

其中“tf231_python_env_macosx”为TensorFlow 2.3.1 适合 Mac OS的版本;“base_chinese_ckpt”为BERT组件所需的中文预训练模型文件。