Welcome to CLH's Blog!
厚德 求真 砺学 笃行-
dpkg command
dpkg 命令
“dpkg ”是“Debian Packager ”的简写。为 “Debian” 专门开发的套件管理系统，方便软件的安装、更新及移除。所有源自“Debian”的“Linux ”发行版都使用 “dpkg”，例如 “Ubuntu”、“Knoppix ”等。
dpkg是Debian软件包管理器的基础，它被伊恩·默多克创建于1993年。dpkg与RPM十分相似，同样被用于安装、卸载和供给.deb软件包相关的信息。语法
1.Install software. dpkg -i <.deb file name> eg: dpkg -i avg71flm_r28-1_i386.deb
2.Install all software. eg: dpkg -R /usr/local/src
3.查看已安装的所有软件： dpkg -l | grep ***
4.帮助： dpkg -help
5.显示包的具体信息： dpkg -p package-name eg: dpkg -p cacti
【Ref】 1.dpkg百度百科
-
CLOC tool
CLOC
CLOC Count Lines of Code.
cloc counts blank lines, comment lines, and physical lines of source code in many programming languages. Given two versions of a code base, cloc can compute differences in blank, comment, and source lines. It is written entirely in Perl with no dependencies outside the standard distribution of Perl v5.6 and higher (code from some external modules is embedded within cloc) and so is quite portable. cloc is known to run on many flavors of Linux, FreeBSD, NetBSD, OpenBSD, Mac OS X, AIX, HP-UX, Solaris, IRIX, z/OS, and Windows.Ref
[1] CLOC
-
SenseTime HPC
- SenseTime HPC
- 刘文志：毕业于中国科学院研究生院，现为SenseTime异构并行计算部门主管、总监。曾于2011年至2014年间于英伟达担任并行计算工程师。后就职百度深度学习研究院高级研发工程师，负责异构计算组日常工作。工作期间参与两项美国专利申请。已出版《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业经应用的并行优化》、《OpenCL异构并行计算》等四本个人著作。
- 颜深根：博士毕业于中国科学院大学，现为SenseTime主任研究员，香港中文大学博士后。曾于2013年6月至2014年2月在美国北卡州立大学做访问研究，为2015年国际并行处理大会程序委员会委员，2015年网络与并行计算国际会议程序委员会委员。曾就职于百度深度学习研究院，任资深研发工程师。博士期间在并行计算领域发表论文多篇，曾连续两年以第一作者身份在并行处理顶级国际会议PPoPP发表论文（大陆唯一）。硕士期间曾创办自己的公司并盈利几十万元，为著名开源计算机视觉库（OpenCV）OpenCL分支的主要贡献者之一，《OpenCL异构计算》一书译者之一。
- 孔畅： 深圳大学硕士毕业，SenseTime异构并行计算部门经理。师从陈国良院士，硕士期间在国家高性能中心（深圳分中心）研究并行计算和计算机体系结构方向，国家研究生奖学金获得者。参加国家重大科技项目“基于龙芯3B八核处理器的高性能计算机KD-90”，翻译出版了图书《Intel Parallel Studio环境下的并行程序设计》，并发表了多篇学术论文。毕业后曾就职于百度IDL异构计算组，主要研究方向是基于GPU的并行分布式优化技术和深度学习相关算法。
- 高洋： 毕业于中国科学院研究生院，现为SenseTime异构并行计算部门高级经理。曾在阿里核心系统部专用计算组担任研发工程师，后于百度深度学习研究院担任高级研发工程师。
- 孙刚： 中国科学院大学博士，现为SenseTime视觉计算高级研究员。先后在微软亚洲研究院视觉计算组进行研究、百度深度学习研究院异构计算组进行研究实习。博士期间在计算机视觉领域发表多篇论文，在多个公共数据集上取得最好的图像分类结果。
SenseTime HPC
刘文志：毕业于中国科学院研究生院，现为SenseTime异构并行计算部门主管、总监。曾于2011年至2014年间于英伟达担任并行计算工程师。后就职百度深度学习研究院高级研发工程师，负责异构计算组日常工作。工作期间参与两项美国专利申请。已出版《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业经应用的并行优化》、《OpenCL异构并行计算》等四本个人著作。
颜深根：博士毕业于中国科学院大学，现为SenseTime主任研究员，香港中文大学博士后。曾于2013年6月至2014年2月在美国北卡州立大学做访问研究，为2015年国际并行处理大会程序委员会委员，2015年网络与并行计算国际会议程序委员会委员。曾就职于百度深度学习研究院，任资深研发工程师。博士期间在并行计算领域发表论文多篇，曾连续两年以第一作者身份在并行处理顶级国际会议PPoPP发表论文（大陆唯一）。硕士期间曾创办自己的公司并盈利几十万元，为著名开源计算机视觉库（OpenCV）OpenCL分支的主要贡献者之一，《OpenCL异构计算》一书译者之一。
孔畅： 深圳大学硕士毕业，SenseTime异构并行计算部门经理。师从陈国良院士，硕士期间在国家高性能中心（深圳分中心）研究并行计算和计算机体系结构方向，国家研究生奖学金获得者。参加国家重大科技项目“基于龙芯3B八核处理器的高性能计算机KD-90”，翻译出版了图书《Intel Parallel Studio环境下的并行程序设计》，并发表了多篇学术论文。毕业后曾就职于百度IDL异构计算组，主要研究方向是基于GPU的并行分布式优化技术和深度学习相关算法。
高洋： 毕业于中国科学院研究生院，现为SenseTime异构并行计算部门高级经理。曾在阿里核心系统部专用计算组担任研发工程师，后于百度深度学习研究院担任高级研发工程师。
孙刚： 中国科学院大学博士，现为SenseTime视觉计算高级研究员。先后在微软亚洲研究院视觉计算组进行研究、百度深度学习研究院异构计算组进行研究实习。博士期间在计算机视觉领域发表多篇论文，在多个公共数据集上取得最好的图像分类结果。
Ref
[1] SenseTime（商汤科技）HPC团队：如何实现Caffe训练GoogLeNet加速近14倍
[2] 专访 | 商汤HPC负责人刘文志（风辰）：未来战略的两大方向及招人的4个标准
- SenseTime HPC
-
TensorFlow Inference Error
TensorFlow Inference Error
When run Tensorflow_Inference.ipynb in ipython, an error occurred:
ValueError: Variable resnet_v1_50/conv1/weights already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:
File “/home/lc/lcl/py3/lib/python3.6/site-packages/tensorflow/contrib/framework/python/ops/variables.py”, line 277, in variable aggregation=aggregation)
File “/home/lc/lcl/py3/lib/python3.6/site-packages/tensorflow/contrib/framework/python/ops/arg_scope.py”, line 182, in func_with_args
return func(*args, **current_args)
File “/home/lc/lcl/py3/lib/python3.6/site-packages/tensorflow/contrib/framework/python/ops/variables.py”, line 350, in model_variable
aggregation=aggregation)Solution:
Insert the following code at the beginning of the block.tf.reset_default_graph() # To clear the default graph 重置当前的张量图，即清空所有的张量，在ipython中run jupyter notebook代码时，需要重置张量图，否则会报错
注：在training的时候，如果是在ipython中运行jupyter notebook，提示如下错误：
ValueError: Variable output/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:
File “", line 24, in create_symbol logits = tf.layers.dense(drop3, n_classes, name='output') File " ", line 8, in File "/home/lc/lcl/py3/lib/python3.6/site-packages/IPython/core/magics/execution.py", line 1238, in time exec(code, glob, local_ns) 同样需要加上述代码。
Ref
[1] DeepLearningFrameworks
[2] TensorFlow-Slim image classification model library
[3] Error in notebook: “ValueError: Variable conv1/weights already exists, disallowed. Did you mean to set reuse=True in VarScope” #8
[4] TF API r1.12
[5] Remove nodes from graph or reset entire default graph
-
Google Colab Demo
Google Colab Demo
About: Google Colab, Google’s free cloud service for AI developers. With Colab, you can develop deep learning applications on the GPU for free.
Colab info
import tensorflow as tf import keras as ks from tensorflow.python.client import device_lib print('TensorFlow version:',tf.__version__) print('TensorFlow path:',tf.__file__) print('keras version:',ks.__version__) print('keras path:',ks.__file__) print #!ls ../../ #!cat /proc/cpuinfo #!cat /proc/meminfo print('--------------meminfo---------------------') !free -mh print('------------------------------------------') print('--------------disinfo---------------------') !df -lh print('------------------------------------------') #!uname -a print('--------------sysinfo---------------------') !lsb_release -a print('------------------------------------------') print('--------------GPUinfo---------------------') !nvidia-smi device_lib.list_local_devices() print('------------------------------------------') print('--------Is GPU Working?-------------------') print(tf.test.is_gpu_available(cuda_only=False,min_cuda_compute_capability=None)) print(tf.test.gpu_device_name()) print('------------------------------------------')
neofetch info
#ipython !apt-get install neofetch neofetchResult:
Ref
[1] Google Colab Free GPU Tutorial
[2] Training and serving a realtime mobile object detector in 30 minutes with Cloud TPUs
[3] Google Colab 免费GPU服务器使用教程
[4] code
-
Linux X server
Linuxs X server连不上的解决方法
- Xshell远程操作服务器出现如果报错：
- cannot connect to X server
解决方法：
export DISPLAY=:0.0【Ref】
[1] export DISPLAY=:0.0的解释
- GitHub_Pages 1
- jekyll 1
- OpenCV 4
- Git 3
- OpenCL 8
- OpenGL 1
- Scrapy 1
- Python 4
- Crawler 1
- Deep_Learning 3
- GFW 2
- Wireless 1
- Virtual_WiFi 1
- Linux 11
- Face_Detection 2
- Face_Recognition 1
- Computer_Vision 7
- Job 1
- People_detect 1
- Software-Install 1
- Life 1
- Tools 2
- Deep_learning_Library 3
- MySQL 1
- Editor 1
- Travelling 1
- Deep_learning 1
- HPC 1
- Programming 1