大數據、機器學習與深度學習類命令行工具匯總
抓緊你的鍵盤!無需鼠標或者GUI,我們完全能夠在OS X與Linux上完成大量操作。面向各類*N*X系統的大量出色命令行工具一直在技術行業擁有極高人氣,且已經擴展至Python、Go、NodeJS乃至各類混合型工具當中。即使大家并不打算通過命令行運行整條數據處理管道,這些工具仍然能夠帶來可觀助益。
《命令行上的數據科學(Data Science at the Command Line)》一書與GitHub皆為我們帶來大量高水平的預處理與后處理類工具選項,大家亦可根據需要對其進行針對性調整。在今天的文章中,我將向各位強烈推薦自己最為喜愛的那些相關工具。
CSVKit絕對值得一試。其能夠利用逗號分隔值實現您所需要的一切。大家可以通過cvs cut剪切列、使用cvsgrip進行列過濾、通過sql2csv將PostgreSQL中的數據提取至CSV、使用cols從列中剪切子集并通過in2cv將微軟Excel轉換為CSV。
快速工具推薦清單
Python Data Analysis (Agate).
ImageMagick (edit, create, convert, flip, and alter images from the command-line).
JSON 2 CSV.
XML2JSON via NodeJS.
HTML to image.
HTML to PDF.
Weather Underground CLI.
NIFI Shell.
Gatling for Testing with Scala/JVM.
Kafka Producer with JSON.
Kafka Consumer with JSON.
Create JSON.
Image MetaData Extraction.
OSQuery for Querying Infrastructure.
Tesseract for Command Line OCR.
Hadoop/HDFS Command Line Tools.
CURL.
WGET.
MQTT CLI (NPM.JS).
大家亦可以編寫簡短的Python腳本以通過命令行實現數據處理。
from nltk.sentiment.vader
import SentimentIntensityAnalyzer
import sys
sid = SentimentIntensityAnalyzer()
ss = sid.polarity_scores(sys.argv[1])
print('Compound {0} Negative {1} Neutral {2} Positive {3} '.format(ss['compound'], ss['neg'], ss['neu'], ss['pos']))
只需要五行Python腳本即可實現情緒分析。
大家甚至可以通過命令行實現TensorFlow調試(不過其目前尚處于beta測試階段,所以可能會出現一些問題)。
原文標題:Big Data, Machine Learning, and Deep Learning Command Line Tools
原文作者:Tim Spann
中國· 上海

CopyRight?2009-2019 上海谷谷網絡科技有限公司 All Rights Reserved. 滬ICP備11022482號-8
- top
- 在線咨詢
-
添加微信咨詢