2018-03-14 504 0

环境变量和命令sh和bash调用相关BASHSHcrontab修改环境变量和命令cron 最终使用一个 shell 执行每个命令。可以通过环境变量修改或定制 shell 的行为。 在 crontab 中很容易设置 shell 环境变量,只需要在crontab -e中输入: PATH=/usr/bin:/bin:/usr/local/bin指定一个有序的目录列表作为 shell 搜索路径。 cron 预定义了五个环境变量: PATH 的默认值是 /usr/bin:/binSHELL 预设置为 /bin/sh。LOGNAME 初始化为 crontab 所有者的用户名。HOME 设置为 crontab 所有者的主目录,比如 /home/joe。MAILTO 设置为 crontab 所有者的名称。 要想修改这些默认值或设置任何变量,只需在 crontab 中设置适当的环境变量。 sh和bashc

2017-08-03 1889 0

使用Python3打印对象时,出现了UnicodeEncodeError UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-7: ordinal not in range(128)不是说好Python3不用担心字符编码的问题的么 查看终端编码 [GCC 4.8.4] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import sys>>> sys.stdout<_io.TextIOWrapper name='<stdout>' mode='w' encoding='ANSI_X3.4-1968'>>>>这个ANSI_X3.4-1968的编码是什么东西?是Linux默认编码,Goog

2017-05-31 1894 0

安装java参考安装java8 安装hadoop从hadoop官网下载hadoop-2.8.0并解压,拷贝本机的hadoop配置文件/etc/hadoop/conf到当前路径下。 设置环境变量 export HADOOP_HOME=/home/zhangkai/data/tools/runtime/hadoop-2.8.0export HADOOP_CONF_DIR=$HADOOP_HOME/confexport YARN_HOME=$HADOOP_HOMEexport YARN_CONF_DIR=$HADOOP_CONF_DIRexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/nativeexport PATH=$HADOOP_HOME/bin:$PATH安装pig从pig官网下载pig-0.16.0并解压,设置环境变量 e

2018-10-17 3153 0

InstallationSetup spark 1.6 on hadoop 2.6.0Log collectionSpark ConceptsRDD:Resilient Distributed DatasetRDD的特点RDD的操作RDD的使用RDD的容错机制Stage划分理解闭包(closures)RDD数据同步RDD优化技巧RDD缓存转换并行化减少shuffle网络传输使用高性能的算子广播大变量使用Kryo优化序列化性能 Installationbrew install scalabrew install apache-spark SparkContext是Spark的上下文对象,是Spark程序的主入口点,负责连接到spark cluster。可用于创建RDD,在集群上创建累加器和广播变量。 每个jvm只能激活一个SparkContext对象,创建新的SparkContext对象时,

2018-08-08 1166 0

log对数损失函数(逻辑回归,也叫交叉熵损失)熵,交叉熵,相对熵平方损失函数(最小二乘法, Ordinary Least Squares )指数损失函数(Adaboost)Hinge损失函数(SVM)log对数损失函数(逻辑回归,也叫交叉熵损失)逻辑回归的推导中,它假设样本服从伯努利分布(0-1分布),然后求得满足该分布的似然函数,接着取对数求极值。而逻辑回归并没有求似然函数的极值,而是把极大化当做是一种思想,进而推导出它的经验风险函数为:最小化负的似然函数。从损失函数的视角来看,它就成了log损失函数了。 log损失函数标准形式: L(Y,P(Y∣X))=−logP(Y∣X) L ( Y, P ( Y | X ) ) = - log P ( Y | X ) L(Y,P(Y∣X))=−logP(Y∣X) 逻辑回归的 P(Y=y∣x)P( Y = y | x ) P(Y=y∣x) 表达式如下

2017-03-05 2443 0

mongo shell中的整数问题mongodb的shell相当于一个Javascript解释器,可以在其中执行Javascript命令。而在js里面,整数和小数都是number类型,并不区分。mongodb数据采用BSON(Binary JSON)文档型存储,BSON有两种整型数据类型:32位有符号整型(INT)和64位无符号整型(LONG)。如果手动在mongo的shell中插入或更新整数,这个整数会被替换为浮点数。对于已存在的记录,如果更新整数(比如id),这个整数会被替换为浮点数,但是对该记录的其他项更新不会影响已存在的整数项。 一个常用的场景是,使用一个自增的id。用一个集合ids来记录所有其他集合的自增id,在pymogo中用如下命令来获取一个id: db.ids.find_and_modify(query={'name': 'user'}, update={'$inc': {

2017-03-05 2024 0

如果我的关于这个话题的最新帖子没有提醒到你的话,那我明确地说,我是一个 Vim 的粉丝。所以在你们中的某些人向我扔石头之前,我先向你们展示一系列“鲜为人知的 Vim 命令”。我的意思是,一些你可能以前没有碰到过的命令,但可能对你来说很有用。作为第二免责声明,我不知道哪些命令是你可能知道的,以及哪些是对你来说有用的。因此这些命令实际上是一些相对少见,但很可能很有用的 Vim 命令。 保存文件并退出 :x和下面的命令是等价的: :wq都是保存当前文件并退出。 (译者注:这两个命令实际上并不完全等价,当文件被修改时两个命令时相同的。但如果未被修改,使用 :x 不会更改文件的修改时间,而使用 :wq 会改变文件的修改时间。) 基本计算器 在插入模式下,你可以使用 Ctrl+r 键然后输入 =,再输入一个简单的算式。按 Enter 键,计算结果就会插入到文件中。例如,尝试输入: Ctrl+r '=2

2018-07-29 258 0

使用pth文件扩展python环境python常用库子线程退出pycurl安装错误使用pth文件扩展python环境原理上Python运行环境查找库文件本质是对sys.path列表的遍历,所以要导入我们自己的库,可以使用这几种方法: 在文件中使用sys.path.append将库的路径添加进去调整PYTHONPATH环境变量将库文件放到sys.path的路径中(比如/usr/local/lib/python2.7/dist-packages) 这些方法都不够方便.最简单的方法是用.pth文件来实现.Python在遍历已知库文件目录的过程中,如果见到一个.pth文件就灰将文件中所记录的路径加到sys.path中,比如在/usr/local/lib/python2.7/dist-packages添加一个.pth文件,文件内容是我们的库路径就可以了. python常用库pip 使用 pip

2014-11-07 1900 0

JSONP 简介CSRF(Cross-site request forgery)跨站请求伪造XSS (Cross Site Scripting) 跨站脚本攻击JSONP 简介首先要理解下面几个概念: 一个众所周知的问题,Ajax直接请求普通文件存在跨域无权限访问的问题,甭管你是静态页面、动态网页、web服务、WCF,只要是跨域请求,一律不准。不过我们又发现,Web页面上调用js文件时则不受是否跨域的影响(不仅如此,我们还发现凡是拥有”src”这个属性的标签都拥有跨域的能力,比如<script>、<img>、<iframe>)。于是可以判断,当前阶段如果想通过纯web端(ActiveX控件、服务端代理、属于未来的HTML5之Websocket等方式不算)跨域访问数据就只有一种可能,那就是在远程服务器上设法把数据装进js格式的文件里,供客户端调用和进一步处理。恰巧我们已经知道有一种叫做JSO