Argparse

argparse是一个命令行解析的标准库，通过参数可以根据add_argument()的action选项触发不同的action。 # arg-demo.py import argparse def get_args(): parser = argparse.

Functools

functools module functools 模块包含了非常多很有用的函数，甚至可以说是比较常用的。这些函数主要用于创建高阶函数、函数式编程和装饰器的函数和装饰器。

Collections

collections module collections提供了些新类型：deque和defaultdict, namedtuple等。

glob

glob module glob通过匹配来查找文件，该模块暴露出来三个函数glob, iglob, escape

Requests Encoding

问题 我一直以为按照meta去搞编码就ok了，然而事实上是然并卵。。例子之一是199IT的网页，看到meta charset=“utf-8” 在使用requests获取网页的时候，发现搞下来的中文文本都是乱码(response.

Pyspider Docker Deployment

缘起

最近在搞docker部署pyspider，pyspider是一个非常灵活用户友好的爬虫框架，基于该框架能够很容易写出可控的爬虫。 由于对docker不够熟悉，花了不少时间在解决部署问题上，很多地方纠结了蛮久的。写点笔记记录使用经历。 当然我最后还是没单机docker部署pyspider。。不过单机也用不着组件化。。

首先，将redis和postgresql启动

# docker run --name postgres -v /data/postgres/:/var/lib/postgresql/data \
-d -p $LOCAL_IP:5432:5432 -e POSTGRES_PASSWORD="" postgres
# docker run --name redis -d -p  $LOCAL_IP:6379:6379 redis

Docker基本使用

docker使用笔记 随用随记，并不成系统，主要是方便自己忘记的时候查阅。 如何进入运行起来的docker container 如果想要进去运行起来的container里看看日志什么的，那么使用docker 1.

Git手记

经常碰到提交信息写错…或者commit后临时又要添加文件的操作? 那么可以这样： 先提交forgotten_file

Ubuntu Bits Complie Bits Assembly

64位Ubuntu系统编译32位汇编 汇编链接生成可执行文件 ld -o eatsyscall eatsycscall.