Pickle Error

Error Message cPickle.PicklingError: Can't pickle shell python3 -m trace -tg --ignore-dir /Library $1 bug code def process_way(): workers = 10 with futures.

Blog Ci

比较早之前，我的博客用的是jeklly, 当时各种换插件和配置都很麻烦, 后来果断切到了hexo。 当时想要用CI来做博客的自动生成，也省得每次换电脑都要重新安装hexo，可惜当时搞岔了travis的配置，导致次生成静态页面后push到github的候就挂了。 于是一放就是几个月，这两天捡起来重新做，终于发现问题出在哪里了，于是记录下。

Argparse

argparse是一个命令行解析的标准库，通过参数可以根据add_argument()的action选项触发不同的action。 # arg-demo.py import argparse def get_args(): parser = argparse.

Functools

functools module functools 模块包含了非常多很有用的函数，甚至可以说是比较常用的。这些函数主要用于创建高阶函数、函数式编程和装饰器的函数和装饰器。

Collections

collections module collections提供了些新类型：deque和defaultdict, namedtuple等。

glob

glob module glob通过匹配来查找文件，该模块暴露出来三个函数glob, iglob, escape

Requests Encoding

问题 我一直以为按照meta去搞编码就ok了，然而事实上是然并卵。。例子之一是199IT的网页，看到meta charset=“utf-8” 在使用requests获取网页的时候，发现搞下来的中文文本都是乱码(response.

Pyspider Docker Deployment

缘起

最近在搞docker部署pyspider，pyspider是一个非常灵活用户友好的爬虫框架，基于该框架能够很容易写出可控的爬虫。 由于对docker不够熟悉，花了不少时间在解决部署问题上，很多地方纠结了蛮久的。写点笔记记录使用经历。 当然我最后还是没单机docker部署pyspider。。不过单机也用不着组件化。。

首先，将redis和postgresql启动

# docker run --name postgres -v /data/postgres/:/var/lib/postgresql/data \
-d -p $LOCAL_IP:5432:5432 -e POSTGRES_PASSWORD="" postgres
# docker run --name redis -d -p  $LOCAL_IP:6379:6379 redis

Docker基本使用

docker使用笔记 随用随记，并不成系统，主要是方便自己忘记的时候查阅。 如何进入运行起来的docker container 如果想要进去运行起来的container里看看日志什么的，那么使用docker 1.