Requests Encoding
问题 我一直以为按照meta去搞编码就ok了,然而事实上是然并卵。。例子之一是199IT的网页,看到meta charset=“utf-8” 在使用requests获取网页的时候,发现搞下来的中文文本都是乱码(response.
Read more…Pyspider Docker Deployment
缘起
最近在搞docker部署pyspider,pyspider是一个非常灵活用户友好的爬虫框架,基于该框架能够很容易写出可控的爬虫。 由于对docker不够熟悉,花了不少时间在解决部署问题上,很多地方纠结了蛮久的。写点笔记记录使用经历。 当然我最后还是没单机docker部署pyspider。。不过单机也用不着组件化。。
首先,将redis和postgresql启动
Read more…# docker run --name postgres -v /data/postgres/:/var/lib/postgresql/data \ -d -p $LOCAL_IP:5432:5432 -e POSTGRES_PASSWORD="" postgres # docker run --name redis -d -p $LOCAL_IP:6379:6379 redis
Docker基本使用
docker使用笔记 随用随记,并不成系统,主要是方便自己忘记的时候查阅。 如何进入运行起来的docker container 如果想要进去运行起来的container里看看日志什么的,那么使用docker 1.
Read more…Git手记
经常碰到提交信息写错…或者commit后临时又要添加文件的操作? 那么可以这样: 先提交forgotten_file
Read more…Ubuntu Bits Complie Bits Assembly
64位Ubuntu系统编译32位汇编 汇编链接生成可执行文件 ld -o eatsyscall eatsycscall.
Read more…Total Occurrences of k in a sorted array
Read more…