「心」炒股的感悟

太久没有写博客了,今天趁G20中美和谈之后,美股大涨之际谈下最近所思所想。

先交代一下背景吧,最近股市波动,每个夜晚都让我心惊胆颤,心神不宁,无法集中注意力,这段时间里,我经过了多次的失误操作以后,总资产一度跌破了30%,在这迷茫之际,我决定将我的感悟写下。

这篇文章不是想谈我是怎么炒股亏钱的,而是想谈一个有关的感悟。

随着时代的进步,物质生活的丰富,人类可以做出的选择也是越来越多样化了,在这有多样选择的世界里,大家是感觉更幸福了呢,还是更焦虑了呢。

就我而言:多样的选择使人更焦虑。

为什么这么说呢?

这是我从亲身体会里总结出来的,先说个例子吧:

上小学中学的时候,必须要穿校服,没得选择,觉得穿校服是件很自然的事情,每天轻松愉快的很快就换好了衣服去上学了。

到大学以后,没有校服,要自己买衣服了,就多了选择。

牌子、颜色、尺寸、价格、质量都可以选,选来选去,费时费钱又费精力。

选择多了,人,也就变焦虑了。

这还只是买衣服罢,你还得选择每天要穿什么衣服,还要选择如何搭配,考虑出行的场合,与谁会面,考虑我是不是这周穿过了这套衣服,考虑会不会和别人撞衫,考虑太多太多。。。

多样的选择给生活增添了一份负担。

再举个股票的例子:

先要说句很有争议的话:相比炒美股,炒A股是幸福的。

你可能在第一时间就会反驳我说的这句话,心想你肯定是美股亏太多钱,觉得A股有涨跌幅限制就会亏少一点,却忘记美股是牛市,A股是熊市的事实。

我呢,当然是知道这一点的,但我想说的幸福并不是在哪好赚钱,在哪不好赚钱的问题,我比较的依据是对人的折磨程度。

在A股,一般的散户是只能做多的(这里说的是一般的散户啦,别计较什么融资什么的),并且只能T+1交易,也就是说你当天买入要次日后才能卖出。

炒A股时我是这样的:我看好一支股票,我唯一的选择就是要在什么价位上买多少股呢,我当天买进去以后,这天的交易就结束了,因为我无法再支配我买进去的这部分资金了,它是涨还是跌我都只能看着。

但在美股,一切就不一样了。

美股里可以做空和做多,可以轻易的融资上杠杆,最重要的是它可以T+0交易,也就是说你可以在当天买入当天卖出,反悔无数次(有代价的)。

炒美股时我是这样的:我看好一支股票,先选择在什么价位买多少股,买进去以后就一直盯着盘,因为我还有机会反悔啊。我买进去以后就看着,它一跌我就在想我是不是该提前抛掉止损。它一涨我又在想,它是不是已经涨到顶点了该抛掉止盈。每一次方向的变动都会在我的心里掀起不小的波澜,不断拍打我的意志,折磨我的内心。

在A股里,你一天的选择是有限的,你进行完当天的交易以后你就只能看着。而在美股里,你一天的选择是无限的,你可以不断地买进卖出买进卖出。美股给你更多的选择,同时给你带来了更多的焦虑与压力。

我不是想说哪个市场好哪个市场坏,我只是想表明焦虑的来源是选择的多样性造成的,越多的选择带来越大的焦虑。

人类的一大共同点就是害怕损失,害怕自己的利益没有最大化,这就能解释为什么选择使人焦虑,人需要做出选择,通常都是在几个对自己利益程度不同的选项中选择,而且一般都没有完美的选项(e.g., 这衣服超好看超舒服,但好贵啊。 这工作超轻松超适合我,但工资好低啊。诸如此类)。为了让自己的利益最大化,我们会不断的比较不同的选项,从不同选项中找到最优解,这个过程是很耗费精力的,选择的越久,耗费的精力越大,人也就会越来越焦虑,越来越烦躁。

焦虑影响人们做出理性的决定。

一旦被选择折磨久了,注定变得焦虑,在焦躁不安的情况下,人们的理性思维能力会下降,容易冲动,做出欠思考的决定(e.g., 你可能之前研究一个股票了很久决定要在这个股票跌到13刀再买入,但当你看到这股票势如破竹的涨到16刀的时候,冲动地放弃自己这么久的研究的成果,直接买入,结果追高了)。因此在有更多选择的美股市场里,你更容易变得焦虑,并更容易做出错误的操作。

所以说,当你要做出重大决定的时候,冷静下来思考一下:这个决定是不是一时冲动造成的,是非理性的呢?

在这越来越自由、物质种类越来越繁多的时代里,选择自然而然也就会变得很多,要如何在这个时代里做到不再焦虑,似乎是一件比较困难的事呢。

雨田子雨廷

于2018/12/4凌晨

「心」熬夜有感

嗯。。现在是凌晨五点,我还没睡着。

十一点上床,十二点睡觉。

睡前看了会儿手机,有点兴奋,睡不着。

努力睡着,挣扎着睡着,睡不着。

想着熬夜对身体不好,更拼命地睡着,更睡不着。

数绵羊?998、999、1000。好,两点了,睡不着。

想到以前背单词,背着背着就困了,于是开始背单词,背完单词,莫名地更加精神,三点了,睡不着。

越熬越害怕,怕今晚休息不够,明天没精力学习,心跳加速,睡不着。

四点钟,听到宿舍外清洁工阿姨已经开始工作了,我意识到这晚上已接近尾声。我渐渐开始不再焦虑了,睡不着的话,继续背单词也不错吧。今天没睡够,明天补上就好。

又打开扇贝单词直到现在。

五点钟,站在阳台,看见对面宿舍全部关着灯,听见树丛中虫子在鸣叫,我的内心感受着深夜的宁静。回想当初挣扎入睡,不由地觉得可笑。故觉得有必要记录一下,便打开博客记下此感。

嘛,其实很多事情都是这样的。

从一开始的 无知担心 到 痛苦焦虑 到最后 懂得了放下,才能得到解脱。

写完这篇以后已经五点四十七分了,决定去睡觉了。

 

[R.M.C] 用python实现微信控制电脑端虾米音乐(3)

接上篇 用python实现微信控制电脑端虾米音乐(2)

上篇里介绍了如何接受用户发送到微信的消息,做了个简单的echo程序,这次我们来讲SAE中完整的代码写完。

一、指令的处理以及储存

也就是图上画红圈的部分:

我们给weixinInterface.py里的POST方法中加上处理指令的代码(weixinInterface.py改后完整的代码见文章末尾):

# 检测是否为命令(是否为"cmd "开头)
if content.startswith("cmd "):
    command = content[4:] # 截取指令的内容
    mc = pylibmc.Client() # 获取Memcache实例
    old = mc.get(fromUser + "_cmd") # 获取该用户缓存的指令
    if not old: # 如果没有缓存的指令,设置成空列表
        old = []
    
    # 将之前缓存的指令与新的指令形成的列表
    # 存放在"用户名_cmd"的键下
    mc.set(fromUser + "_cmd", old + [command])
    content = "命令[{}]已接收".format(command) # 修改回复的内容
Memcache在这里的作用:

先说明一下Memcache在这里的作用,SAE是我们的我们的网络应用,每次我们访问一次我们网络应用的URL就会运行一遍我们的代码,所以如果我们只是单纯的创建一个变量将我们的数据储存在内存中,下一次访问的时候,这些数据都会重置,不能储存下来,所以我们需要Memcache这个缓存服务来讲我们需要储存的数据储存下来,以便之后使用。还有我们创建的这个网络应用时选的是共享环境,所以每次运行我们代码的服务器可能都不一样,所以需要Memcache来缓存我们的数据。Memcache是以键值对的形式来管理数据的,就像Python中的字典一样。

在Memcache中储存命令的形式:

将用户的所有命令已字符串的形式存在列表中,并将该列表储存在Memcache中以”用户名_cmd”的键下

处理命令的具体步骤如下:
  1. 判断用户发送的消息是否为”cmd空格”开头
  2. 截取指令部分即cmd空格之后的内容
  3. 获取pylibmc实例(pylibmc库是一个让Python管理Memcache的库)
  4. 从Memcache中获取用户的旧指令
  5. 将新指令连接到旧指令列表中,储存进Memcache

二、客户端指令的接收

思路

这里让客户端使用GET方法来获取用户储存在SAE的指令。指令以json的形式传递,接收到的将是json形式的列表,列表内以字符串的形式存放着所有未获得的指令。这里为了简单起见,定义:如果使用GET方法访问我们SAE的URL时,有usercmd这个参数表明要获取以这个参数为名称的用户所存放的所有指令。当然这里存在一点安全隐患,因为任何人都可以随意的访问我们这个URL来读取用户的指令列表,可以采取一些简单的加密来提高安全性,这里简单起见就不做这些处理了。

SAE端的设置

首先在weixinInterface.py的GET方法中添加(weixinInterface.py改后完整的代码见文章末尾):

try: # 来自电脑客户端的请求
    user = params.usercmd # 获取usercmd参数
    mc = pylibmc.Client() # 获取Memcache实例
    cmdlist = mc.get(user + "_cmd") # 获取用户对应的所有指令
    if not cmdlist:
        cmdlist = []
    mc.set(user + "_cmd", []) # 将用户对应的指令列表清空
    return json.dumps(cmdlist) # 将指令列表以json的格式作为响应返回

except: # 错误请求
    pass

 

客户端的设置

再在电脑本地创建一个client.py文件,作为我们的客户端程序,之后将使用它来访问我们的SAE来获取指令,我们先写个简单的测试程序:

import requests
import json
import time


if __name__ == "__main__":
    while True:
        user = "LeiZiTing" # 这里填入你企业微信中用户的名称,可以在企业微信的成员管理中找到
        # 访问SAE,并添加参数usercmd
        r = requests.get("http://timpcfanwx01.applinzi.com/weixin?usercmd=" + user)
        cmdlist = json.loads(r.text) # 读取获得的json数据,得到指令列表
        for command in cmdlist: # 处理指令列表中每一条指令
            print(time.strftime("%D %H:%M:%S ") + command)
        time.sleep(1) # 休息一秒钟~

运行我们的测试程序,然后在微信上发以”cmd空格”开头的指令试试看~

效果图:

我们成功将微信上发的内容传递到电脑上了,接下来我们就可以做任何我们想做的事了。

随时随地使用微信给自己的电脑发送指令,通过python完成一些简单的任务,是不是很棒棒xD

以下附上修改后完整的weixinInterface.py:(修改的部分使用注释标明)

# -*- coding: utf-8 -*-
import hashlib
import web
import lxml
import time
import os
import urllib2, json, urllib
from lxml import etree
from WXBizMsgCrypt import WXBizMsgCrypt
import pylibmc # 需要在SAE中申请创建Memcached
import json # 处理json

sCorpID = 'YOUR_CORPID' # 企业微信的CorpID
AGENTID_RMC = 'YOUR_AGENTID' # 应用的AgentId
SECRET_RMC = 'YOUR_SECRET' # 应用的Secret
sToken = 'Token00000'
sEncodingAESKey = 'EncodingAESKey00000000000000000000000000000'


class WeixinInterface:
    def __init__(self):
        self.app_root = os.path.dirname(__file__)
        self.templates_root = os.path.join(self.app_root, 'templates')
        self.render = web.template.render(self.templates_root)
        self.wxcpt = WXBizMsgCrypt(sToken, sEncodingAESKey, sCorpID)

    def GET(self):
        # 获取URL参数
        params = web.input()

        try: # 来自微信的请求
            signature = params.msg_signature
            timestamp = params.timestamp
            nonce = params.nonce
            echostr = params.echostr
            ret, echostr = self.wxcpt.VerifyURL(signature, timestamp, nonce, echostr)
            if ret == 0:
                return echostr
           	
        except:
            try: # 来自电脑客户端的请求
                user = str(params.usercmd) # 获取usercmd参数,并转化为str类型(原本是unicode类型)
                mc = pylibmc.Client() # 获取Memcache实例
                cmdlist = mc.get(user + "_cmd") # 获取用户对应的所有指令
                if not cmdlist:
                    cmdlist = []
                mc.set(user + "_cmd", []) # 将用户对应的指令列表清空
                print cmdlist
                return json.dumps(cmdlist) # 将指令列表以json的格式作为响应返回
            
            except: # 错误请求
                pass
                
        
    def POST(self):
        # 获取URL参数
        params = web.input()

        # 获取POST的数据
        data = web.data()

        signature = params.msg_signature
        timestamp = params.timestamp
        nonce = params.nonce

        # 解密消息
        ret, msg = self.wxcpt.DecryptMsg(data, signature, timestamp, nonce)
        if ret != 0:
            print "ERR: DecryptMsg ret: " + str(ret)
            return ''

        xml = etree.fromstring(msg)
        content = xml.find("Content").text
        msgType = xml.find("MsgType").text
        fromUser = xml.find("FromUserName").text
        toUser = xml.find("ToUserName").text
        msgid = xml.find("MsgId").text
        
        # 检测是否为命令(是否为"cmd "开头)
        if content.startswith("cmd "):
            command = content[4:] # 截取指令的内容
            mc = pylibmc.Client() # 获取Memcache实例
            old = mc.get(fromUser + "_cmd") # 获取该用户缓存的指令
            if not old: # 如果没有缓存的指令,设置成空列表
                old = []
            # 将之前缓存的指令与新的指令形成的列表
            # 存放在"用户名_cmd"的键下
            mc.set(fromUser + "_cmd", old + [command])
            content = "命令[{}]已接收".format(command) # 修改回复的内容

        msg_xml = self.render.reply_text(fromUser, toUser, timestamp, content, msgid, AGENTID_RMC)
        # 将产生的数据加密
        ret, encryptmsg = self.wxcpt.EncryptMsg(str(msg_xml), nonce, timestamp)
        if ret != 0:
            print "ERR: EncryptMsg ret: " + str(ret)
            return ''
        # 将加密的数据返回给用户
        return encryptmsg

 

待续未完~

[R.M.C] 用python实现微信控制电脑端虾米音乐(2)

接上篇 用python实现微信控制电脑端虾米音乐(1)

上一篇介绍了准备工作,以及企业微信的连接。这次我们来试试让SAE接收微信用户发送的信息,做一个简单的echo程序,即回复用户发送的内容。

先简单说一下流程,当企业微信收到用户发送的消息以后,会将消息本身进行AES加密再POST到我们设置好的SAE应用的URL上。

我们首先在SAE应用的根目录下创建一个templates的文件夹,并在里面创建一个reply_text.xml

$def with (toUser,fromUser,createTime,content,msgid)
<xml>
   <ToUserName><![CDATA[$toUser]]></ToUserName>
   <FromUserName><![CDATA[$fromUser]]></FromUserName> 
   <CreateTime>$createTime</CreateTime>
   <MsgType><![CDATA[text]]></MsgType>
   <Content>$content</Content>
   <MsgId>$msgid</MsgId>
   <AgentID>1000005</AgentID>
</xml>

注意,把最后的AgentID改成你的AgentID。这个文件是回复信息时的模板。

我们来继续编辑SAE上我们之前创建的weixinInterface.py这个文件。上一次,我们只给它写了个GET方法,这个方法是当我们对SAE应用URL使用GET方法访问时会自动调用的方法。这次由于消息接收是使用POST方法传递的,所以我们这里定义一个POST方法。

def POST(self):
    # 获取URL参数
    params = web.input()

    # 获取POST的数据
    data = web.data()


    signature = params.msg_signature
    timestamp = params.timestamp
    nonce = params.nonce

    # 解密消息
    ret, msg = self.wxcpt.DecryptMsg(data, signature, timestamp, nonce)
    if ret != 0:
        print "ERR: DecryptMsg ret: " + str(ret)
        return ''
    # 这里使用print可以用来当做记录日志,也能用来Debug
    # 在SAE的日志中心的错误日志中可以看到print的内容

    xml = etree.fromstring(msg)  # 进行XML解析
    content = xml.find("Content").text  # 获得用户所输入的内容
    msgType = xml.find("MsgType").text
    fromUser = xml.find("FromUserName").text
    toUser = xml.find("ToUserName").text
    msgid = xml.find("MsgId").text

    # 使用模版产生response的内容,我们这里将toUser和fromUser反过来填写,将消息回复给发送的用户
    msg_xml = self.render.reply_text(fromUser, toUser, timestamp, content, msgid, AGENTID_RMC)
    # 将产生的数据加密
    ret, encryptmsg = self.wxcpt.EncryptMsg(str(msg_xml), nonce, timestamp)
    if ret != 0:
        print "ERR: EncryptMsg ret: " + str(ret)
        return ''
    # 将加密的数据返回给用户
    return encryptmsg

在微信上给应用发送一个消息来测试一下吧~

PS:再说一下调试的技巧,如果发送消息过去,并没有消息回复回来不要着急,很可能是代码哪里错了。我们可以在SAE的日志中心里查看错误日志,我们每发一次消息,代码就会运行一次,如果有错误产生,可以在错误日志中看到,所以每改一次代码,保存后,在微信上发送一条消息,然后刷新一下错误日志,可以帮助我们debug喔,是不是很棒棒(๑•̀ㅂ•́)و✧

错误日志如下:

用python实现微信控制电脑端虾米音乐(3)

[R.M.C] 用python实现微信控制电脑端虾米音乐(1)

前言

这个计划的代号叫RMC,至于什么意思呢,你猜嘿嘿。。

嘛,用微信控制虾米这个想法的起源是:有一天,我躺在宿舍的床上,我们宿舍是标准的上床下桌,我的电脑在下面,插着扬声器在外放音乐,当时随机到一首特别嘈杂的歌,听得很难受,我想切歌,又不想下床orz,实在没办法只好自己下床换了一首歌。。

嗯。。于是呢,我就想,有没有什么方法可以用手机控制我电脑换歌的。当然可以用各种vnc远程控制桌面,但感觉太小题大做了,而且要专门控制鼠标去点击播放键实在有点麻烦,一点都不优雅。我就想如果手机端的虾米能控制电脑端的虾米就好了。。当然,用过电脑版虾米的人都知道,电脑版虾米就是个x(笑。这种功能靠虾米官方肯定是不存在的。。

就在这时,我看到了一篇文章,是使用python+微信来实现运维报警的。他是用微信企业号,使用python向企业号api发送消息,来实现运维报警的。我于是想到,我能不能也弄个微信企业号或公众号什么的,通过给它发消息,来控制我的电脑。

想了想感觉还是可以实现的,于是去学习了一下微信公众号的开发,通过这篇文章,简单了解了微信公众号的开发方法。

先来看看整体的思路:

使用微信发送消息至企业号,企业号转发给我的服务器(这里用新浪SAE),服务器管理着用户发的指令,电脑端程序访问新浪SAE来请求新的指令,然后执行相应操作来控制虾米音乐。

下面是详细的流程图

接下来,我来说下实现微信控制电脑端虾米的具体步骤了。

准备

  1.  申请一个微信企业号(订阅号和服务号理论上都可以,企业号的话比较安全,个人申请的话选组织-》没有组织机构代码证,继续注册
  2.  申请一个新浪SAE云应用
  3.  电脑端需要安装python(我这里使用的是python3.6但SAE上使用的是python2.7
  4.  电脑端需要安装python模块pyautogui用来控制虾米(可以直接在命令行中使用pip install pyautogui命令来安装)

具体步骤

第一步、SAE的基本配置

1、在SAE上创建一个python云应用,这里我给它起名叫wx01

(因为我已经创建过了,所以提示名称已占用)

2、打开应用的管理界面,点数据库与缓存服务-》Memcached-》创建memcached,申请一个最小的空间即可,这个是为接下来做准备,在这一节中暂时不会用到。

3、打开应用的管理界面,点应用-》代码管理-》创建版本

SAE是个好东西,相当于小型的web服务器,我们可以通过网页版的代码编辑器来编辑SAE的代码,也可以使用git或svn来进行代码管理。这里我们为了方便直接使用网页版编辑器。

首先编写config.yaml配置文件,打开网页版编辑器,新建一个文件config.yaml,并将下面的代码复制进去,保存。该配置文件指定了SAE上python使用的模块的版本,如果提示python找不到某某模块一般是这个配置文件设置错了。

name: trystanlei
version: 1

libraries:
- name: webpy 
  version: "0.36"

- name: lxml
  version: "2.3.4"

- name: PyCrypto
  version: "2.6"

...

第二步、微信的对接

登录企业微信后台,企业应用-》自建应用-》创建应用,填写好应用名称,在可见范围中选好自己

创建完后,就可以在应用管理这个界面中看到应用的AgentIdSecret,这两个就是这个应用的标识了。

然后我们点 接收消息设置API接收 

按照根据自己情况设置:

这时候点保存会报错:回调URL测试失败。 别紧张,是因为我们SAE上面还没设置完呢~

我们再打开SAE的在线代码编辑器,我们来写ndex.wsgi这个文件:

# encoding: UTF-8

import sae
import web
import os

from weixinInterface import WeixinInterface # 我们即将创建,不要担心

urls = (
'/weixin','WeixinInterface'
) # 将 "你的域名/weixin" 这个地址指向WeixinInterface这个应用


app_root = os.path.dirname(__file__)
templates_root = os.path.join(app_root, 'templates')
render = web.template.render(templates_root)

app = web.application(urls, globals()).wsgifunc()
application = sae.create_wsgi_app(app)

这里使用的是webpy框架,想了解的话就百度一下吧,这里我们不需要详细的理解它就能实现我们的应用。

现在我们下载企业微信的python加密库,可以在这个连接中找到。将下载的python.zip直接上传到SAE代码库。可以直接在SAE应用的代码管理界面上传。

上传完以后是这样的:

其中WXBizMsgCrypt.py就是企业微信的加密库 Readme.txt和Sample.py是介绍和演示可以右键删除掉。

我们再来创建一个weixinInterface.py文件,在里面写上

# -*- coding: utf-8 -*-
import hashlib
import web
import lxml
import time
import os
import urllib2, json, urllib
from lxml import etree
from WXBizMsgCrypt import WXBizMsgCrypt

sCorpID = 'YOUR_CORPID' # 企业微信的CorpID在 我的企业-》企业信息 中可以找到
AGENTID_RMC = 'YOUR_AGENTID' # 应用的AgentId
SECRET_RMC = 'YOUR_SECRET' # 应用的Secret
sToken = 'Token00000' # 设置接收消息时的Token
sEncodingAESKey = 'EncodingAESKey00000000000000000000000000000' # 设置接收消息时的EncodingASEKey


class WeixinInterface:
    def __init__(self):
        self.app_root = os.path.dirname(__file__)
        self.templates_root = os.path.join(self.app_root, 'templates')
        self.render = web.template.render(self.templates_root)
        self.wxcpt = WXBizMsgCrypt(sToken, sEncodingAESKey, sCorpID)

    def GET(self):
        # 获取URL参数
        params = web.input()

        try: # 来自微信的请求
            signature = params.msg_signature
            timestamp = params.timestamp
            nonce = params.nonce
            echostr = params.echostr
            ret, echostr = self.wxcpt.VerifyURL(signature, timestamp, nonce, echostr)

            # 如果是来自微信的请求,则回复echostr
            if ret == 0:
                return echostr
            
        except:
            pass

之后点击全部保存

我们再切换到微信设置接收消息的页面,点击保存试试能不能保存成功吧~

如果保存成功,说明前面的设置都没问题啦 🙂

最后可以看到,接收消息这里显示已启用API接收

好了,现在我们准备工作就做完了。我们下一篇见~

用python实现微信控制电脑端虾米音乐(2)

Python 将对象序列化成json格式

之前,介绍过如何将python的对象序列化成python用的pickle格式,但是,pickle格式不方便跨编程语言使用。这里我们使用json格式,方便跨语言使用。

json跟pickle的区别:

  • json是使用文本形式(而且是unicode编码的文本形式,默认utf-8)来保存数据的,具有人类可读性,而pickle使用二进制形式
  • json被设计成跨语言使用的,而pickle是专门针对python的
  • python内建的json模块默认情况下只能序列化python的基本数据类型(dict/list/tuple(但会变成list)/str/int/float/bool/None,不能序列化bytes、set),而pickle可以序列化所有python的基础数据类型且可以序列化用户自定义类

python内建的json模块,有以下几个基本方法:

  • json.dump(obj, f)  #将对象序列化存入文件
  • json.dumps(obj)  #将对象序列化,并返回序列化的字符串
  • json.load(f)   #从文件中读取对象并返回
  • json.loads(str)   #从字符串读取对象并返回

使用方法和pickle模块基本一致,但由于json是文本形式,所以写入或读取文件的时候使用w或r模式:

>>> a_list = [1,2,3,4,5,6]
>>> a_dict = {1:'one', 2:'two', 3:'three'}
>>> a_tuple = ('a', 'b', 'c')
>>> import json
>>> with open('everything.json', 'w', encoding='utf8') as f:
        # 使用pickle.dump方法将对象按照pickle协议序列化,并存到文件everything.json中
        json.dump(a_list, f)  
        json.dump(a_dict, f)
        json.dump(a_tuple, f)
  
>>> with open('everything.json', 'r', encoding='utf8') as f:
        # 使用pickle.load方法,将对象从文件中读取出来
        b_list = json.load(f)
        b_dict = json.load(f)
        b_tuple = json.load(f)
  
>>> # 检测读取的对象跟原对象是否相同
>>> a_list == b_list and a_dict == b_dict
True
>>> a_tuple == b_tuple
False
>>> b_tuple  #tuple对象经过序列化反序列化后变成了list对象!!
['a', 'b', 'c']
>>> a_list
[1, 2, 3, 4, 5, 6, '线性代数']
>>> a_list_json = pickle.dumps(a_list) # 将a_list序列化成josn形式的str对象,并储存在a_list_json中
>>> a_list_json # 序列化后的a_list对象
'[1, 2, 3, 4, 5, 6, "\\u7ebf\\u6027\\u4ee3\\u6570"]'
>>> new_list = pickle.loads(a_list_json) # 将a_list_json反序列化,并赋值给new_list
>>> new_list # json_list和a_list完全一样
[1, 2, 3, 4, 5, 6, '线性代数']

 

虽然说json默认情况下不能保存自定义类型,但实际上是可以通过自己定义转换的函数来实现保存自定义类型的:

import json

class Person:  #自定义类型
    def __init__(self, name):
        self.name = name

    def say(self):
        print(self.name)

    def __eq__(self, other):
        return self.name == other.name


def to_json(python_object):
    """将json不支持的set和Person类型序列化"""
    if isinstance(python_object, set): #set类型
        return {
            '__class__':'set', #创建一个'__class__'键储存类型信息
            '__value__':list(python_object) #创建一个'__value__'存储原本的数据,并使用list类型保存原本set的数据
        }

    if isinstance(python_object, Person): #Person类型
        return {
            '__class__' : 'Person',
            '__value__' : {
                'name':python_object.name
            }
        }
    raise TypeError(repr(python_object) + ' is not JSON serializable')


def from_json(json_object):
    if '__class__' in json_object:
        if json_object['__class__'] == 'set': #处理set类型数据
            return set(json_object['__value__'])
        elif json_object['__class__'] == 'Person': #处理Person类型数据
            return Person(json_object['__value__']['name'])
    return json_object


a_mix = {
    'list' : [1,2,3,4],
    'set' : set([1,2,3,4]),
    'Person' : Person('tim')
}

json_data = json.dumps(a_mix, default=to_json)

print(json_data)

new_mix = json.loads(json_data, object_hook=from_json)

print(a_mix)
print(new_mix)
print(a_mix==new_mix)

输出:

{"list": [1, 2, 3, 4], "set": {"__class__": "set", "__value__": [1, 2, 3, 4]}, "Person": {"__class__": "Person", "__value__": {"name": "tim"}}}
{'list': [1, 2, 3, 4], 'set': {1, 2, 3, 4}, 'Person': <__main__.Person object at 0x00A683D0>}
{'list': [1, 2, 3, 4], 'set': {1, 2, 3, 4}, 'Person': <__main__.Person object at 0x00BEC470>}
True

可以给dump/dumps方法的default参数传递一个处理对象序列化的函数,使其支持自定义类型的序列化。

这里的原理是,将json不支持的类型,以特定的方式储存成json支持的类型,像这里将json不支持的类型set转换成一个包含’__class__’键和’__value__’的dict,在’__class__’键上用字符串储存了类型信息,在’__value__’键上使用list储存了原本set中的信息,而字符串、dict和list都是json支持的类型。dump/dumps在遇到json不支持的类型的时候,就会调用default函数来处理。

可以给load/loads方法的object_hook参数传递一个处理对象反序列化的函数,使其支持自定义类型的序列化。

在这里,我们判断是否存在’__class__’键,如果存在说明是自定义类型,就特殊处理,否则就直接返回就行了。

另外,需要注意的是,使用这种方法还是会让tuple对象变成list对象。

 

参考:http://www.diveintopython3.net/serializing.html#json-unknown-types

Python pickle模块的使用方法

Python内置的pickle模块可以完成python对象的序列化,实现永久储存。使用起来非常之方便。

以下是使用的例子:

>>> a_list = [1,2,3,4,5,6]
>>> a_set = {'one', 'two', 'three'}
>>> a_dict = {1:'one', 2:'two', 3:'three'}
>>> a_tuple = ('a', 'b', 'c')
>>> a_mix = {1:['one', {1.0, 1}], 2:['two', {1.0, 1}]}
>>> import pickle
>>> with open('everything.pickle', 'wb') as f:
        # 使用pickle.dump方法将对象按照pickle协议序列化,并存到文件everything.pickle中
        pickle.dump(a_list, f)  
        pickle.dump(a_set, f)
        pickle.dump(a_dict, f)
        pickle.dump(a_tuple, f)
        pickle.dump(a_mix, f)

  
>>> with open('everything.pickle', 'rb') as f:
        # 使用pickle.load方法,将对象从文件中读取出来
        b_list = pickle.load(f)
        b_set = pickle.load(f)
        b_dict = pickle.load(f)
        b_tuple = pickle.load(f)
        b_mix = pickle.load(f)

  
>>> # 检测读取的对象跟原对象是否相同
>>> a_list == b_list and a_set == b_set and a_dict == b_dict and a_tuple == b_tuple and a_mix == b_mix
True

pickle模块中有dump方法和dumps方法,用于对象序列化,他们的区别是,dump方法将序列化的对象存入文件中,而dumps方法将序列化的对象返回成bytes对象。

与之相对应的有load方法和loads方法,用于对象反序列化,区别是load是从文件中读取,而loads是从bytes对象中读取。

>>> a_list
[1, 2, 3, 4, 5, 6]
>>> a_list_bytes = pickle.dumps(a_list) # 将a_list序列化成bytes对象,并储存在a_list_bytes中
>>> a_list_bytes # 序列化后的a_list对象
b'\x80\x03]q\x00(K\x01K\x02K\x03K\x04K\x05K\x06e.'
>>> b_list = pickle.loads(a_list_bytes) # 将a_list_bytes反序列化,并赋值给b_list
>>> b_list # b_list和a_list完全一样
[1, 2, 3, 4, 5, 6]

 

pickle模块可以序列化用户自定义类:

>>> class Person:
        def __init__(self, name):
            self.name = name
        def say(self):
            print(self.name)
  
>>> a_person = Person('tim')
>>> data = pickle.dumps(a_person)
>>> data
b'\x80\x03c__main__\nPerson\nq\x00)\x81q\x01}q\x02X\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00timq\x04sb.'
>>> new_person = pickle.loads(data)
>>> new_person.say()
tim

可以看到被序列化内容中有__main__和Person的字眼,也就是__name__和类名,可以看出pickle是通过__name__和类名来识别对象的,所以当跨程序复用pickle序列化的用户自定义类的时候,一定要有相应的类的声明。

 

注意事项:

  • pickle使用二进制形式来序列化,所以写入或读取文件时要用二进制模式
  • pickle是专门针对python设计的,不支持跨语言使用
  • 因为是二进制形式,序列化的内容不具有可读性
  • pickle协议有很多个版本,新版本会兼容老版本,但老版本不支持新版本,因为老版本没有新版本的数据结构。关于pickle协议版本的信息参见这个连接

Python with语句的用法

with块定义了一个runtime context(运行时上下文),当执行了with的语句时进入这个context,当执行完with块中最后一个语句时离开这个context。
当进入with块时,python会自动调用你with语句的__enter__()方法,离开with块时,python会自动调用__exit__(exc_type, exc_value, traceback)方法
with x: # python will calls x.__enter__() automatically
    pass # do something
# python will calls x.__exit__(exc_type, exc_value, traceback) automatically here

 

可以在with块中使用的类,需要拥有以下几个条件
  • 定义了__enter__()方法
  • 定义了__exit__(exc_type, exc_value, traceblack)方法
如下:
class TestCls:
    def __enter__(self):
        print('enter!')
        return self  #返回自己,用于as

    def __exit__(self, *args):
        print('exit!')

    def say(self):
        print('hello there!')

 

>>> x = TestCls()
>>> with x as obj:
        obj.say()

enter!
hello there!
exit!

 

大多数情况下__enter__()方法都会return self,在进入with块的时候会将__enter__返回的值绑定到as指示的变量,这样方便在with块中调用。
在上面的例子中,当进入with块时调用了__enter__方法,并返回self绑定到变量obj上,在with块中访问了obj.say()方法,离开with块时又自动调用了__exit__方法。
特别的,不管以何种方式(异常、错误、正常结束)导致with块结束,都会自动调用__exit__方法,所以使用with块可以比较安全的使用管理资源。