background

要说最近什么比较火，那肯定是openAI的chatGPT了，当然这一波AI浪潮除了chatGPT还有一些其他的AI产品，例如绘图类的AI，还有new bing的chat等。

一般我们都在浏览器的chat窗口中直接chat，但是想要将其集成到自己的系统中，就需要调用其API。

openAI

openAI其实在chatGPT之前就有多种api，我们就以前端时间最新公开的chat的API和whisperAPI为例。

需要注意的是api国内环境直接调用经常不通，最好是将代码写好之后部署到一些免费的faas平台，比如railway/vercel/netlify等等。

1 chatAPI

根据openAI官网的介绍，只需要在个人中心生成自己的KEY，然后作为httpHeader中的Authorization，进行post请求，传入合适的json格式即可了，curl指令如下。

其中message部分的content就是用户提出的问题，前面的role是user，也就是用户提出的问题。

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "中国四大名著是哪四个"}]
  }'

另外介绍几个重要参数

当我们获得答案的时候，response可能如下，可以看到返回有个choice的数组，其中只有一个选项，因为n默认值就是1，即返回一个choice，message部分结构与请求类似，只不过role是assistant。usage部分介绍了当前这个请求token的使用量，可以对费用有个数。

{
  "id": "xxxxx",
  "object": "chat.completion",
  "created": 1677652288,
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "1 三国演义 2 西游记 3 水浒传 4 红楼梦"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 9,
    "completion_tokens": 12,
    "total_tokens": 21
  }
}

如果我们想继续有上下文的去询问，需要把message列表叠加，如下：

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
        {"role": "user", "content": "中国四大名著是哪四个"},
        {"role": "assistant", "content": "1 三国演义 2 西游记 3 水浒传 4 红楼梦"},
        {"role": "user", "content": "他们的作者分别是谁"},
    ]
  }'

不断叠加的message提供了上下文信息，但是也增加了prompt_tokens的数量，也就需要付更多的钱咯。

除了assistant和user两个role还有个system的role，用来规定一些基本的准则。

$ export API_KEY=sk-xxxxxxxxx
$ curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
        {"role": "system", "content": "请都用英文回答我的问题"},
        {"role": "user", "content": "中国四大名著是哪四个"}
    ]
  }'

返回

...
"message":{
    "role": "assistant",
    "content": "The four classic novels of Chinese literature are: \n\n1. \"Journey to the West\" (西游记)\n2. \"Dream of the Red Chamber\" (红楼梦)\n3. \"Romance of the Three Kingdoms\" (三国演义)\n4. \"Water Margin\" (水浒传)"
}
...

关于stream模式返回，可以用一些http2的客户端库，当然openai官方提供了nodejs和Python的库，参考当前目录下./ai/chat.js的代码。

2 whisper API

$ export API_KEY=sk-xxxxxxxxx
$ curl https://api.openai.com/v1/audio/transcriptions \
>   -H "Authorization: Bearer $API_KEY" \
>   -H "Content-Type: multipart/form-data" \
>   -F file="@测试.m4a" \
>   -F model="whisper-1"

要想体验whisper的功能也还有其他办法，因为whisper代码开源，github连接，安装与运行的方式也在git中详细的介绍了。

因为whisper是基于pytorch这一套框架的所以第一步pip安装的时候会顺带安装pytorch等工具链，但是安装的可能是cpu版本的，如果显卡是NVIDIA的，那么可以考虑更新cuda驱动，并重新安装为cuda显卡版本的。方法如下：

上述安装完成后，通过whisper -h可以看到默认的device是cuda而不是cpu了。

image

然后可以开始使用了

$ whisper xx.mp3 --language Chinese

默认是small的模型，可以更换为medium或者large但是large占用的显存很大，我的显卡较老GTX1060 6G显存溢出报错了，所以large的目前只能用cpu

$ whisper xx.mp3 --language Chinese --model medium

image

注意使用cpu，占用的会是内存而不是显存，此时内存占用在7G以上。

$ whisper xx.mp3 --language Chinese --model large --device cpu

image

模型越大越准确，但是需要的资源和计算时间会越长。openai的api用的是whisper large-v2模型，但是几秒就能返回，服务器计算力较强的原因。

Bing

Bing没有公开官方的API但是可以使用cookie来进行访问，有对应的一些库进行了封装。首先需要在edge浏览器登录new bing，因为国内网络环境一直会跳转cn版本的bing是不行的，所以需要用vpn，然后在bing首页右上角的设置中将国家改为美国，此时就可以使用new bing了。

从cookie中找到一个_U的cookie，并复制他的值。

$ npm i bing-chat

创建index.mjs文件，mjs可以使用import语法。

import { BingChat } from 'bing-chat'
import fs from 'fs'

var msg = ""
for(var i = 2; i<process.argv.length; i++){
   msg += ' ' + process.argv[i]
}

const api = new BingChat({
  cookie: process.env.BING_COOKIE
})


async function example() {
  const res = await api.sendMessage(msg, {
    variant: 'Creative',
    // print the partial response as the AI is "typing"
    onProgress: (partialResponse) => {
      console.clear()
      console.log(partialResponse.text)
      // fs.writeFileSync('answer.md', partialResponse.text)
    }
  })
  
  // print the full text at the end
  // console.log(res.text)
}

example()

requirements:

image

$ export BING_COOKIE=<your bing cookie>
$ node index.mjs 你好，西红柿炒鸡蛋咋做

image