有道智云 整题识别(含公式) SDK简介
概述
(1) 概念解释
整题识别(含公式)服务:基于有道机器学习团队业界领先的深度学习技术,将自然场景下图片上的题目文字、数字及公式信息,通过定位和检测,智能识别为可编辑的文本信息,轻松实现题目电子化。
(2) 说明
Hi,您好,欢迎使用有道智云整题识别(含公式) iOS SDK。
如果您想快速体验服务,建议您前往 体验中心 或者在体验中心右下侧找到小程序二维码,扫描进行体验。
本文档主要针对需要集成整题识别(含公式)服务iOS SDK的开发工程师,详细描述有道智云整题识别(含公式)能力及集成过程。
如果您有与我们商务合作的需求,可以通过以下方式联系我们:
商务邮箱: AIcloud_Business@corp.youdao.com
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
客服QQ:1906538062
智云OCR技术交流QQ 1群: 654064748
智云OCR技术交流QQ 2群: 471638046
联系邮箱: zhiyun@corp.youdao.com
温馨提示:
本文档主要针对开发人员,接入测试前需要在后台创建iOS应用,并绑定整题识别(含公式)实例;如果您还没有,请按照 新手指南 操作。
平台向每个账户赠送50元的体验金,供用户集成前测试所用,具体资费规则详见 整题识别服务报价 。
功能介绍
有道整题识别(含公式) SDK 是有道智云开放平台提供的云服务之一,是有道在线整题识别(含公式) 接口的一种实现,支持在线整题识别(含公式)。
兼容性
支持设备:运行了iOS 9.0及以上系统的 iOS 设备
整题识别(含公式)SDK集成指南
集成前提
开始集成SDK之前开发者需要登录 有道智云平台 ,创建应用获取应用ID(或者通过运营人员获取应用ID),以便使用公式服务。
集成步骤
1.SDK包导入
整题识别(含公式) SDK 由如下几个 SDK 组成,FanYiSDK.h、libbase.a、libFormula.a
(1). 添加头文件和库文件:将FormulaSDK 添加到工程中,包括 FanYiSDK.h头文件、libbase.a和libFormula.a文件。可以直接将FormulaSDK文件夹拖动到工程中,也可以选择File “Add files to ‘Project Name’…”
(2). 设置工程Other Linker Flags为-ObjC
(3). 在工程build Phases – Link Binary With Libraries中添加libbase.a, AdSupport.framework, CoreTelephony.framework, SystemConfiguration, libz.tbd和libsqlite3.tbd。
2.SDK初始化
说明:所有的查询都需要初始化key,只执行初始化一次即可。
//初始化key
YDTranslateInstance *yd = [YDTranslateInstance sharedInstance];
yd.appKey = @"your appkey";
功能集成
说明:请参考 demo 中 FormulaOnlineController 的使用
1.构造查询器
YDFormulaRequest *request = [YDFormulaRequest request];
YDFormulaParameter *param = [YDFormulaParameter param];
param.source = @"youdaoformula"; //设置源
param.detectType = @"10011"; //设置识别类型
request.param = param;
2.将图片转化为base64编码
NSString *base64Str = [self image2DataURL:self.imgView.image];
3.执行识别过程
识别返回两种情况,一种是成功,相关结果存储在 result
参数中,另外一种是失败,失败信息放在 error
,是一个枚举类,整个识别是异步的。
[request lookup:base64Str WithCompletionHandler:^(YDFormulaRequest *request, NSDictionary *result, NSError *error) {
if (error) {
//失败
NSLog(@"error:%@", error);
}else {
//成功
[self handleFormulaReuslt:result];
}
}];
识别结果说明
对于在线整题识别(含公式),服务器查询结果返回数据如下:
{
"errorCode": "0",
"Result": {
"orientation": "",
"regions": [{
"boundingBox": "13,16,584,16,584,82,13,82",
"dir": "h",
"lang": "",
"lines": [
[{
"boundingBox": "13,22,110,22,110,76,13,76",
"text_height": 53,
"words": [{
"boundingBox": "13,23,74,22,74,75,13,76",
"word": "13."
}, {
"boundingBox": "86,22,110,22,110,75,86,75",
"word": "若"
}],
"text": "13.若",
"type": "text"
}, {
"boundingBox": "111,16,326,16,326,82,111,82",
"text_height": 66,
"words": [{
"boundingBox": "111,16,326,16,326,82,111,82",
"word": " x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }"
}],
"text": "x = ( \\sqrt { 3 } { - 5 } ) ^ { 3 }",
"type": "formula"
}, {
"boundingBox": "327,22,384,22,384,76,327,76",
"text_height": 53,
"words": [{
"boundingBox": "327,22,338,23,338,76,327,75",
"word": ","
}, {
"boundingBox": "350,23,384,23,384,76,350,76",
"word": "则"
}],
"text": ",则",
"type": "text"
}, {
"boundingBox": "385,16,584,16,584,82,385,82",
"text_height": 66,
"words": [{
"boundingBox": "385,16,584,16,584,82,385,82",
"word": " \\sqrt { - x - 1 } ="
}],
"text": "\\sqrt { - x - 1 } =",
"type": "formula"
}]
]
}],
"exif": "UP"
}
}
服务器是按照区域,行,字的格式返回的,即一张图片会识别出图片对应的 Result,其上可能有多个区域 Region,每个区域会包含一行或多行 Line,每行又包括一个或多个字 Word,每个区域、行或者字符,都会通过 boundingBox 字段返回坐标和大小。 SDK 对上述 json 数据解析封装为 YDFormulaResult 对象,如下:
@interface YDFormulaResult : NSObject
@property (nonatomic, copy) NSString *orientation;
@property (nonatomic, copy) NSString *angle;
@property (nonatomic, copy) NSString *exif;
@property (nonatomic, strong) NSArray *regions;
+ (instancetype)initWithDict:(NSDictionary *)info;
@end
@interface YDFormulaRegion : NSObject
@property (nonatomic, copy) NSString *boundingBox;
@property (nonatomic, copy) NSString *dir;
@property (nonatomic, strong) NSArray *lines;
+ (instancetype)initWithDict:(NSDictionary *)info;
@end
@interface YDFormulaElement : NSObject
@property (nonatomic, copy) NSString *boundingBox;
@property (nonatomic, copy) NSString *text;
@property (nonatomic, copy) NSString *type;
+ (instancetype)initWithDict:(NSDictionary *)info;
@end
支持语言
语言 |
代码 |
中文 |
zh-CHS |
日文 |
ja |
英文 |
EN |
韩文 |
ko |
法文 |
fr |
俄文 |
ru |
葡萄牙文 |
pt |
西班牙文 |
es |
错误代码列表
错误码 |
含义 |
101 |
缺少必填的参数 |
102 |
不支持的语言类型 |
103 |
翻译文本过长 |
104 |
不支持的API类型 |
105 |
不支持的签名类型 |
106 |
不支持的响应类型 |
107 |
不支持的传输加密类型 |
108 |
应用ID无效,注册账号,登录后台创建应用和实例并完成绑定,可获得应用ID和应用密钥等信息 |
109 |
batchLog格式不正确 |
110 |
无相关服务的有效实例 |
111 |
开发者账号无效 |
113 |
q不能为空 |
114 |
不支持的图片传输方式 |
201 |
解密失败,可能为DES,BASE64,URLDecode的错误 |
202 |
签名检验失败 |
203 |
访问IP地址不在可访问IP列表 |
205 |
请求的接口与应用的平台类型不一致,如有疑问请参考入门指南 |
206 |
因为时间戳无效导致签名校验失败 |
207 |
重放请求 |
301 |
辞典查询失败 |
302 |
翻译查询失败 |
303 |
服务端的其它异常 |
304 |
会话闲置太久超时 |
401 |
账户已经欠费停 |
402 |
offlinesdk不可用 |
411 |
访问频率受限,请稍后访问 |
412 |
长请求过于频繁,请稍后访问 |
1001 |
无效的OCR类型 |
1002 |
不支持的OCR image类型 |
1003 |
不支持的OCR Language类型 |
1004 |
识别图片过大 |
1201 |
图片base64解密失败 |
1301 |
OCR段落识别失败 |
1411 |
访问频率受限 |
1412 |
超过最大识别字节数 |
2003 |
不支持的语音声道 |
2004 |
不支持的语音上传类型 |
2005 |
不支持的语言类型 |
2006 |
不支持的识别类型 |
2201 |
识别音频文件过大 |
2301 |
识别音频时长过长 |
2411 |
不支持的音频文件类型 |
2412 |
不支持的发音类型 |
3001 |
不支持的语音格式 |
3002 |
不支持的语音采样率 |
3003 |
不支持的语音声道 |
3004 |
不支持的语音上传类型 |
3005 |
不支持的语言类型 |
3006 |
不支持的识别类型 |
3007 |
识别音频文件过大 |
3008 |
识别音频时长过长 |
3009 |
不支持的音频文件类型 |
3010 |
不支持的发音类型 |
3201 |
解密失败 |
3301 |
语音识别失败 |
3302 |
语音翻译失败 |
3303 |
服务的异常 |
3411 |
访问频率受限,请稍后访问 |
3412 |
超过最大请求字符数 |
5001 |
无效的OCR类型 |
5002 |
不支持的OCR image类型 |
5003 |
不支持的语言类型 |
5004 |
识别图片过大 |
5005 |
不支持的图片类型 |
5006 |
文件为空 |
5201 |
解密错误,图片base64解密失败 |
5301 |
OCR段落识别失败 |
5411 |
访问频率受限 |
5412 |
超过最大识别流量 |
9001 |
不支持的语音格式 |
9002 |
不支持的语音采样率 |
9003 |
不支持的语音声道 |
9004 |
不支持的语音上传类型 |
9005 |
不支持的语音识别 Language类型 |
9301 |
ASR识别失败 |
9303 |
服务器内部错误 |
9411 |
访问频率受限(超过最大调用次数) |
9412 |
超过最大处理语音长度 |
10001 |
无效的OCR类型 |
10002 |
不支持的OCR image类型 |
10004 |
识别图片过大 |
10201 |
图片base64解密失败 |
10301 |
OCR段落识别失败 |
10411 |
访问频率受限 |
10412 |
超过最大识别流量 |
13001 |
不支持的角度类型 |
13002 |
不支持的文件类型 |
13003 |
表格识别图片过大 |
13004 |
文件为空 |
13301 |
表格识别失败 |
17001 |
需要图片 |
17002 |
图片过大(1M) |
17003 |
识别类型未找到 |
17004 |
不支持的识别类型 |
17005 |
服务调用失败 |
-1000 |
未知错误 |
-2000 |
查询输入为空 |
常见问题及注意事项
1.运行程序崩溃?
检查下是否对应的 SDK静态库包
是否放到当前工程目录下。
2.整题识别(含公式)没结果?
检查下整题识别(含公式)接口回调的错误信息,保证申请的应用ID是有效且提前绑定了。
3.如何获得应用ID
注册账号,登录后台创建应用和实例并完成绑定, 可获得应用ID和应用密钥等信息。
版本更新记录
上线日期 |
版本号 |
更新内容 |
2019.05.28 |
v1.0.0 |
有道智云整题识别(含公式) iOS SDK上线 |