Слои AutoCAD и помещения из экспликации называют кто как хочет: «A-WALL», «стены_несущ», «AR_Okna», «С/у», «Кух.-гост.». Здесь Jev раскладывает их по стандартным категориям, а к каждому ответу даёт вероятность. Все запросы настоящие, ниже видно каждый ответ.
Запросы идут к Jev прямо сейчас. Время в строках — сколько ждал ответа сервер; итог сверху — сколько ждал ты, вместе с дорогой до сервера.
Сразу N одинаковых запросов, все одновременно. Каждый столбик — время одного ответа на сервере.
Это не чат-модель и не «умный текст». Jev ничего не пишет: на вход — текст или JSON и вопрос с заранее заданными вариантами, на выход — выбранный вариант и вероятность каждого. Три типа вопросов: выбор из вариантов, оценка по шкале, «да или нет».
запрос
{
"model": "jev-latest",
"state": {
"context": "Название слоя в чертеже AutoCAD архитектурного проекта",
"layer": "AR_Vorota"
},
"questions": {
"cat": {
"type": "choice",
"instructions": "К какой категории относится `layer`?",
"criteria": "… 14 категорий …"
}
}
}ответ, 0.49 с
{
"model": "jev-1.13.0",
"answers": {
"cat": {
"type": "choice",
"choice": "Двери и ворота",
"confidence": 1.0,
"probabilities": {
"Двери и ворота": 1.0,
"Водопровод и канализация (ВК)": 0.0,
"Каркас: колонны, балки, плиты": 0.0,
"…": "ещё 11 категорий по 0.0"
}
}
}
}Главная проверка: если Jev говорит «уверен на 0,9», прав ли он в 9 случаях из 10? Все 137 ответов разбиты по заявленной уверенности:
Честно о двух ошибках: «A-FLOR-STRS» (лестница по стандарту AIA) Jev отнёс к каркасу с уверенностью 0,75; «K1_stoyaki» (стояки канализации К1) — тоже к каркасу, но уверенно, 0,96. Уверенные ошибки бывают; их доля здесь — 1 из 118.
| Название | Ответ Jev | Уверенность | Итог |
|---|
В трудных и спорных засчитывался любой из допустимых ответов (они указаны в строке). Разметку правильных ответов делал человек.
Приводить слои чужих DWG к стандарту бюро перед работой. Проверять экспликацию: всё ли названо понятно и попало в нужную группу. Раскладывать замечания экспертизы по разделам (АР, КЖ, ОВ, ВК, ЭО). Сортировать атрибуты блоков. Везде одно правило: уверенный ответ — автоматически, сомнительный — человеку.