Về dự án LitReview

Người làm nghiên cứu thường phải đọc gần hết tài liệu mới biết một hướng đi có đáng theo đuổi hay không. Các công cụ nghiên cứu tự động hiện nay lại khó tin cậy, vì ở một số cấu hình phần lớn câu trả lời không được chính nguồn mà chúng liệt kê hỗ trợ.

1. 1

   Xác định tiêu chí

   Mô hình và người dùng

   Mô hình chuyển mô tả chủ đề thành hai đến năm tiêu chí có trọng số cùng khoảng thời gian và điều kiện loại trừ. Người dùng duyệt bộ tiêu chí trước khi phát sinh chi phí tìm kiếm.

2. 2

   Tạo truy vấn theo khía cạnh

   Mô hình

   Hệ thống tạo tám đến mười truy vấn dài, trong đó mỗi truy vấn nhắm vào một khía cạnh như bài toán, phương pháp, thuật ngữ thay thế, dữ liệu hoặc cách đánh giá.

3. 3

   Tìm kiếm

   Mã nguồn

   Các truy vấn được gửi tới Semantic Scholar theo hai cách là tìm theo ngữ nghĩa trên đoạn toàn văn và tìm theo từ khoá, sau đó kết quả được gộp theo mã định danh và lọc theo năm.

4. 4

   Sàng lọc toàn bộ ứng viên

   Mô hình nhỏ

   Mỗi bài được chấm theo từng tiêu chí kèm câu trích làm căn cứ. Tầng này ưu tiên không bỏ sót, còn điểm số và mức liên quan do mã nguồn tính.

5. 5

   Mở rộng theo trích dẫn

   Mã nguồn

   Hệ thống lấy tài liệu tham khảo và bài trích dẫn của các bài có điểm cao, rồi chỉ giữ những bài được ít nhất hai bài liên quan cùng trỏ tới.

6. 6

   Kiểm chứng bằng toàn văn

   Tác tử có giới hạn

   Tác tử đọc tối đa bốn phần cần thiết của mỗi bài và kết luận từng tiêu chí kèm câu trích. Mã nguồn kiểm tra để bảo đảm câu trích thực sự có trong bài.

7. 7

   Chọn tập bài

   Mã nguồn và người dùng

   Mã nguồn chọn bài theo ngưỡng dựa trên kết luận của từng bài, và những bài chỉ đọc được phần tóm tắt được đưa sang nhóm cần xem lại. Người dùng duyệt danh sách trước khi hệ thống viết.

8. 8

   Viết tổng quan và kiểm tra trích dẫn

   Mô hình và mã nguồn

   Hệ thống viết thẻ tóm tắt từng bài, các chủ đề, điểm bất đồng, khoảng trống nghiên cứu và bảng so sánh chỉ từ bằng chứng đã kiểm. Câu nào thiếu bằng chứng sẽ được đánh dấu.

• Hệ thống chỉ trích dẫn những tài liệu đã thực sự tìm thấy và không bao giờ để mô hình tự tạo tài liệu tham khảo.

• Danh sách bài cuối cùng do mã nguồn chọn dựa trên đánh giá từng bài, còn tác tử chỉ làm việc trong giới hạn đã định.

• Khi dữ liệu chưa đủ, hệ thống báo rõ giới hạn thay vì suy diễn.

• Người dùng rà soát và chịu trách nhiệm về kết quả cuối cùng.

Chất lượng tìm kiếm được đo trên các bộ dữ liệu có nhãn do con người xác nhận, gồm RealScholarQuery và SPARBench. Kết quả sẽ được cập nhật khi các lượt đo hoàn tất.

• Nguồn tìm kiếm hiện là Semantic Scholar và toàn văn được lấy từ bản HTML của arXiv, nên các bài khác chỉ được đọc phần tóm tắt.

• Nơi công bố mới được gắn nhãn hội nghị, tạp chí hoặc bản thảo và chưa được xếp hạng theo ICORE hay SJR.

• Bộ kiểm tra trích dẫn xác nhận câu trích có thật trong bài, còn việc kiểm tra mức độ hỗ trợ bằng suy luận ngôn ngữ đang được phát triển.