AI chấm bài IELTS essay như thế nào?

Hôm qua 20/12/2021 mình có nói chuyện (phỏng vấn) với nhóm Internet marketing (chi nhánh Việt Nam), các bạn vẫn có thắc mắc là không hiểu Trí tuệ Nhân tạo (AI) chấm 1 bài Essay như thế nào, sao mà “hay” vậy, sao máy mà biết cách mà chấm.  Mình cũng phân tích sơ với các nhóm khác mấy lần rồi, nay với kinh nghiệm đã từng làm 02 dự án với AI (với NLP thôi), nên mình viết Post này lại.

IELTS LÀ GÌ?

Các bạn tìm hiểu tất tần tật về IELTS tại aboutielts.com nhé.

Tiêu chuẩn đánh giá và chấm điểm 1 bài essay trong IELTS.

Tiêu chí chấm điểm thì bên tổ chức IELTS cũng ghi rõ rồi, mình nói nhanh gọn lại, 1 bài IELTS essay gồm 4 tiêu chí sau:

1. Task Response (hay Task Achievement) (25%)
   là bài viết của mình có trả lời đúng yêu cầu (câu hỏi) không? Ví dụ bài về nêu quan điểm đồng ý (Agree) hay không mà mình không có câu trả lời cụ thể thì coi như là không đúng yêu cầu về Task Respone rồi. Chương trình AI phải phát hiện được là ở phần Intro có trả lời chưa? rồi trong các BODY (thường là 2 BODY) có câu Topic sentence hay không? rồi phần CONCLUSION có restate lại không? (mà restate thì có paraphase hay không…).
   Hoặc đề bài hỏi về Causes/Solutions thì trong các BODY mình có trả lời đúng chủ đề không? (VD Hỏi về nguyên nhân của Deforestation mà nói về Globalization thì gọi là không có Task Archiement rồi).
   AI còn có khả năng nhận biết được là trong suốt bài (từ Introduction -> 2,3 BODY -> Conclusion) mình nói chung 1 quan điểm (VD đồng ý hay không đồng ý) nữa kìa.
2. Coherence and cohesion (25%)
   Phần này chương trình AI cũng phải phát hiện được việc tổ chức bài viết của mình, cũng như tính mạch lạc, tính liên kết dựa vào keyword và cả meaning. VD như từ câu topic sentence rồi chuyển ý qua câu Support thì có thêm các keyword như therefore, indeed, … hoặc câu Support (Example) có “Take X as an example”, thậm chí thay vì dùng “For example” thì dùng các từ “For Instance”, “To illustrate”, “This can be seen”… cũng có mức độ điểm khác nhau; hoặc trong BODY đó có restate lại không (dùng các keyword “As a result”, “Consequently”…) thì chương trình AI đều có khả năng nhận biết hết.
3. Lexical resource (25%)
   1. Range of vocabulary
      là liên quan đến từ vựng, tức là dùng từ ‘cao cấp’ hơn hay không. Cao cấp ở đây là phân loại từ theo cấp độ. VD dùng từ “people” thì thường rồi, nhưng dùng từ “inhabitant” là cấp B2 lận đó.
      https://dictionary.cambridge.org/vi/dictionary/english/people
      https://dictionary.cambridge.org/vi/dictionary/english/inhabitant
      (Xem thêm các 6 khung (level) từ A1, A2, B1, B2, C1, C2 trong tiếng Anh tại aboutielts.com)
      Rồi có dùng symnonym (đồng nghĩa) hay không (như ví dụ trên là dùng people-dweller-citizen-inhabitant) hay có dùng từ antonym (trái nghĩa) hay không?
   2. Spelling
      là lỗi sai chính tả, cái này dễ hiểu rồi (VD tổng bài essay có 1,2 lỗi chính tả thì có thể không trừ điểm nhưng quá nhiều thì có thể trừ, tùy theo mình quy định).
4. Grammatical Range and Accuracy (25%)
   là khả năng sử dụng cấu trúc ngữ pháp trong bài essay của mình. VD tổng có bao nhiêu câu ghép, bao nhiêu câu phức, câu bi động…Hơn nữa, câu cú khó đọc (co bao nhiêu sentence(s) is very hard to read) hay không?
   Rồi khả năng paraphase thế nào, VD câu kinh điển (giống như ai học lập trình đều biết “Hello World” vậy):
   “This method has many limitations.” thì có paraphrase như thế nào? 1 số ví dụ về paraphrase cho câu này:
   “This approach has a number of drawbacks.”
   “This method has a lot of flaws.”
   “Many drawbacks exist with this strategy.”
   “There are numerous limits to this strategy.”
   “This approach has many flaws.”

Còn nhiều tiêu chí lắm (do người viết AI đưa ra và có thể điều chỉnh).  VD như là bài essay (trong IELTS) thường là 250 words đến 300 words mà mình viết có 200 words là thấy trừ hết điểm rồi; hoặc 1 khoảng trắng hay 2 khoảng trắng sau dấu chấm (chắc gọi là Written Discourse) có nhiều không (hình như sau này quy định 1 khoang trắng sau dấu chấm)… và rất nhiều tiêu chí nhỏ khác.

AI có khách quan hay không?

Mình lấy ví dụ bài của 1 bạn viết vào năm 2019 ở đây:

https://docs.google.com/document/d/1xP6SazUTGe8cKByHw3ezky662fWRlAnpLehr9irpMqE/edit?usp=sharing

Và 1 thầy dạy IELTS ở HCM chấm được như thế này:

Task achievement: 6.0
Coherence and cohesion:  6.0
Lexical resource: 6.0
Grammatical range and accuracy: 5.5

Nhưng chương trình chấm bằng AI thì chấm thế này:

Task achievement: 5.0
Coherence and cohesion:  5.0
Lexical resource: 5.5
Grammatical range and accuracy: 5.5 

khách quan hay không thì tùy với cách người lập trình AI hen. Nhưng dù sao, dù examiner thực tế chấm hay AI chấm thì cũng là tương đối thôi.

Nếu các bạn muốn thử bài của mình được AI chấm bao nhiêu, các bạn vào ielts.tools nhé.