Windows環境で、データの中にある「–」のようにシフトJISに登録のない文字があり、その文字を使ってテキストデータの加工をしようとすると、うまく処理ができないことがあります。
その場合、回避策として明示的にUnicodeを指定することで解決できます。
参考:https://www.fileformat.info/info/unicode/char/33a5/index.htm
例えば、横棒の一種である「–」の文字はUnicodeでは「\u2013」となり、以下のようにすればテキストデータの加工等で識別できます。