Quello che dici è evidente... il File di Specifica è attribuito solo a File non Formattati, o di cui la Formattazione deve avere una GUIDA.
I CSV essendo File di Testo in cui il Separatore può variare e non ereditando il DataType richiedono la definizione in fase di Import, che puoi fare una tantum oppure creare un FileSpec.
Per i File Excel invece non serve, ma devi usare questo Metodo:
Sub TransferSpreadsheet([TransferType As AcDataTransferType = acImport], _
[SpreadsheetType As AcSpreadSheetType = acSpreadsheetTypeExcel12Xml], _
[TableName], [FileName], [HasFieldNames], _
[Range], [UseOA])
Membro di Access.DoCmd
Fai attenzione al Parametro RANGE che casualmente consente di definire il Range di Importazione.
Nel tuo caso devi fare attenzione a cosa viene definito nel File di Excel come Database, che rappresenta il RANGE di Celle che verrà riconosciuto in automatico per l'import.
Tutto è gestibile anche via VBA... ma in modo più avanzato.